remove cr or lf from data to fix csv export

create file using Text::CSV

check combined row 3

check if old duplicate is longer and keep it

not found in this dataset

"quote," if , is in data

unac_string column names

added broj_valova as last column in merged.csv

remove .000000 from values

duplicate-$val.csv

duplicate.csv

dump more info about duplicate input rows

add _val to column names to make them unique

cleanup ids correctly (only \w and \d allowed)

cleanup after merge, produce valid output

dump merged.csv

cleanup output, maintain merged $data

val

collect A_ counts (original data stats) only on first loop

corrupt razred/skola

0.7 is ok, 0.6 is too random

sort kandidates by score, and if same prefer longer one

try all limits from 0.9 in descending orders

env LIMIT=0.9 is default

check duplicate before merge

cleanup, merge only non-duplicate val for keys

merge at end

cleanup, collect unique_id

similarity 0.9, merge all suggestions

similarity on all keys

similarity, forward progress only

similarity

first cut