Ne işe yarar?
CSV/JSONL veri kümesinde seçilen metin alanı birebir aynı olan kayıtları ayıklar. İlk kayıt tutulur; yeni çıktı ve yinelenen satırların konum raporu oluşturulur.Kullanım
Kod:
python arac.py ornek.jsonl --format jsonl --field text --output tekil.jsonl
python arac.py ornek.csv --format csv --field text --output tekil.csvPaket ve gereksinimler
Python 3.10+; yalnız standart kütüphane. arac.py, pack_io.py, örnek veriler, çevrimdışı testler, Türkçe README, resmî kaynak listesi ve MIT lisansı dahildir.Sınırlar
Yalnız tam metin eşitliği kullanılır; harf boyutu, boşluk, Türkçe karakter ve noktalama normalize edilmez. Anlamsal benzerlik veya yakın eşleşme aracı değildir. Rapor satır numaraları başlık hariç 1 tabanlı kayıt numarasıdır; çok satırlı CSV hücresinde fiziksel dosya satırı farklı olabilir.Girdi değiştirilmez; mevcut çıktı için --overwrite gerekir. Model veya dış API gerekmez.
