Ne işe yarar?
Yerel TXT/Markdown metnini karakter tabanlı, örtüşmeli JSONL parçalara ayırır. Her parça kaynak adı, karakter aralığı ve başlangıç satırı taşır; manifest girdi ve çıktı SHA256 değerlerini kaydeder.Kullanım
Kod:
python arac.py ornek.md --output parcalar.jsonl --size 120 --overlap 25Paket ve gereksinimler
Python 3.10+; yalnız standart kütüphane. arac.py, pack_io.py, örnek veriler, çevrimdışı testler, Türkçe README, resmî kaynak listesi ve MIT lisansı dahildir.Sınırlar
Karakter parçalama tokenizer değildir; model token bütçesini hesaplamaz. Metin yeniden yazılmaz. 0 tabanlı start/end aralığında end hariçtir; satır numarası 1 tabanlıdır. Manifest ayrıca .manifest.json olarak yazılır. Örtüşme boyuttan küçük olmalıdır.Girdi değiştirilmez; mevcut çıktı için --overwrite gerekir. Model veya dış API gerekmez.
