Text cleaning with transformer language models for Hungarian
In language technology, clean data is fundamental for training high-quality models, yet large corpora often contain substantial noise due to OCR errors, missing diacritics, and various user-generated inconsistencies. This paper presents a comprehensive text cleaning pipeline tailored for Hungarian,...
Elmentve itt :
| Szerzők: | |
|---|---|
| Testületi szerző: | |
| Dokumentumtípus: | Könyv része |
| Megjelent: |
Szegedi Tudományegyetem TTIK, Informatikai Intézet
Szeged
2025
|
| Sorozat: | Magyar Számítógépes Nyelvészeti Konferencia
21 |
| Kulcsszavak: | Nyelvi modell, Nyelvészet - számítógép alkalmazása |
| Tárgyszavak: | |
| Online Access: | http://acta.bibl.u-szeged.hu/88777 |
| LEADER | 02300naa a2200301 i 4500 | ||
|---|---|---|---|
| 001 | acta88777 | ||
| 005 | 20251112130639.0 | ||
| 008 | 251112s2025 hu o 100 eng d | ||
| 020 | |a 978-963-688-034-7 | ||
| 040 | |a SZTE Egyetemi Kiadványok Repozitórium |b hun | ||
| 041 | |a eng | ||
| 100 | 1 | |a Madarász Gábor | |
| 245 | 1 | 0 | |a Text cleaning with transformer language models for Hungarian |h [elektronikus dokumentum] / |c Madarász Gábor |
| 260 | |a Szegedi Tudományegyetem TTIK, Informatikai Intézet |b Szeged |c 2025 | ||
| 300 | |a 123-135 | ||
| 490 | 0 | |a Magyar Számítógépes Nyelvészeti Konferencia |v 21 | |
| 520 | 3 | |a In language technology, clean data is fundamental for training high-quality models, yet large corpora often contain substantial noise due to OCR errors, missing diacritics, and various user-generated inconsistencies. This paper presents a comprehensive text cleaning pipeline tailored for Hungarian, leveraging transformer-based language models optimized for three key tasks: OCR error correction, diacritic restoration, and filtering grammatically incorrect sentences. We introduce huT5, a Hungarian adaptation of the mT5 model, which significantly reduces model parameters and resource demands while maintaining strong performance on Hungarian-specific text cleaning tasks. The huT5 models were fine-tuned on carefully constructed Hungarian corpora for each task and benchmarked against state-of-the-art methods, demonstrating competitive results, particularly in OCR error correction and diacritic restoration. Our pipeline offers an efficient, freely accessible solution to enhance data quality for Hungarian NLP applications, setting a new standard in resource-efficient, language-specific text cleaning. | |
| 650 | 4 | |a Természettudományok | |
| 650 | 4 | |a Számítás- és információtudomány | |
| 650 | 4 | |a Bölcsészettudományok | |
| 650 | 4 | |a Nyelvek és irodalom | |
| 695 | |a Nyelvi modell, Nyelvészet - számítógép alkalmazása | ||
| 700 | 0 | 1 | |a Holl András |e aut |
| 700 | 0 | 2 | |a Ligeti-Nagy Noémi |e aut |
| 700 | 0 | 2 | |a Yang Zijian Győző |e aut |
| 700 | 0 | 2 | |a Váradi Tamás |e aut |
| 711 | |a Magyar számítógépes nyelvészeti konferencia (21.) |c Szeged |d 2025. február 6-7. | ||
| 856 | 4 | 0 | |u http://acta.bibl.u-szeged.hu/88777/1/msznykonf_021_123-135.pdf |z Dokumentum-elérés |