Text cleaning with transformer language models for Hungarian

QR kód

Text cleaning with transformer language models for Hungarian

In language technology, clean data is fundamental for training high-quality models, yet large corpora often contain substantial noise due to OCR errors, missing diacritics, and various user-generated inconsistencies. This paper presents a comprehensive text cleaning pipeline tailored for Hungarian,...

Teljes leírás

Elmentve itt :

Bibliográfiai részletek
Szerzők:	Madarász Gábor Holl András Ligeti-Nagy Noémi Yang Zijian Győző Váradi Tamás
Testületi szerző:	Magyar számítógépes nyelvészeti konferencia (21.)
Dokumentumtípus:	Könyv része
Megjelent:	Szegedi Tudományegyetem TTIK, Informatikai Intézet Szeged 2025
Sorozat:	Magyar Számítógépes Nyelvészeti Konferencia 21
Kulcsszavak:	Nyelvi modell, Nyelvészet - számítógép alkalmazása
Tárgyszavak:	Természettudományok Számítás- és információtudomány Bölcsészettudományok Nyelvek és irodalom
Online Access:	http://acta.bibl.u-szeged.hu/88777

Hasonló tételek

Control language for distributed clean [abstract] /
Szerző: Hernyák Zoltán, et al.
Megjelent: (2004)

Coordination language for distributed clean
Szerző: Horváth Zoltán, et al.
Megjelent: (2005)

Evaluating contextualized language models for Hungarian
Szerző: Ács Judit, et al.
Megjelent: (2021)

Neural morphological generators for Hungarian
Szerző: Laki László János, et al.
Megjelent: (2023)

Evaluation Library for the Hungarian Language Understanding Benchmark (HuLU)
Szerző: Hatvani Péter, et al.
Megjelent: (2025)

Transformation and simulation of domain specific languages [abstract] /
Szerző: Vágó Dávid
Megjelent: (2006)

Model transformations on the preprocessor metamodel graph transformation approach : [abstract] /
Szerző: Vidács László
Megjelent: (2006)

Prototype environment for refactoring clean programs [abstract] /
Szerző: Szabó-Nacsa Rozália, et al.
Megjelent: (2004)

Natural language preprocessing on Hungarian language texts
Szerző: Miháczi András, et al.
Megjelent: (2003)

Model checking of visual modeling languages [abstract] /
Szerző: Schmidt Ákos
Megjelent: (2004)

Comparing specification with proved properties of clean dynamics [abstract] /
Szerző: Lövei László, et al.
Megjelent: (2006)

Improvements of Hungarian Hidden Markov Model-based text-to-speech synthesis
Szerző: Tóth Bálint, et al.
Megjelent: (2010)

Constructive model of the natural language
Szerző: Shynkarenko Viktor, et al.
Megjelent: (2018)

Detecting Multiword Expressions and Named Entities in Natural Language Texts
Szerző: Nagy István
Megjelent: (2015)

Automatic generation of compiled model transformations [abstract] /
Szerző: Horváth Ákos
Megjelent: (2006)

Parallel functional reactive skeletons in concurrent clean [abstract] /
Szerző: Horváth Zoltán, et al.
Megjelent: (2000)

Simulation and formal analysis of workflow models using model transformations [abstract] /
Szerző: Kovács Máté
Megjelent: (2006)

Statistical language models within the algebra of weighted rational languages
Szerző: Hanneforth Thomas, et al.
Megjelent: (2009)

Metamodel-based modeling and model transformation framework supporting inheritance and constrants [abstract] /
Szerző: Lengyel László, et al.
Megjelent: (2004)

Constraint validation support in visual model transformation systems
Szerző: Lengyel László, et al.
Megjelent: (2005)

Többnyelvű modellek és PEGASUS finomhangolása magyar nyelvű absztraktív összefoglalás feladatára
Szerző: Yang Zijian Győző
Megjelent: (2023)

Challenges to Using Large Language Models in Code Generation and Repair
Szerző: Pasquale Liliana, et al.
Megjelent: (2025)

Voice2text a hanganyagátírás lehetőségei MI segítségével /
Szerző: Nagy Dóra, et al.
Megjelent: (2024)

On domain and range tree languages of superlinear deterministic top-down tree transformations
Szerző: Dányi Gábor
Megjelent: (1996)

State space transformation a specification language and a program generator : [abstract] /
Szerző: Bárány Vince, et al.
Megjelent: (2000)

Verification of UML 2 state machines by automated model transformation to the SAL model checker [abstract] /
Szerző: Sisak Áron
Megjelent: (2008)

Radiologic text correction for better machine understanding
Szerző: Kicsi András, et al.
Megjelent: (2024)

"Az invazív medvék nem tolerálják a suzukis agressziót" magyar GPT-2 kísérleti modell /
Szerző: Yang Zijian Győző
Megjelent: (2022)

Tessellation transformations
Szerző: Szabó László
Megjelent: (1975)

Extraction of affective components from texts and their use in natural language dialogue systems
Szerző: Tatai Gábor, et al.
Megjelent: (2004)

Evaluating and Improving the Intelligibility of Hungarian Dysarthric Speech Using Foundation Models
Szerző: Berta Árpád, et al.
Megjelent: (2026)

PULI LlumiX modell egy folytatólagosan előtanított nagy nyelvi modell /
Szerző: Yang Zijian Győző, et al.
Megjelent: (2025)

Similarity based smoothing in language modeling
Szerző: Szamonek Zoltán, et al.
Megjelent: (2007)

Vision Transformer hálózatok gyorsítása memóriamodellezéssel [absztrakt] /
Szerző: Balogh András
Megjelent: (2023)

Speech Synthesis from Text and Ultrasound Tongue Image-based Articulatory Input
Szerző: Csapó Tamás Gábor, et al.
Megjelent: (2021)

Multilingual Analysis and Visualization of Bibliographic Metadata and Texts with the AVOBMAT Research Tool
Szerző: Péter Róbert, et al.
Megjelent: (2024)

BARTerezzünk! messze, messze, messze a világtól, BART kísérleti modellek magyar nyelvre /
Szerző: Yang Zijian Győző
Megjelent: (2022)

Automatikus írásjel-visszaállítás és Nagybetűsítés statikus korpuszon transzformer modellen alapuló neurális gépi fordítással
Szerző: Yang Zijian Győző
Megjelent: (2021)

Inzulinrezisztencia betegség jelenségének felismerése és osztályozása orvosi dokumentumokban
Szerző: Yang Zijian Győző
Megjelent: (2023)

Decomposition of CFT(S) transformations with look-ahead [abstract] /
Szerző: Hornung Tamás, et al.
Megjelent: (1998)