Evaluation Library for the Hungarian Language Understanding Benchmark (HuLU)

This paper introduces Hungary’s first fine-tuning and evaluation Python library for the Hungarian Language Understanding Benchmark Kit (HuLU), designed to streamline prototyping and support effective language modeling in Hungarian. The library lets researchers quickly validate their results on the o...

Teljes leírás

Elmentve itt :
Bibliográfiai részletek
Szerzők: Hatvani Péter
Varga Kristóf
Yang Zijian Győző
Testületi szerző: Magyar számítógépes nyelvészeti konferencia (21.)
Dokumentumtípus: Könyv része
Megjelent: Szegedi Tudományegyetem TTIK, Informatikai Intézet Szeged 2025
Sorozat:Magyar Számítógépes Nyelvészeti Konferencia 21
Kulcsszavak:Nyelvi modell, Nyelvészet - számítógép alkalmazása
Tárgyszavak:
Online Access:http://acta.bibl.u-szeged.hu/88786
LEADER 02010naa a2200277 i 4500
001 acta88786
005 20251112135803.0
008 251112s2025 hu o 100 eng d
020 |a 978-963-688-034-7 
040 |a SZTE Egyetemi Kiadványok Repozitórium  |b hun 
041 |a eng 
100 1 |a Hatvani Péter 
245 1 0 |a Evaluation Library for the Hungarian Language Understanding Benchmark (HuLU)  |h [elektronikus dokumentum] /  |c  Hatvani Péter 
260 |a Szegedi Tudományegyetem TTIK, Informatikai Intézet  |b Szeged  |c 2025 
300 |a 257-268 
490 0 |a Magyar Számítógépes Nyelvészeti Konferencia  |v 21 
520 3 |a This paper introduces Hungary’s first fine-tuning and evaluation Python library for the Hungarian Language Understanding Benchmark Kit (HuLU), designed to streamline prototyping and support effective language modeling in Hungarian. The library lets researchers quickly validate their results on the official HuLU leaderboard, handling the full pipeline from training to submission. It supports a range of architectures, including encoders, decoders, and custom PyTorch modules, and it’s ready for both smaller models with standard fine-tuning and larger models using low-rank adaptation and reduced-precision fine-tuning. The library is highly configurable and supports huggingface integration, giving researchers the flexibility of modern training frameworks. Two interfaces are included: a simple command-line interface and a programmatic API for more in-depth customization. 
650 4 |a Természettudományok 
650 4 |a Számítás- és információtudomány 
650 4 |a Bölcsészettudományok 
650 4 |a Nyelvek és irodalom 
695 |a Nyelvi modell, Nyelvészet - számítógép alkalmazása 
700 0 1 |a Varga Kristóf  |e aut 
700 0 2 |a Yang Zijian Győző  |e aut 
711 |a Magyar számítógépes nyelvészeti konferencia (21.)  |c Szeged  |d 2025. február 6-7. 
856 4 0 |u http://acta.bibl.u-szeged.hu/88786/1/msznykonf_021_257-268.pdf  |z Dokumentum-elérés