Zeneszövegek generálása karakteralapú rekurrens neurális hálózatok segítségével
A rekurrens neurális hálók már a 80-as években megjelentek. Ezek olyan szekvenciális modellek, melyek figyelembe veszik a tanulás előző o állapotait a döntéshozatalban. A ma használt rekurrens hálók közül az LSTM, azaz long shot-term memory a legkedveltebb mind közül, mert megoldást talál az RNN-ek...
Elmentve itt :
| Szerző: | |
|---|---|
| További közreműködők: | |
| Dokumentumtípus: | Szakdolgozat |
| Megjelent: |
2018
|
| Kulcsszavak: | gépi tanulás neurális hálók természetesnyelv-feldolgozás rekurrens neurális hálók LSTM |
| Tárgyszavak: | |
| Online Access: | http://diploma.bibl.u-szeged.hu/73248 |
| Tartalmi kivonat: | A rekurrens neurális hálók már a 80-as években megjelentek. Ezek olyan szekvenciális modellek, melyek figyelembe veszik a tanulás előző o állapotait a döntéshozatalban. A ma használt rekurrens hálók közül az LSTM, azaz long shot-term memory a legkedveltebb mind közül, mert megoldást talál az RNN-ek egy alapvető problémájára, a gradiensek ˝ drasztikus növekedésére vagy csökkenésére, melyek ellehetetlenítik a hosszútávú tanulást. Ezt a hálótípust alkalmazom dolgozatomban. Dolgozatom célja LSTM rétegekkel létrehozni egy modellt, amely képes megtanulni egy adott előadó zenei stílusát karakterek sorozatát nézve. Pontosabban felteszi magában a kérdést: ha ezt az x hosszú szöveget látom, vajon az előadó mit írna x+1. karakternek? A model létrehozásában a python nyelven elérhető Keras és annak hátterében a TensorFlow keretrendszereket használom. Keras egy API amely elfedi a neurális hálókhoz szükséges matematika nagy részét a fejlesztő elől, így átláthatóbbá téve a kódot, TensorFlow pedig egy eszköz mellyel gépi tanuló szoftvereket könnyedén lehet tanítani gyorsasága miatt, valamint átláthatóvá teszi a fejlesztést a TensorBoard segítségével, mely egy vizualizációs eszköz. Szakdolgozatomban először ismertetem az egyszerű neurális hálókat, működésüket, majd ismertetem a rekurrens hálókat, azok hasznát, és kitérek a problémájukra melyet az LSTM old meg. Ezután ismertetem a Keras keretrendszerét, a TensorFlow működését és ezen belül a TensorBoard-ot. Ezek ismeretében már olvasható a TensorBoard vizualizációja, így megmutatom a tanítások eredményeit. |
|---|