tokenizer

Substantiivi

tietokoneohjelma tai aliohjelma
tietokoneohjelma tai aliohjelma, joka muuntaa syötteen sen koostumusta vastaaviksi diskreeteiksi symboleiksi

Sanakirja perustuu Wikisanakirjan artikkeleihin, jotka ovat lisensoitu CC-BY-SA-lisenssillä.

Aloita opiskelu minuutissa

Runsaasti ammattilaisten luomia sisältöjä, joilla opit lähtötasostasi riippumatta

Opiskele selaimessa tai mobiilissa - opiskelu kulkee aina mukanasi