Token

Becsült olvasási idő 2 perc.

Mi az a token (PixelRita)?

A „token” a ChatGPT világában olyan, mint a szavak kicsi, cuki testvérei, amiket a gépi tanulás használ az információk feldolgozására. Képzeld el, mint egy nagy puzzle játékot, ahol minden darab egy kis része a nagy képnek. A tokenek pont ilyenek: kis darabkák, amik segítenek a gépnek megérteni, mit mondasz neki.

Amikor beszélsz a ChatGPT-vel, a gép először „tokenizálja” a szöveget. Ez olyan, mint amikor egy nagy mondatot szótagokra bontasz, hogy könnyebben megértsd. Például a mondat: „Szia, hogy vagy?” Tokenizálás után így néz ki: [„Szia”, „,”, „hogy”, „vagy”, „?”]. Minden szó, írásjel, sőt néha még a szótagok is külön tokenekké válnak.

Ezek a tokenek aztán útjukra indulnak a gépi tanulás varázslatos világában. Itt a gép megnézi, hogy milyen kapcsolatban állnak egymással a tokenek, hogy megértse, mit akarsz mondani. Mintha egy kirakós játékot rakna össze, ahol minden darabka egy újabb információt jelent.

Például, ha azt írod, hogy „Szeretem a pizzát”, a tokenek lehetnek: [„Szeretem”, „a”, „pizzát”]. A gép ezekből a tokenekből értelmezi, hogy valami pozitívat mondasz egy finom ételről.

Ahogyan a ChatGPT számolja a tokeneket

A következő dolgokat érdemes tudni, amikor tokeneket számolunk. Ezek leginkább az API esetében fontos, ahol minden token után fizetünk.

  • A tokeneket az elküldött kérdések és a kapott válaszok alapján számolja.
  • Minden beszélgetés kezdetén is keletkezik token. Ez a beszélgetés azonosítója, és egyéb jelölések.
  • Mivel a program a teljes beszélgetés alapján írja a válaszokat. Ezért nemcsak az újabb üzenetben lévő tokenekkel kell számolni, hanem a komplett beszélgetés folyamatban lévőkkel. Hacsak nincs kontextus váltás.

Magyar nyelven több tokent használunk?

Igen. A ChatGPT főleg angol nyelven lett tréningezve. Egy szót minél többször lát a program a tanulás során, annál biztosabb, hogy azt egy tokennek fogja használni. Mivel jóval kevesebb magyar szót lát a program, ezért a szavakat több és kisebb részekre osztja. A speciális magyar karakterek, az ékezetes betűk további tokenekre bontják a szavakat.
Ugyan az a tartalom magyar nyelven kb. kétszer-háromszor annyi tokent jelent, mint angolul.

További érdekességek a tokenekről Piller Balázs írásában: Miért drágább a ChatGPT magyarul, mint angolul?

Az OpenAI egy külön programot is készített, ami segít a tokenek megértésében, és a token számításban: OpenAI Tokenizer

Loading

Rating: 5.00/5. From 1 vote.
Please wait...

Szólj hozzá!