Milyen hosszú válaszokat adnak a nyelvi modellek?
Becsült olvasási idő 6 perc. A nyelvi modelleknél (pl. ChatGPT) általában büszkén leírják, hogy mennyi tokennel tudnak dolgozni. Ritkábban azt is megadják, hogy ebből mennyi a Context Window, azaz mekkora az a szöveg, amit a beszélgetés alatt „fejben tud tartani”.
És szinte sose beszélnek arról, hogy mennyi a maximális kimenet. Pedig ez alapvetően befolyásolja a válasz minőségét.
