Co to znaczy w praktyce
Kiedy wy czytacie tekst, widzicie litery i słowa. Kiedy tekst czyta sztuczna inteligencja (model LLM), rozcina go na mniejsze kawałki, które nazywają się tokenami.
W angielskim obowiązuje z grubsza zasada, że 1 token to około 3/4 słowa. Krótkie słowo (jak „pies”) to jeden token. Długie słowo (jak „niezrozumiały”) może zostać rozcięte na 3 albo 4 tokeny. W polskim jest nieco gorzej: przez znaki diakrytyczne i odmianę modele zużywają na jedno polskie słowo więcej tokenów niż na angielskie.
Dlaczego firmy muszą to znać
Dla zwykłego pracownika, który płaci 20 euro miesięcznie za ChatGPT Plus, tokeny nie są istotne. Dla firmy, która chce wpiąć AI w swoje procesy, tokeny są synonimem pieniędzy.
- Cennik za AI. Kiedy połączycie swój system firmowy przez API z modelami OpenAI albo Anthropic, nie płacicie miesięcznego abonamentu. Płacicie za zużycie, a dokładniej za każdy token wysłany do AI (wejście) i za każdy token, który AI wygeneruje (wyjście).
- Limit pamięci (context window). Każdy model ma swój limit tego, ile tokenów potrafi naraz utrzymać. Jeśli model ma limit 128 000 tokenów, oznacza to, że w jeden prompt zmieścicie mniej więcej trzystustronicową książkę. Jeśli wstawicie więcej, model zacznie „zapominać” to, co było na początku.
- Polski jest droższy. Ponieważ modele AI rozcinają polski tekst na więcej tokenów niż angielski, przetworzenie polskiego dokumentu może kosztować o 30 do 50 procent więcej niż przetworzenie równie długiego dokumentu po angielsku.
Przykład z praktyki
Wyobraźcie sobie, że chcecie, aby AI streszczała każdego przychodzącego maila w waszym systemie obsługi klienta. Przeciętny mail ma 500 tokenów. Jeśli dziennie przychodzi tysiąc maili, zużyjecie 500 000 tokenów dziennie.
Jeśli wybierzecie do tego najdroższy model, może to kosztować setki euro miesięcznie. Jeśli wybierzecie mniejszy, tańszy model (który do prostego streszczenia w zupełności wystarczy), rachunek może wynieść kilka euro.
Na naszych firmowych szkoleniach AI pokazujemy nie tylko to, jak AI używać, ale też jak oszacować koszty i wybrać model tak, żeby automatyzacja miała sens ekonomiczny.