Co to znaczy w praktyce
Token to kawałek tekstu, na którym model pracuje. Zużycie tokenów to więc to, ile przez model przechodzi, i od tego zależy faktura.
Konkretne liczby z praktyki: jedna firma handlowa, z którą pracujemy, wydaje dziś 1 000 do 2 000 euro miesięcznie na jednego inżyniera oprogramowania. Na pierwszy rzut oka wygląda to na dużo. Na drugi jest to ułamek kosztu tej samej osoby.
Dlaczego niskie zużycie nie jest dobrą wiadomością
Zarząd instynktownie postrzega zużycie jako koszt, który trzeba przydusić. W praktyce zachowuje się ono jednak raczej jak wskaźnik uczenia się.
Jeśli zespół wyczerpuje tygodniowy limit, zwykle znaczy to, że realnie pracuje z AI. Jeśli zużycie stoi w miejscu, ludzie albo nie mają czego rozwiązywać, albo, co bardziej prawdopodobne, nie wiedzą, co się w ogóle da.
Jak o tym myśleć
Liczcie to jako inwestycję w narzędzie, a nie jako pozycję operacyjną. Użytecznym pytaniem nie jest „ile wydaliśmy?”, tylko „co za to powstało?”. Dwadzieścia wersji strony za tysiąc dolarów w tokenach to inna rozmowa niż przetarg z agencją.
Strona kosztowa agentic engineeringu jest jednym z tematów, które na szkoleniach omawiamy i z zarządem, i z programistami, bo każdy potrzebuje z tej liczby innych wniosków.