Co to znaczy w praktyce
Kiedy kupujecie garnitur w sklepie, zwykle leży całkiem nieźle. Jeśli jednak chcecie, żeby leżał idealnie, zanosicie go do krawca, który go na was dopasuje.
Dokładnie tym jest fine-tuning. Bierzecie gotowy, mądry model LLM (na przykład od OpenAI) i „pokazujecie” mu tysiące przykładów z waszej firmy. Na przykład 5000 waszych dawnych maili do klientów, żeby nauczył się, jakim tonem wasza firma się komunikuje, jakiego żargonu używacie i jak formatujecie odpowiedzi.
Dlaczego firmy muszą to znać
Najczęstsze nieporozumienie, jakie spotykamy u właścicieli firm, brzmi: „Chcemy, żeby AI znała nasze wewnętrzne procedury, więc musimy ją na nich wytrenować.” To błąd.
- Do faktów użyjcie RAG. Jeśli chcecie, żeby AI znała wasze ceny, warunki reklamacji albo treść najnowszej umowy, fine-tuning jest złą i drogą metodą. Model uczy się faktów z trudem i trudno je z niego usunąć, gdy się zmienią. Do faktów i szukania w dokumentach służy RAG.
- Do stylu i tonu użyjcie fine-tuningu. Fine-tuning jest idealny, gdy chcecie zmienić sposób, w jaki AI mówi. Jeśli jesteście kancelarią i chcecie, żeby AI pisała umowy dokładnie waszym specyficznym stylem prawniczym, fine-tuning na waszych starych umowach jest właściwą drogą.
- Koszty i dane. Fine-tuning nie jest tani. Wymaga przygotowania setek albo tysięcy dobrych przykładów (tzw. datasetu). Jeśli wlejecie do modelu śmieci, nauczy się produkować śmieci.
Przykład z praktyki
Firma e-commerce chciała, żeby AI generowała opisy produktów do sklepu dokładnie w ich specyficznym, nieco bezczelnym i dowcipnym tonie.
Najpierw próbowali długimi instrukcjami, ale AI wciąż brzmiała zbyt robotycznie. Wzięli więc 1000 swoich najlepszych dawnych opisów produktów i zrobili na nich fine-tuning mniejszego, tańszego modelu. Wynik? Model nauczył się ich dokładnego firmowego głosu i generuje teraz opisy, których copywriterzy prawie w ogóle nie muszą poprawiać.
Na naszych firmowych szkoleniach AI pomagamy firmom zdecydować, czy do ich problemu wystarczy dobry prompt, czy potrzebują RAG do szukania w dokumentach, czy naprawdę opłaca im się zainwestować w fine-tuning.