Usługi
Fine-tuning modeli językowych
Dostrajam otwarte modele do konkretnego zadania: klasyfikacji, stałego formatu odpowiedzi, terminologii firmy albo wywoływania narzędzi. Zaczynam jednak od sprawdzenia, czy trening jest w ogóle potrzebny.
Co obejmuje ta usługa
- ocenę, czy zadanie wymaga dostrajania, czy wystarczy RAG, lepszy prompt albo wyspecjalizowany klasyfikator,
- przygotowanie zbioru treningowego: budowę, oczyszczenie i walidację danych,
- dostrajanie metodami LoRA, QLoRA i LoRA+ na własnej infrastrukturze GPU,
- ewaluację przed i po treningu na zestawie testowym, którego model nie widział w trakcie uczenia,
- kwantyzację i wdrożenie dostrojonego modelu w Ollama lub llama.cpp.
Kiedy dostrajanie, a kiedy RAG
RAG dostarcza modelowi wiedzę: aktualne dokumenty, procedury, umowy. Gdy coś się zmienia, podmieniacie dokument, nie trenujecie modelu. Dostrajanie zmienia zachowanie: format odpowiedzi, styl, terminologię, sposób klasyfikacji albo wywoływania narzędzi. Wiedzy, która się zmienia, nie warto utrwalać w wagach. Często lepszy wynik przy niższym koszcie daje dobrze zaprojektowany RAG albo prosty klasyfikator — i mówię to przed wystawieniem oferty.
Typowe zastosowania
Dostosowanie modelu do terminologii i stylu dokumentów firmowych, klasyfikacja dokumentów i zapytań użytkowników, generowanie odpowiedzi w ściśle określonym formacie, na przykład JSON, wywoływanie narzędzi oraz mniejsze modele wyspecjalizowane w jednym zadaniu, które działają szybciej i na tańszym sprzęcie niż duży model ogólny.
Własne eksperymenty
Przeprowadziłem eksperymenty z dostrajaniem metodą LoRA+: trening około 35 milionów parametrów adapterów w modelu bazowym liczącym około 1,76 miliarda parametrów, czyli około 2% wag. Pracuję też nad oceną modeli pod kątem poprawności odpowiedzi, klasyfikacji treści, obsługi narzędzi i zadań specjalistycznych. Liczby trafności pojawią się tutaj, gdy będę miał pomiar na zestawie testowym, który da się obronić.
Ograniczenia
Model dostrojony na złych danych utrwala ich błędy, dlatego przygotowanie i sprawdzenie danych zajmuje zwykle więcej czasu niż sam trening. Bez zestawu testowego nie da się stwierdzić, czy dostrajanie pomogło. Zmiana modelu bazowego oznacza powtórzenie treningu, a licencja modelu bazowego decyduje o tym, czy wynik można wykorzystać komercyjnie.
Najczęstsze pytania
Fine-tuning modeli językowych – najczęstsze pytania
Czym fine-tuning różni się od RAG?
RAG podaje modelowi właściwe fragmenty dokumentów w chwili zadania pytania, więc odpowiedź opiera się na aktualnych źródłach. Fine-tuning zmienia sam model: uczy go formatu, stylu albo sposobu klasyfikacji. Do wiedzy firmowej zwykle lepszy jest RAG, do zachowania — dostrajanie. Bywa, że najlepszy efekt daje połączenie obu.
Ile danych potrzeba?
To zależy od zadania i ważniejsza jest jakość niż liczba przykładów. Zaczynamy od próbki Waszych danych i zestawu testowego. Po pierwszym treningu widać, czy przyrost jakości uzasadnia przygotowanie kolejnych danych.
Czy dane treningowe opuszczą firmę?
Trening odbywa się na Waszej infrastrukturze albo na moim sprzęcie bez połączenia z usługami zewnętrznymi, na podstawie umowy powierzenia. Dane nie trafiają do żadnej usługi chmurowej.
Czy dostrojony model można używać komercyjnie?
Decyduje licencja modelu bazowego. Część otwartych modeli, na przykład Bielik, jest udostępniana na licencji Apache 2.0, ale niektóre warianty innych rodzin mają ograniczenia użycia komercyjnego. Licencję sprawdzam przed wyborem modelu, a nie po treningu.
Dalszy krok
Pozostałe usługi
Chcesz zobaczyć inne usługi?
Wróć do listy usług albo przejdź od razu do kontaktu, jeśli ten obszar jest najbliższy Twojemu projektowi.