Ewaluacja RAG – notatka

Ewaluacja RAG (RAG evaluation) to proces systematycznej oceny jakości systemów opartych na architekturze Retrieval-Augmented Generation (RAG). Jej celem jest sprawdzenie, czy system skutecznie wyszukuje odpowiednie informacje oraz czy na ich podstawie generuje poprawne, wiarygodne i użyteczne odpowiedzi. Ponieważ architektura RAG składa się z dwóch głównych komponentów – modułu wyszukiwania (retriever) oraz modułu generowania (generator) – oba elementy powinny być oceniane oddzielnie, a następnie jako całość.

Ewaluacja odgrywa kluczową rolę podczas projektowania i rozwijania systemów RAG. Pozwala wykrywać błędy wyszukiwania, ograniczać halucynacje (hallucinations) modeli językowych, porównywać skuteczność różnych modeli i strategii wyszukiwania oraz monitorować jakość działania systemu po wdrożeniu. Dzięki regularnym testom można szybko ocenić wpływ zmian w konfiguracji, takich jak wybór modelu osadzania (embedding model), wielkość fragmentów tekstu (chunk size) czy zastosowanie dodatkowego rankingu wyników (reranking).

Metody ewaluacji

Najczęściej stosowaną metodą jest ewaluacja kompleksowa (end-to-end evaluation), która ocenia końcową odpowiedź wygenerowaną przez system. Analizowana jest jej poprawność, kompletność, płynność językowa oraz użyteczność dla użytkownika. Metoda ta dobrze pokazuje jakość całego rozwiązania, jednak nie wskazuje, który element potoku (pipeline) odpowiada za ewentualne błędy.

Drugim podejściem jest ewaluacja ugruntowania (grounding evaluation). Jej zadaniem jest sprawdzenie, czy odpowiedź została wygenerowana wyłącznie na podstawie dostarczonych dokumentów. Dzięki temu można wykrywać przypadki, w których model dopowiada informacje nieobecne w źródłach lub przedstawia nieprawdziwe fakty.

Coraz częściej stosowana jest również metoda model jako sędzia (LLM-as-a-judge). W tym podejściu zaawansowany model językowy ocenia odpowiedzi innego modelu według zdefiniowanych kryteriów, takich jak poprawność, zgodność ze źródłami czy kompletność. Rozwiązanie to jest znacznie szybsze i tańsze niż ocena ekspercka (human evaluation), jednak może być podatne na stronniczość (bias) i nie zawsze zapewnia powtarzalne wyniki. Z tego powodu najlepsze rezultaty osiąga się, łącząc automatyczną ocenę z oceną wykonywaną przez ludzi.

Metryki modułu wyszukiwania

Do oceny jakości działania modułu wyszukującego (retriever) wykorzystuje się metryki wyszukiwania (retrieval metrics).

Najważniejsze z nich to:

• Precyzja (Precision) – określa, jaki odsetek zwróconych dokumentów jest rzeczywiście istotny dla zapytania.

• Czułość (Recall) – mierzy, jaki procent wszystkich istotnych dokumentów został odnaleziony.

• Wynik F1 (F1 score) – średnia harmoniczna precyzji i czułości, wykorzystywana do zrównoważonej oceny obu parametrów.

• Dokładne dopasowanie (Exact Match) – sprawdza, czy odnaleziony dokument lub fragment dokładnie odpowiada oczekiwanemu wynikowi.

W bardziej zaawansowanych systemach stosuje się również metryki rankingowe:

• Średnia odwrotność pozycji (Mean Reciprocal Rank – MRR) – ocenia, jak wysoko w wynikach wyszukiwania znajduje się pierwszy poprawny dokument.

• Znormalizowany skumulowany zysk zdyskontowany (Normalized Discounted Cumulative Gain – nDCG) – uwzględnia zarówno trafność dokumentów, jak i ich kolejność na liście wyników.

• Skuteczność w pierwszych K wynikach (Hit@K lub Recall@K) – określa, czy właściwy dokument znajduje się w pierwszych K zwróconych wynikach.

Metryki rankingowe są szczególnie przydatne wtedy, gdy użytkownik otrzymuje tylko kilka najwyżej ocenionych dokumentów.

Metryki modułu generowania

Jakość odpowiedzi generowanych przez model ocenia się za pomocą metryk generowania (generation metrics).

Najważniejszą z nich jest ugruntowanie (Groundedness lub Faithfulness), które określa, czy wszystkie informacje zawarte w odpowiedzi pochodzą z dostarczonego kontekstu.

Drugą istotną metryką jest trafność odpowiedzi (Answer Relevance), oceniająca, czy odpowiedź rzeczywiście odpowiada na pytanie użytkownika oraz czy zawiera wszystkie potrzebne informacje.

W niektórych zastosowaniach wykorzystuje się również klasyczne metryki stosowane w przetwarzaniu języka naturalnego:

• BLEU (Bilingual Evaluation Understudy) – porównuje wygenerowany tekst z odpowiedziami referencyjnymi (reference answers) na podstawie zgodności n-gramów.

• ROUGE (Recall-Oriented Understudy for Gisting Evaluation) – mierzy stopień pokrycia odpowiedzi referencyjnej przez odpowiedź wygenerowaną, dlatego jest często stosowana przy ocenie streszczeń.

• METEOR (Metric for Evaluation of Translation with Explicit ORdering) – uwzględnia podobieństwo semantyczne, odmiany wyrazów i synonimy, dzięki czemu lepiej odzwierciedla rzeczywistą jakość odpowiedzi niż BLEU.

Najlepsze praktyki

Rzetelna ewaluacja wymaga korzystania z kilku różnych zbiorów testowych (test sets) reprezentujących różne typy pytań i domen wiedzy. Dzięki temu wyniki są bardziej wiarygodne i mniej podatne na dopasowanie do jednego zestawu danych.

Dobrą praktyką jest również testowanie systemu na pytaniach niejednoznacznych oraz celowo zniekształconych (adversarial/noisy inputs), co pozwala ocenić odporność rozwiązania na trudne przypadki.

Po wdrożeniu systemu należy prowadzić ciągłe monitorowanie (continuous monitoring) jakości odpowiedzi. Pozwala ono wykrywać dryf modelu (model drift) lub pogorszenie jakości danych wejściowych, zanim zauważą je użytkownicy.

Narzędzia do ewaluacji

Do budowy i testowania systemów RAG wykorzystywanych jest wiele frameworków.

Najbardziej popularnym jest LangChain, umożliwiający budowę kompletnych potoków RAG oraz integrację z wieloma modelami językowymi i bazami wektorowymi.

Haystack oferuje gotowe komponenty do wyszukiwania, indeksowania dokumentów oraz ewaluacji jakości odpowiedzi.

RAGatouille specjalizuje się w wykorzystaniu modeli ColBERT, zapewniających bardzo skuteczne wyszukiwanie semantyczne.

Do automatycznej ewaluacji najczęściej wykorzystuje się Ragas, który oblicza metryki takie jak Faithfulness, Answer Relevance czy Context Precision bez konieczności przygotowywania odpowiedzi referencyjnych. Drugim popularnym rozwiązaniem jest TruLens, służący do monitorowania jakości działania systemów RAG oraz analizy przyczyn błędów.

W praktyce ewaluacja RAG jest procesem ciągłym. Dopiero połączenie odpowiednich metryk, testów automatycznych, oceny ekspertów oraz monitorowania działania systemu w środowisku produkcyjnym pozwala tworzyć rozwiązania, które są wiarygodne, odporne na błędy i dostarczają użytkownikom odpowiedzi opartych na faktach.