Zaawansowane techniki RAG (Advanced RAG techniques) – notatka

 

Zaawansowane techniki RAG (Advanced RAG techniques) służą zwiększeniu jakości systemów generowania wspomaganego wyszukiwaniem (Retrieval-Augmented Generation – RAG) poprzez optymalizację procesu wyszukiwania informacji, przygotowania kontekstu oraz generowania odpowiedzi. Ich celem jest ograniczenie szumu informacyjnego, poprawa trafności wyszukiwanych dokumentów oraz zmniejszenie liczby halucynacji modeli językowych (Large Language Models – LLM).

Jedną z podstawowych metod jest dzielenie tekstu na fragmenty (Text chunking). Polega ono na podziale dokumentów na mniejsze części (chunks), które są łatwiejsze do indeksowania i wyszukiwania. Zwykłe dzielenie (Simple chunking) wykorzystuje fragmenty o stałej długości, natomiast dzielenie semantyczne (Semantic chunking) grupuje zdania o podobnym znaczeniu. Najbardziej zaawansowaną metodą jest dzielenie oparte na modelu językowym (Language model-based chunking), w którym model LLM sam wyznacza logiczne granice fragmentów.

Kolejną techniką jest zmiana kolejności wyników (Reranking). Po początkowym wyszukaniu dokumentów są one ponownie oceniane i sortowane, aby do modelu trafiły najbardziej trafne informacje. W praktyce stosuje się ponowne rangowanie z wykorzystaniem modelu Cross-Encoder (Cross-encoder reranking) lub ponowne rangowanie oparte na punktacji (Score-based reranking).

Istotnym elementem optymalizacji jest także wykorzystanie metadanych (Leveraging metadata). Informacje takie jak data publikacji, autor, źródło czy typ dokumentu umożliwiają filtrowanie wyników oraz zwiększanie znaczenia najbardziej wiarygodnych dokumentów.

Dużą rolę odgrywa wyszukiwanie hybrydowe (Hybrid search), które łączy klasyczne wyszukiwanie oparte na słowach kluczowych (sparse retrieval) z wyszukiwaniem wektorowym (dense retrieval). Dzięki temu system jednocześnie wykorzystuje dopasowanie leksykalne i podobieństwo semantyczne. Wyniki mogą być łączone za pomocą fuzji punktowej (Score fusion) lub scalania wyników (Result merging).

Przed rozpoczęciem wyszukiwania często stosuje się przepisywanie zapytań (Query rewriting). Technika ta obejmuje rozszerzanie zapytań o synonimy (Synonym expansion), korektę błędów pisowni (Spelling correction) oraz doprecyzowanie intencji użytkownika (Intent clarification). Pozwala to zwiększyć skuteczność wyszukiwania nawet w przypadku nieprecyzyjnych pytań.

Aby zmieścić więcej wartościowych informacji w ograniczonym oknie kontekstowym (Context window) modelu językowego, wykorzystuje się automatyczne przycinanie (Autocut) oraz destylację kontekstu (Context distillation). Pierwsza technika usuwa najmniej istotne fragmenty dokumentów, natomiast druga tworzy krótkie podsumowania zawierające wyłącznie informacje istotne dla danego pytania.

Zaawansowane systemy mogą również wykorzystywać dostrajanie modelu językowego (Fine-tuning the LLM), obejmujące nadzorowane dostrajanie (Supervised Fine-Tuning – SFT) oraz uczenie ze wzmocnieniem na podstawie informacji zwrotnej od człowieka (Reinforcement Learning from Human Feedback – RLHF). Równocześnie możliwe jest dostrajanie modeli zanurzeń (Fine-tuning the embedding models) poprzez uczenie kontrastowe (Contrastive learning) lub adaptację domenową (Domain adaptation), co poprawia jakość wyszukiwania w specjalistycznych dziedzinach.

Do budowy zaawansowanych systemów RAG wykorzystywane są narzędzia takie jak Meilisearch, Weaviate, Pinecone oraz LangChain. Skuteczność wdrożonych technik ocenia się za pomocą wskaźników takich jak dokładność wyszukiwania (Retrieval accuracy), opóźnienie (Latency), precyzja i czułość (Precision and Recall) oraz satysfakcja użytkownika (User satisfaction). W praktyce najlepsze rezultaty osiąga się przez łączenie kilku technik jednocześnie, ponieważ optymalizacja całego potoku RAG daje znacznie większe korzyści niż usprawnienie pojedynczego elementu systemu.