Parçalama, uzun belgelerin RAG sistemlerinde aranabilmesi için anlamlı ve uygun büyüklükte küçük parçalara bölünmesidir.
Parçalama ne demek?
Parçalar çok küçük olursa bağlam kaybolur, çok büyük olursa ilgisiz bilgi de getirilir ve bağlam penceresi boşa harcanır. Başlık ve paragraf sınırlarına göre bölmek ve parçalar arasında küçük örtüşmeler bırakmak yaygın uygulamalardır.
İyi parçalama, RAG kalitesini en çok etkileyen ama en çok ihmal edilen adımlardan biridir.
Yakın kavramlar
RAGRetrieval-Augmented GenerationRAG (erişimle güçlendirilmiş üretim), bir dil modelinin cevap üretmeden önce ilgili bilgileri bir belge kaynağından bulup bu bilgilere dayanarak cevap vermesini sağlayan yöntemdir.Ajanlar, RAG & Araç KullanımıEmbedding (Gömme)EmbeddingEmbedding, bir kelimenin, cümlenin, belgenin ya da görselin anlamını temsil eden ve anlamca yakın içeriklerin birbirine yakın düştüğü sayısal vektördür.Ajanlar, RAG & Araç KullanımıBağlam PenceresiContext WindowBağlam penceresi, bir dil modelinin tek seferde dikkate alabildiği en fazla token miktarıdır; promptun, yüklenen belgelerin, sohbet geçmişinin ve cevabın toplamını kapsar.Dil Modelleri & Üretken YZ