RAG — Modele Doğru Belgeyi Göstermek

Açık kitap sınavındasın ve kütüphaneciden sorunun cevabını bulacağın kitabı getirmesini istiyorsun. Kütüphaneci soruya en çok benzeyen kitabı getiriyor. Ama o kitap geçen yılın baskısı ve içindeki bilgi artık geçerli değil.

Model neyi bilir, neyi bilmez?

Bir dil modeli eğitildiği tarihe kadar gördüğü metinleri bilir. Şirketinin güncel kurallarını, iç belgelerini ve dün değişen bir düzenlemeyi bilmez.

RAG?Terimin tanımını açRAGRetrieval-augmented generation: soruyla ilgili belgeleri bulup modelin bağlamına koymak ve modelden onlara dayanarak cevap vermesini istemek.Sözlükte gör → (retrieval-augmented generation) bu boşluğu doldurur: soru geldiğinde önce ilgili belgeler bulunur, sonra soruyla birlikte modelin bağlamına konur. Model cevabı o belgelere dayanarak verir ve kaynağını gösterebilir.

Benzer olan, geçerli olan değildir

Belgeler iki yolla aranabilir: sorudaki kelimelerle ya da anlamla. Anlam araması için metinler bir embedding?Terimin tanımını açgömmeDoküman modelinde ilişkili veriyi ayrı bir koleksiyon yerine ana dokümanın içine koymak. Birlikte okunan ve sınırlı veri için tek okuma ve atomik yazma sağlar.Sözlükte gör →’e, yani anlamı temsil eden sayılara çevrilir; benzer anlamlı metinler birbirine yakın düşer.

İki yol da benzerliği ölçer, geçerliliği değil. Bu yüzden belgelere tarih ya da “geçerli mi” gibi bilgiler eklenir ve eskimiş olanlar aramaya hiç sokulmaz. Belge bulunamazsa model tahmin etmemeli; aksi hâlde bir halüsinasyon?Terimin tanımını açhallucinationBir dil modelinin var olmayan bir API'yi, parametreyi ya da kaynağı kendinden emin bir dille üretmesi. Çıktı akıcı olduğu için fark etmek zordur.Sözlükte gör → çıkar.

Kendin gör

1. Varsayılanla oynat. Kelime araması, en iyi 1 belge: 2023 kuralı geldi ve asistan kaynak göstererek “16:30” dedi.
2. “Anlam araması” seç. Yine eski kural geldi: o da soruya en çok benzeyen belgeydi.
3. “En iyi 3” seç. İki kural birden bağlama girdi; asistan hangisinin geçerli olduğunu bilemedi.
4. “Yalnızca geçerli belgeler”i aç. Eski kural aramaya hiç girmedi; cevap “17:00”, kaynak belge 1.
5. “Belge getirme”yi kapat. Asistan hafızasından tahmin etti ve kaynak gösteremedi.

Tuzaklar

Belgelere geçerlilik bilgisi eklememek. Tarih ve “geçerli mi” bilgisi olmayan bir belge deposunda eski ile yeni ayırt edilemez. Her belgeye bu bilgiyi ekle ve aramadan önce süz.

“Bilmiyorum” demesine izin vermemek. Bağlamda cevap yoksa model yine bir şey yazar. Talimatta açıkça söyle: kaynaklarda yoksa bilmediğini söylesin.

Her şeyi bağlama doldurmak. Fazla belge, çelişki ve gürültü demektir. Az ama doğru belge, çok ama karışık belgeden iyidir.

Aşağıdaki örnek bir bankanın destek asistanından: belgeler geçerlilik tarihiyle saklanıyor, arama önce süzüyor, talimat kaynak dışına çıkmayı yasaklıyor.

1
/** One searchable piece of an internal document, with when it is valid. */
2
record PolicyChunk(String id, String text, float[] embedding, LocalDate validFrom, LocalDate validTo, String source) {
3

4
    boolean validOn(LocalDate day) {
5
        return !day.isBefore(validFrom) && (validTo == null || !day.isAfter(validTo));
6
    }
7
}

1
@Component
2
class PolicyRetriever {
3

4
    private static final int TOP_K = 3;
5
    private final PolicyChunkRepository chunks;
6
    private final Embedder embedder;
7
    private final Clock clock;
8

9
    PolicyRetriever(PolicyChunkRepository chunks, Embedder embedder, Clock clock) {
10
        this.chunks = chunks;
11
        this.embedder = embedder;
12
        this.clock = clock;
13
    }
14

15
    List<PolicyChunk> relevantTo(String question) {
16
        LocalDate today = LocalDate.now(clock);
17
        float[] q = embedder.embed(question);
18
        return chunks.findAll().stream()
19
                .filter(c -> c.validOn(today))                         // superseded rules never compete
20
                .sorted(Comparator.comparingDouble((PolicyChunk c) -> Vectors.cosine(q, c.embedding())).reversed())
21
                .limit(TOP_K)
22
                .toList();
23
    }
24
}

1
final class GroundedPrompt {
2

3
    private GroundedPrompt() {}
4

5
    static String build(String question, List<PolicyChunk> sources) {
6
        StringBuilder prompt = new StringBuilder("""
7
                Yalnızca aşağıdaki kaynaklara dayanarak cevap ver.
8
                Cevap kaynaklarda yoksa "Bu bilgi elimdeki belgelerde yok." de.
9
                Her cevabın sonunda kullandığın kaynağın numarasını yaz.
10

11
                """);
12
        for (int i = 0; i < sources.size(); i++) {
13
            prompt.append("[").append(i + 1).append("] ").append(sources.get(i).text()).append('\n');
14
        }
15
        return prompt.append("\nSoru: ").append(question).toString();
16
    }
17
}

1
class PolicyRetrieverTest {
2

3
    @Test
4
    void neverPutsASupersededRuleInTheContext() {
5
        var clock = Clock.fixed(Instant.parse("2025-10-01T09:00:00Z"), ZoneOffset.UTC);
6
        var old = chunk("eft-2023", "EFT son saati 16:30", LocalDate.of(2023, 1, 1), LocalDate.of(2024, 12, 31));
7
        var current = chunk("eft-2025", "EFT son saati 17:00", LocalDate.of(2025, 1, 1), null);
8
        var retriever = new PolicyRetriever(() -> List.of(old, current), text -> new float[] {1f}, clock);
9

10
        assertThat(retriever.relevantTo("EFT için kesim saati kaç?")).extracting(PolicyChunk::id).containsExactly("eft-2025");
11
    }
12

13
    private static PolicyChunk chunk(String id, String text, LocalDate from, LocalDate to) {
14
        return new PolicyChunk(id, text, new float[] {1f}, from, to, "genelge");
15
    }
16
}

Kendini sına