Dil Modeli Nasıl Cevap Üretir — Neden Var Olmayan Bir Metot Uydurur?

Telefonunun klavyesi sen yazarken bir sonraki kelimeyi önerir. “Yarın sabah” yazınca “görüşürüz” der, çünkü bu ikili çok sık yan yana gelir. Önerinin doğru olup olmadığını bilmez; yalnızca olası olduğunu bilir.

Parça parça yazmak

Bir dil modeli metni token?Terimin tanımını açtokenDil modelinin metni okuyup yazdığı küçük parça: bir kelime, kelimenin bir kısmı ya da bir işaret. Bağlam penceresi de token sayısıyla ölçülür.Sözlükte gör → denen küçük parçalarla yazar: bir kelime, bir kelimenin bir kısmı ya da bir noktalama işareti. Her adımda, o ana kadar yazılanlara bakıp olası devamları puanlar ve birini seçer.

Bakabildiği her şey context window?Terimin tanımını açcontext windowBir dil modelinin tek seferde görebildiği metnin tamamı: senin mesajların, verdiğin dosyalar ve kendi cevapları. Pencerede olmayan bir şeyi model bilmez.Sözlükte gör → içindedir: senin mesajın, eklediğin dosyalar ve kendi yazdıkları. Orada olmayanı ancak eğitimden hatırladığı kadarıyla bilir.

Olası ama yanlış

Modelin var olmayan bir şeyi kendinden emin yazmasına hallucination?Terimin tanımını açhallucinationBir dil modelinin var olmayan bir API'yi, parametreyi ya da kaynağı kendinden emin bir dille üretmesi. Çıktı akıcı olduğu için fark etmek zordur.Sözlükte gör → denir. Kod yazarken en sık hâli: olmayan bir metot, uydurma bir bağımlılık adı ya da yanlış sürüme ait bir ayar.

Sıcaklık?Terimin tanımını açtemperatureModelin bir sonraki parçayı ne kadar cesur seçeceğini belirleyen ayar. Sıfırda hep en olası parça seçilir; cevap tutarlı olur ama doğru olmak zorunda değildir.Sözlükte gör → seçimin ne kadar cesur olacağını belirler. Sıfırda hep en olası parça seçilir ve cevap tutarlı olur; yükseldikçe daha az olası parçalar da seçilebilir.

Kanıt nereden gelir?

İlgili belgeyi ya da kendi kodundan bir örneği bağlama koymak, olası devamları gerçek adlara bağlar ve uydurmayı azaltır. Ama sıfırlamaz.

Asıl kanıt dışarıdan gelir: kod derleniyor mu, bağımlılık gerçekten var mı, test geçiyor mu? Modelin cevabı bir taslaktır; derleyici, belge ve test onu doğrular.

Kendin gör

1. Varsayılanla oynat. Her boşluk için aday tablosu ve seçilen parça.
2. Sıcaklığı 1.5 yap, birkaç kez yeni tohumla oynat. Bir gün uydurma bir ad gelecek.
3. Sıcaklığı 0 yap. Her seferinde aynı ve en olası cevap.
4. Sıcaklık 1.5’te belgeyi bağlama ekle. Uydurma adların payı neredeyse sıfıra indi.

Tuzaklar

Uydurma bağımlılık: model, var olmayan ama gerçeğine benzeyen bir paket adı önerebilir. Kötü niyetli biri o adla bir paket yayınlamışsa, körü körüne kurmak güvenlik açığı olur. Her bağımlılığı resmi depoda kontrol et.

“Sıcaklık sıfır, o hâlde doğru.” Sıfır sıcaklık cevabı tutarlı yapar, doğru yapmaz. En olası cevap da yanlış olabilir.

Uzun sohbette erken bilgi. Bağlam penceresi dolunca ya da sohbet çok uzayınca, baştaki bir kural gözden kaçabilir. Önemli kısıtları görevin içinde yeniden söyle.

Aşağıdaki örnek, bir bankanın para gönderme API’sinde asistanın önerdiği doğrulama kodunu kanıtlarla kontrol etmenin hâli.

1
// The assistant's first draft — fluent, confident and wrong:
2
//   public TransferResult send(@ValidRequest @RequestBody TransferRequest request)
3
// @ValidRequest does not exist; the compiler says so before anything else does.
4

5
@RestController
6
@RequestMapping("/transfers")
7
class TransferController {
8

9
    private final TransferService transfers;
10

11
    TransferController(TransferService transfers) {
12
        this.transfers = transfers;
13
    }
14

15
    @PostMapping
16
    TransferResult send(@Valid @RequestBody TransferRequest request) {   // checked against the Spring docs
17
        return transfers.send(request);
18
    }
19
}

1
record TransferRequest(
2
        @NotBlank @Size(min = 26, max = 26) String toIban,
3
        @NotNull @Positive @Digits(integer = 12, fraction = 2) BigDecimal amount,
4
        @Size(max = 140) String description) {
5
}

1
<!-- The assistant suggested "spring-validation-starter": no such artifact.
2
     The real one, checked on Maven Central: -->
3
<dependency>
4
    <groupId>org.springframework.boot</groupId>
5
    <artifactId>spring-boot-starter-validation</artifactId>
6
</dependency>

1
@WebMvcTest(TransferController.class)
2
class TransferControllerTest {
3

4
    @Autowired MockMvc mvc;
5
    @MockitoBean TransferService transfers;
6

7
    @Test
8
    void rejectsANegativeAmount() throws Exception {
9
        mvc.perform(post("/transfers")
10
                        .contentType(MediaType.APPLICATION_JSON)
11
                        .content("""
12
                                {"toIban":"TR330006100519786457841326","amount":-5}
13
                                """))
14
                .andExpect(status().isBadRequest());
15

16
        verifyNoInteractions(transfers);
17
    }
18
}

Kendini sına