Cevabı Akıtmak — Asistan Yazarken Müşteri Neden Boş Ekrana Bakıyor?

Bir çay ocağında bir garson bütün demlik hazır olmadan masaya gitmiyor; masa boş bardaklara bakıyor. Öbür garson ilk bardak hazır olur olmaz döküyor. Bir de masa kalktığında demlemeyi bırakmak var.

Boş ekran neden uzun hissettirir?

Model cevabı parça parça üretir. Sunucu bütün parçaları toplayıp sonra gönderirse, müşteri cevabın sonuna kadar boş ekrana bakar.

Cevabı akıtmak?Terimin tanımını açcevabı akıtmakModelin ürettiği cevabı tamamlanmasını beklemeden, parça parça ekrana göndermek. Toplam süreyi değil, boş bekleyişi kısaltır.Sözlükte gör →, her parçayı üretildiği anda ekrana göndermektir. Tarayıcıya akış için çoğu zaman SSE?Terimin tanımını açServer-Sent EventsSunucunun açık tuttuğu tek bir HTTP cevabına olay yazdığı, tek yönlü akış. Tarayıcıda EventSource ile açılır ve kopunca kendisi yeniden bağlanır.Sözlükte gör → kullanılır. Toplam süre değişmez, ama ilk kelime hemen görünür.

Masa kalkınca demlemeyi bırak

İstek iptali?Terimin tanımını açistek iptaliKullanıcı vazgeçince bunu tarayıcıdan sunucuya, oradan model çağrısına kadar taşıyıp işi durdurmak.Sözlükte gör → zincir boyunca taşınmalıdır: tarayıcı bağlantıyı kapatır, sunucu bunu fark eder ve model çağrısını durdurur. Bir halka eksikse model yazmaya ve faturalanmaya devam eder.

Akıtmanın bir sınırı da var. Cevabı kod kullanacaksa, örneğin bir JSON, yarım hâli ayrıştırılamaz ve doğrulanamaz. İnsana akıt, koda tamamlanmış cevabı ver.

Kendin gör

1. Varsayılanla oynat. Cevabın tamamı beklendi: müşteri on iki adım boyunca boş ekrana baktı.
2. “Geldikçe göster” seç. İlk parça ilk adımda göründü; toplam adım aynı.
3. “Müşteri ayrılıyor”u aç. Dördüncü parçadan sonra kimse okumadı; model sekiz parça daha üretti.
4. “İptal et”i de aç. Müşteri gidince üretim durdu.

Tuzaklar

Aradaki tampon. Yerelde akan cevap, bir ters vekil sunucunun arkasında tek seferde gelebilir. Aradaki her katmanda tamponlamanın kapalı olduğundan emin ol.

Yarıda kalan cevabı saklamak. Akış ortasında model hata verirse, gelen kısım tam bir cevap sanılmamalı. Yarıda kaldığını açıkça söyle ve yeniden denemeyi öner.

Eskiyen akışlar. Kullanıcı aynı soruyu art arda gönderirse, eski akışları iptal et ve aynı anda açık akış sayısını sınırla.

1
@RestController
2
@RequestMapping("/assistant")
3
class AnswerController {
4

5
    private final ChatClient chat;
6

7
    AnswerController(ChatClient chat) {
8
        this.chat = chat;
9
    }
10

11
    @GetMapping(path = "/answer", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
12
    Flux<ServerSentEvent<String>> answer(@RequestParam String question) {
13
        return chat.prompt()
14
                .user(question)
15
                .stream()
16
                .content()
17
                .map(chunk -> ServerSentEvent.builder(chunk).build())
18
                // When the browser disconnects, WebFlux cancels this Flux and the
19
                // cancellation reaches the model call: no more chunks are produced.
20
                .doOnCancel(() -> log.info("client left, model stream cancelled"));
21
    }
22

23
    private static final Logger log = LoggerFactory.getLogger(AnswerController.class);
24
}

1
let current: EventSource | null = null;
2

3
export function ask(question: string, onChunk: (text: string) => void, onDone: () => void): void {
4
  // A new question closes the previous stream instead of letting it run on.
5
  current?.close();
6
  const source = new EventSource(`/assistant/answer?question=${encodeURIComponent(question)}`);
7
  current = source;
8

9
  source.onmessage = (event) => onChunk(event.data);
10
  source.onerror = () => {
11
    source.close();
12
    onDone();
13
  };
14
}
15

16
// Leaving the page closes the connection, which cancels the model call on the server.
17
window.addEventListener('pagehide', () => current?.close());

1
@Service
2
class CategoryService {
3

4
    private final ChatClient chat;
5

6
    CategoryService(ChatClient chat) {
7
        this.chat = chat;
8
    }
9

10
    /** Structured output goes to code: wait for the whole answer, then validate it. */
11
    SpendingCategory categorize(String description) {
12
        SpendingCategory category = chat.prompt()
13
                .user("Bu harcamanın kategorisi: " + description)
14
                .call()
15
                .entity(SpendingCategory.class);
16
        return SpendingCategory.validated(category);
17
    }
18
}

Kendini sına