Backpressure ve Yük Atma — Kuyruk Dolarsa Ne Olur?

Saatte 100 ekmek pişiren bir fırın düşün. Sabah kalabalığında kapıda sıra oluşur, öğlene doğru erir. Ama her saat 120 kişi gelirse sıra hiç erimez; her saat biraz daha uzar.

Kuyruk neyi çözer?

Bir servis saniyede 100 istek işliyorsa, kısa süreli 150’lik bir patlamayı önündeki kuyruk emer. Patlama geçince kuyruk erir ve herkes biraz gecikmeyle de olsa cevap alır.

Gelen yük sürekli 120 ise hesap değişir: kuyruk her saniye 20 istek büyür. Hiçbir istek reddedilmez, ama hiçbiri de zamanında cevap almaz.

Bekleme ne kadar?

Bu hesap Little yasası?Terimin tanımını açLittle yasasıKuyruktaki iş sayısı, geliş hızı ile ortalama bekleme süresinin çarpımıdır (L = λW). Kuyruk büyürse bekleme de aynı oranda büyür.Sözlükte gör →ndan gelir: bekleme süresi, kuyruk uzunluğunun işleme hızına bölümüdür. Kuyruk büyüdükçe bekleme de aynı oranda büyür.

Sürekli fazla yükte iki dürüst seçenek var. Kuyruğu sınırlayıp fazlasını hızlıca reddetmek yük atma?Terimin tanımını açload sheddingKapasite aşıldığında fazla istekleri bilerek ve hızlıca reddetmek (örneğin 429). Kabul edilenlerin zamanında cevap almasını korur.Sözlükte gör →dır; kuyruk doluyken çağıranı bekletmek ise backpressure?Terimin tanımını açbackpressureÜretici tüketiciden hızlı olduğunda akışı yavaşlatma mekanizması. Kuyruk büyütmek backpressure değildir — sadece çöküşü erteler.Sözlükte gör →.

Kendin gör

1. Varsayılanla oynat. Sınırsız kuyruk, sürekli fazla yük: bekleme 2 saniyeye çıktı ve büyüyor.
2. “Reddet” politikasına geç. Bekleme yarım saniyede kaldı, fazlası 429 aldı.
3. “Çağıranı beklet” seç. Reddedilen yok, ama baskı yukarıya taşındı.
4. Yükü “kısa patlama” yap, sınırsız kuyrukla oynat. Patlama emildi ve kuyruk boşaldı.
5. Aynı patlamayı “reddet” ile dene. Sınır küçük olduğu için 50 iyi istek reddedildi.

Tuzaklar

Sınırsız kuyruk varsayılanı. Birçok kütüphanenin varsayılan kuyruğu sınırsızdır. Fazla yükte sessizce bellek tüketir ve sonunda servisi düşürür; sınırı bilerek koy.

Zaman aşımını unutmak. Kuyrukta 30 saniye bekleyen bir isteğin çağıranı 5 saniyede vazgeçmiş olabilir. Vazgeçilmiş işi yapmak kapasiteyi boşa harcar; kuyruktan çıkarken isteğin hâlâ beklenip beklenmediğine bak.

Reddi hata gibi göstermek. 429 bir kaza değil, bir karardır. Retry-After ile ne zaman tekrar denenebileceğini söyle; çağıranlar da hemen değil, artan aralıklarla tekrar denesin.

Aşağıdaki örnek bir bankanın bildirim servisinden: sınırlı kuyruk, dolunca hızlı ret, kuyruktan çıkarken süre kontrolü.

1
@Configuration
2
class NotifyExecutor {
3

4
    @Bean
5
    ThreadPoolExecutor notifyPool() {
6
        return new ThreadPoolExecutor(
7
                8, 8, 0, TimeUnit.SECONDS,
8
                new ArrayBlockingQueue<>(500),             // bounded: never an unbounded queue here
9
                new ThreadPoolExecutor.AbortPolicy());     // full -> RejectedExecutionException, fast
10
    }
11
}

1
@RestController
2
@RequestMapping("/notifications")
3
class NotifyController {
4

5
    private final ThreadPoolExecutor pool;
6
    private final Notifier notifier;
7

8
    NotifyController(ThreadPoolExecutor notifyPool, Notifier notifier) {
9
        this.pool = notifyPool;
10
        this.notifier = notifier;
11
    }
12

13
    @PostMapping
14
    ResponseEntity<Void> send(@RequestBody Notification notification) {
15
        Instant deadline = Instant.now().plusSeconds(5);
16
        try {
17
            pool.execute(() -> notifier.sendIfStillWanted(notification, deadline));
18
            return ResponseEntity.accepted().build();
19
        } catch (RejectedExecutionException full) {
20
            // Load shedding as a decision, not an accident.
21
            return ResponseEntity.status(HttpStatus.TOO_MANY_REQUESTS).header("Retry-After", "2").build();
22
        }
23
    }
24
}

1
@Component
2
class Notifier {
3

4
    private final PushGateway push;
5
    private final Clock clock;
6

7
    Notifier(PushGateway push, Clock clock) {
8
        this.push = push;
9
        this.clock = clock;
10
    }
11

12
    void sendIfStillWanted(Notification notification, Instant deadline) {
13
        if (clock.instant().isAfter(deadline)) {
14
            return;   // the caller gave up long ago; spending capacity here helps no one
15
        }
16
        push.send(notification);
17
    }
18
}

1
@Component
2
class NotifyMetrics {
3

4
    NotifyMetrics(MeterRegistry registry, ThreadPoolExecutor notifyPool) {
5
        // Wait ≈ queue length / throughput: watch the length, not just CPU.
6
        Gauge.builder("notify.queue.size", notifyPool, pool -> pool.getQueue().size()).register(registry);
7
        Gauge.builder("notify.queue.remaining", notifyPool, pool -> pool.getQueue().remainingCapacity()).register(registry);
8
    }
9
}

Kendini sına