Yayın Stratejileri — Hatalı Sürüm Kaç Kişiye Dokunur?

Dört şeritli bir köprüyü yenilemen gerekiyor. Bütün köprüyü kapatabilir, şerit şerit değiştirebilir, yanına yenisini yapıp trafiği bir anda çevirebilir ya da önce birkaç aracı yeni şeritten geçirebilirsin. Hepsi aynı köprüyle biter ama yolculuk çok farklıdır.

Dört yol

Recreate eski pod’ların hepsini durdurur, sonra yenilerini başlatır. Basittir ama arada hiç pod yoktur ve istekler düşer.

Rolling?Terimin tanımını açrolling deployUygulama kopyalarını tek tek yeni sürüme geçiren dağıtım. Bir süre eski ve yeni kod aynı veritabanıyla birlikte çalışır.Sözlükte gör → pod’ları teker teker değiştirir: yenisi hazır olunca bir eskisi kapanır. Kesinti olmaz; geçiş sırasında bir pod fazlası gerekir.

Hatalı sürüm kaç kişiye dokunur?

Blue-green?Terimin tanımını açblue-green deploymentYeni sürüm için ikinci bir tam ortam kurup trafiği tek anahtarla çevirmek. Geri dönüş saniyelerdir; bedeli geçiş sırasında iki kat kapasitedir.Sözlükte gör → yanına tam bir ikinci ortam kurar ve trafiği tek anahtarla çevirir. Hatalıysa anahtar geri çevrilir; ama o ana kadar herkes yeni sürümü görmüştür.

Canary?Terimin tanımını açcanary releaseYeni sürümü önce trafiğin küçük bir dilimine açıp hata oranını eski sürümle karşılaştırmak. Hatalı sürüm yalnızca o dilime dokunur.Sözlükte gör → yeni sürümü önce küçük bir dilime açar ve readiness probe?Terimin tanımını açreadiness probeKubernetes'in "bu pod şu an trafik almaya hazır mı?" sorusu. Düşerse pod yeniden başlatılmaz, yalnızca load balancer'dan çıkarılır.Sözlükte gör →’un göremeyeceği şeye, hata oranına bakar. Hatalı bir sürüm yalnızca o dilime dokunur.

Kendin gör

1. Varsayılanla oynat. Recreate ve hatalı sürüm: kesinti ve bütün kullanıcılar hatayı gördü.
2. Rolling’e geç. Kesinti yok, ama hata fark edilene kadar kullanıcıların yarısı etkilendi.
3. Blue-green’e geç. Herkes gördü, ama geri dönüş saniyeler sürdü.
4. Canary’ye geç. Hatayı yalnızca yüzde 5 gördü.
5. “v2 hatalı”yı kapat. Dördünün kesinti ve kapasite bedellerini karşılaştır.

Tuzaklar

İki sürüm aynı anda. Rolling ve canary sırasında eski ve yeni sürüm birlikte çalışır. Veritabanı şeması ve mesaj biçimi ikisini birden desteklemeli; şema değişikliği bu yüzden adım adım yapılır.

Bakılmayan canary. Dilimi açıp metriklere bakmamak, canary’yi yavaş bir rolling’e çevirir. Karar bir ölçüte bağlı olmalı: hata oranı ve gecikme eski sürümle karşılaştırılır.

Geri dönüşü hiç denememek. Geri dönüş komutu ilk kez kriz anında çalıştırılmamalı. Sakin bir günde bir kez dene.

Aşağıdaki örnek bir bankanın ödeme API’sinden: Kubernetes’te rolling ayarları, iş mantığını da kontrol eden bir hazırlık sinyali ve canary kararının ölçütü.

1
apiVersion: apps/v1
2
kind: Deployment
3
metadata:
4
  name: payments-api
5
spec:
6
  replicas: 4
7
  strategy:
8
    type: RollingUpdate
9
    rollingUpdate:
10
      maxSurge: 1          # one extra pod during the swap
11
      maxUnavailable: 0    # never fewer than four ready pods
12
  template:
13
    spec:
14
      terminationGracePeriodSeconds: 30
15
      containers:
16
        - name: api
17
          image: registry.bank.example/payments-api:2.4.0
18
          readinessProbe:
19
            httpGet: { path: /actuator/health/readiness, port: 8080 }
20
            periodSeconds: 5

1
// Readiness that knows a little about the business: ready only when the
2
// payment network answers. It still cannot see a bug in transfer logic.
3
@Component
4
class PaymentNetworkHealthIndicator implements HealthIndicator {
5

6
    private final PaymentNetworkClient network;
7

8
    PaymentNetworkHealthIndicator(PaymentNetworkClient network) {
9
        this.network = network;
10
    }
11

12
    @Override
13
    public Health health() {
14
        return network.ping() ? Health.up().build() : Health.down().withDetail("network", "unreachable").build();
15
    }
16
}

1
management:
2
  endpoint:
3
    health:
4
      group:
5
        readiness:
6
          include: readinessState, db, paymentNetwork
7
server:
8
  shutdown: graceful     # finish in-flight transfers before the pod stops

1
// The canary only widens when its error rate is not clearly worse than the
2
// stable version's. The numbers come from your metrics, not from a guess.
3
record CanaryGate(double maxRatio, long minRequests) {
4

5
    boolean mayWiden(Stats canary, Stats stable) {
6
        if (canary.requests() < minRequests) return false;          // not enough evidence yet
7
        return canary.errorRate() <= stable.errorRate() * maxRatio;
8
    }
9
}

Kendini sına