Prod'da Teşhis — Heap Dump, Thread Dump ve İlk On Beş Dakika

Doktora “halsizim” dediğinde doktor hemen ilaç yazmaz. Önce birkaç soru sorar, sonra belirtiye uyan tahlili ister.

Önce belirti, sonra araç

Yavaşlığın arkasında genellikle üç şeyden biri vardır. Her biri başka bir iz bırakır:

Bu araçların hepsi servis hâlâ hastayken çalışır. Yeniden başlatınca belirti de gider; bu yüzden kanıt önce alınır.

Sızıntı mı, yük mü?

Heap grafiği bir testere gibidir: nesneler ayrılır, çizgi yükselir; GC toplar, çizgi düşer. Asıl bilgi dişlerin dibindedir.

Sızıntı olduğu belliyse sıradaki soru, nesneleri kimin tuttuğudur. Heap dump’ı Eclipse MAT gibi bir araçla açıp nesneleri retained size?Terimin tanımını açretained sizeBir nesne ortadan kalksaydı serbest kalacak toplam bellek: nesnenin kendisi ve yalnızca onun sayesinde canlı kalan her şey.Nesnenin kendi boyuna shallow size denir. Sızıntı ararken nesneler retained boya göre sıralanır.Sözlükte gör →’a göre sıralarsın. En üstte çoğunlukla bir static koleksiyon, bir cache ya da hiç çıkarılmayan bir dinleyici listesi durur.

Sızıntının tipik kaynaklarını Garbage Collection ve ThreadLocal derslerinde gördün. Burada önemli olan onları bulma yolu.

Satır satır: bir thread dump okumak

CPU boşta, istekler bitmiyor. jcmd PID Thread.print ile bir thread dump aldın; iki bloğa birlikte bakalım.

Bu bir bağlantı havuzu?Terimin tanımını açconnection poolAçık veritabanı bağlantılarını tutan ve isteklere ödünç veren havuz. Bağlantı açmanın maliyetini bir kez öder; boyutu veritabanının kapasitesine göre seçilir.Sözlükte gör → tükenmesi. Tek dump bir fotoğraftır; birkaç saniye arayla üç dump alırsın ve aynı tablo tekrar ediyorsa desen budur.

CPU’yu tek bir thread yakıyorsa yol biraz farklıdır: top -H -p PID o thread’in kimliğini verir. Kimliği onaltılığa çevirip dump’taki nid alanında ararsın. Deadlock varsa JVM onu dump’ın sonunda kendisi raporlar; Concurrency araçları dersindeki gibi.

Kendin gör

Servis yavaşladı ve arkasında dört gizli sorundan biri var. Bir olay ve bir araç seç; araç sana o olayda ne gösterirdi, izle.

1. Varsayılanı oynat. Gizli sorun A’ya thread dump ile bakıyorsun. Thread’ler normal: yanlış araç.
2. Aracı “GC sonrası heap grafiği” yap. Taban tırmanıyor, sızıntı var ama kimin tuttuğu belli değil. Heap dump’a geç.
3. Gizli sorun B’yi seç. CPU boşta: hangi araç bekleyenleri gösterir?
4. Gizli sorun C ve D’yi dene. Birinde tek bir thread suçlu, ötekinde hiçbir araç suçlu bulamıyor. Bu da bir cevap.

Tuzaklar

Önce yeniden başlatmak. Servis düzelir, kanıt gider, sorun geri gelir. Bir instance’ı trafikten çıkarıp kanıtı ondan al; diğerlerini sonra yeniden başlat.

Trafikteyken heap dump. Dump boyunca JVM durur ve dosya heap kadar yer kaplar. İçinde IBAN’lar, token’lar ve müşteri adları olduğu için dosya müşteri verisi gibi korunur.

Sebebi bilmeden büyütmek. Havuzu ya da heap’i büyütmek sızıntıyı ve yavaş dış çağrıyı yalnızca erteler. Önce teşhis, sonra ayar.

#!/usr/bin/env bash
# Usage: collect-evidence.sh <pid>. Run it on an instance taken out of the load balancer.
set -euo pipefail
PID="$1"
OUT="/var/evidence/$(date +%Y%m%d-%H%M%S)"
mkdir -p "$OUT"

for i in 1 2 3; do
  jcmd "$PID" Thread.print -l > "$OUT/threads-$i.txt"
  sleep 5
done

top -H -b -n 1 -p "$PID" | head -30 > "$OUT/top-threads.txt"
jcmd "$PID" GC.heap_info > "$OUT/heap-info.txt"
jcmd "$PID" GC.class_histogram | head -40 > "$OUT/histogram.txt"
jcmd "$PID" JFR.start name=incident duration=120s filename="$OUT/incident.jfr" settings=profile

echo "Evidence in $OUT. A full heap dump pauses the JVM: take it only on purpose."

-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=/var/evidence/oom.hprof
-Xlog:gc*:file=/var/log/app/gc.log:time,uptime:filecount=5,filesize=20m

1
spring:
2
  datasource:
3
    hikari:
4
      maximum-pool-size: 10
5
      connection-timeout: 3000
6
      # A connection held longer than this is logged together with the stack of the thread holding it.
7
      leak-detection-threshold: 2000

1
@Service
2
class TransferService {
3

4
    private final AccountRepository accounts;
5
    private final TransferRepository transfers;
6
    private final FxRateClient fxClient;
7
    private final TransactionTemplate tx;
8

9
    TransferService(AccountRepository accounts, TransferRepository transfers,
10
                    FxRateClient fxClient, TransactionTemplate tx) {
11
        this.accounts = accounts;
12
        this.transfers = transfers;
13
        this.fxClient = fxClient;
14
        this.tx = tx;
15
    }
16

17
    public Transfer send(TransferRequest r) {
18
        // The slow remote call happens before any connection or row lock is taken.
19
        BigDecimal rate = fxClient.fetchRate(r.currency());
20
        return tx.execute(status -> {
21
            Account from = accounts.lockById(r.fromId());
22
            from.withdraw(r.amount().multiply(rate));
23
            return transfers.save(Transfer.of(from, r, rate));
24
        });
25
    }
26
}

Kendini sına

Önce hızlı bir ısınma: puan yok, kayıt yok. Sonra asıl sorular.