Dağıtık Tracing — Bir İsteği Beş Servis Boyunca İzlemek

Bir koli sipariş ettin ve takip numarasıyla nerede olduğuna bakıyorsun. Koli dört depodan geçiyor ama sen tek bir numarayla bütün yolculuğu görüyorsun.

Trace, span ve ağaç

Bir isteğin bütün yolculuğuna trace denir ve tek bir traceId taşır. Yolculuğun her adımı ise bir span?Terimin tanımını açspanBir trace'in tek bir adımı: bir gelen istek, bir giden çağrı ya da bir mesaj. Kendi spanId'si, süresi ve kendisini başlatan span'in id'si (parent) vardır.Sözlükte gör →’dir: kendi spanId’si, başlangıç zamanı ve süresi vardır.

Her span, kendisini başlatan span’in id’sini parent olarak saklar. BFF’in gelen istek span’i köktür; Feign ile orders’a yaptığı çağrı onun çocuğu, orders’ın o çağrıyı karşılayan span’i de onun çocuğudur.

Zipkin ya da Jaeger bu parent bağlantılarını izleyip ağacı bir şelale gibi çizer. Hangi adımın ne kadar sürdüğünü ve kimin kimi beklediğini tek ekranda görürsün.

Satır satır: kimlik bir servisten ötekine

Kimlik bir HTTP başlığıyla taşınır: W3C standardındaki traceparent?Terimin tanımını açtraceparentW3C Trace Context standardının HTTP (ve mesaj) başlığı. Sürüm, traceId, çağıranın spanId'si ve örnekleme bayrağını taşır; karşı servis aynı trace'e buradan katılır.Sözlükte gör →. İçinde traceId, çağıranın spanId’si ve örnekleme kararı yazar.

Burada kimse traceId’yi elle geçirmedi. Onu taşıyan şey, isteği yapan ya da karşılayan izlenen bileşenlerdir. Log tarafında ise işi MDC?Terimin tanımını açMDCMapped Diagnostic Context: SLF4J/Logback'in thread'e bağlı anahtar-değer tablosu. Log pattern'i buradan okur; Micrometer Tracing traceId ve spanId'yi oraya koyar.Sözlükte gör → yapar: log çerçevesi traceId’yi oradan okur.

Kendin gör

Bir sepet onayı isteği BFF’ten orders ile pricing’e, orders’tan bir @Async işe ve Kafka üzerinden shipping’e gidiyor. Her geçişin bağlamı taşıyıp taşımadığını sen seçiyorsun.

1. Varsayılanla oynat. pricing çağrısı elle kurulmuş bir HttpClient ile yapılıyor. Ana trace’te pricing’e giden adım yok; pricing ise ⚠ işaretli, ayrı bir trace’in kökü.
2. pricing’i Feign yap, @Async işi çıplak executor’a ver. HTTP geçişleri tamam ama tek bir thread değişimi yeni bir yetim trace üretiyor.
3. Kafka’yı “yalnızca listener” yap. Producer başlık eklemiyor; shipping yeni bir trace ile başlıyor.
4. Dört geçişi de düzelt. Sekiz span tek ağaçta toplanıyor ve orders’ın log satırı BFF ile aynı traceId’yi taşıyor.

Tuzaklar

Yeni bir thread. Tracing bağlamı ThreadLocal üzerinde durur ve başka thread’e kendiliğinden geçmez. @Async için bağlamı kopyalayan ContextPropagatingTaskDecorator gerekir; ayrıntısı ThreadLocal dersinde.

Elle kurulmuş istemci. new RestTemplate(), RestClient.create() ya da HttpClient.newHttpClient() izlenmez ve başlık eklemez. İstemciyi Spring’in otomatik yapılandırdığı builder’dan üret.

Kapalı Kafka observation. Spring Kafka’da observation varsayılan olarak kapalıdır; template ve listener için ayrı ayrı açılır.

“Zipkin’de isteğim yok.” Spring Boot varsayılan olarak isteklerin yalnızca %10’unu dışarı gönderir. Bu sampling?Terimin tanımını açsamplingTrace'lerin yalnızca bir kısmını dışarı göndermek. Karar ilk serviste verilir ve traceparent'taki bayrakla aşağıya taşınır; trace ya bütün ya hiç kaydedilir.Sözlükte gör → kararı ilk serviste verilir ve başlıktaki bayrakla bütün servislere taşınır.

Aşağıdaki örnek bir e-ticaret sitesinin sepet servisinden. Bağımlılıklar, örnekleme ve Kafka ayarı, thread’e bağlam taşıyan decorator ve izlenen RestClient tek yerde.

1
<dependency>
2
    <groupId>org.springframework.boot</groupId>
3
    <artifactId>spring-boot-starter-actuator</artifactId>
4
</dependency>
5
<dependency>
6
    <groupId>io.micrometer</groupId>
7
    <artifactId>micrometer-tracing-bridge-otel</artifactId>
8
</dependency>
9
<dependency>
10
    <groupId>io.opentelemetry</groupId>
11
    <artifactId>opentelemetry-exporter-zipkin</artifactId>
12
</dependency>
13
<!-- Makes Spring Cloud OpenFeign clients create spans and send traceparent -->
14
<dependency>
15
    <groupId>io.github.openfeign</groupId>
16
    <artifactId>feign-micrometer</artifactId>
17
</dependency>

1
spring:
2
  application:
3
    name: checkout
4
  kafka:
5
    template:
6
      observation-enabled: true     # producer adds traceparent to record headers
7
    listener:
8
      observation-enabled: true     # consumer continues the trace from those headers
9

10
management:
11
  tracing:
12
    sampling:
13
      probability: 0.1              # Spring Boot's default; 1.0 while developing
14
  zipkin:
15
    tracing:
16
      endpoint: http://zipkin:9411/api/v2/spans

1
@Configuration
2
@EnableAsync
3
class TracingConfig {
4

5
    // Spring Boot applies a TaskDecorator bean to its auto-configured executor.
6
    // This one copies the caller's context (trace, MDC) onto the pool thread.
7
    @Bean
8
    TaskDecorator contextPropagatingTaskDecorator() {
9
        return new ContextPropagatingTaskDecorator();
10
    }
11

12
    // Built from the auto-configured builder, so every call is observed and carries traceparent.
13
    // RestClient.create() would skip that instrumentation.
14
    @Bean
15
    RestClient auditClient(RestClient.Builder builder) {
16
        return builder.baseUrl("http://audit-service").build();
17
    }
18
}

INFO 7 --- [checkout] [nio-8080-exec-3] [4bf92f3577b34da6a3ce929d0e0e4736-00f067aa0ba902b7] c.s.c.CheckoutController : sepet onayı başladı
INFO 7 --- [checkout] [   task-1] [4bf92f3577b34da6a3ce929d0e0e4736-5b1e2c7d9a0f3e44] c.s.c.AuditService       : denetim kaydı yazıldı

Kendini sına

Önce hızlı bir ısınma: puan yok, kayıt yok. Sonra asıl sorular.