Rate Limiting — Kapıdan Saniyede Kaç Kişi Geçer?

Popüler bir kafenin kapısında bir görevli düşün. Herkesi aynı anda içeri alırsa mutfak durur; kimseyi almazsa kafe boş kalır.

429: kibar bir “biraz sonra gel”

Rate limiting?Terimin tanımını açrate limitingBir istemcinin belirli sürede yapabileceği istek sayısını sınırlamak. Aşan istek 429 Too Many Requests alır; birden çok gateway varsa sayaç paylaşılmalıdır.Sözlükte gör →, bir istemcinin belirli sürede yapabileceği istek sayısını sınırlar. Sınırı aşan istek işlenmez, 429 Too Many Requests alır.

İyi bir 429 ne zaman dönüleceğini de söyler. Retry-After?Terimin tanımını açRetry-AfterSunucunun istemciye ne zaman tekrar deneyebileceğini söylediği HTTP başlığı. Saniye sayısı ya da bir tarih olur; çoğunlukla 429 ve 503 ile gelir.Sözlükte gör → başlığı istemciye kaç saniye beklemesi gerektiğini bildirir.

1
HTTP/1.1 429 Too Many Requests
2
Retry-After: 3
3
Content-Type: application/problem+json
4

5
{ "title": "Çok fazla istek", "detail": "Bu anahtar için sınır 10 saniyede 10 istek." }

Sınır bir anahtar başına sayılır: kullanıcı, API anahtarı ya da en son çare IP. Aynı şirket ağının arkasındaki yüz kişi tek bir IP’den görünebilir; IP başına sınır onları birbirine karıştırır.

Pencereyle saymak

En basit sayaç bir sabit penceredir: her on saniyede bir sıfırlanan bir sayı. Birinci pencere ilk on saniyeyi, ikinci pencere sonraki on saniyeyi sayar.

Kayan pencere bunu düzeltir: her istekte son on saniyeye bakılır. Bedeli hafızadır; kabul edilen her isteğin zamanı tutulur ya da iki pencerenin ağırlıklı ortalaması hesaplanır.

İki pencerenin de ortak bir huyu var: ani bir kalabalık hakkın hepsini bir anda harcar. Pencere boşalana kadar saniyede tek istek atan sakin kullanıcı da reddedilir.

Satır satır: token bucket

Token bucket?Terimin tanımını açtoken bucketKapasitesi kadar jeton tutan ve belli bir hızla dolan bir kova. Her istek bir jeton harcar; kova kısa patlamalara izin verir, uzun vadede hızı dolum hızında tutar.Sözlükte gör → iki ayarla çalışır. Kapasite bir anda ne kadar patlamaya izin verileceğini, dolum hızı uzun vadeli ortalamayı belirler.

Jetonlar ayrı ayrı sayılmaz; her istekte geçen süre kadar jeton eklenir. Bu yüzden kova bir zamanlayıcıya ihtiyaç duymaz.

synchronized tek bir JVM içindeki yarışı çözer. Uygulama üç kopya çalışıyorsa her birinin kendi kovası olur; o sorunu tuzaklarda göreceğiz.

Kendin gör

Her sütun bir saniye: yeşil geçenler, taralı ✕ ile gösterilenler 429 alanlar. Sınır hep aynı: 10 saniyede 10 istek.

1. Varsayılanı oynat. Sabit pencere, sınırda iki patlama: yirmisi de geçiyor. Algoritmayı kayan pencere yap; ikinci patlama reddediliyor.
2. Trafiği “Sakin + ani 15” yap. Sabit ve kayan pencerede sakin kullanıcı da 429 alıyor. Token bucket’a geç: patlamanın onu geçiyor, sakin istekler hiç reddedilmiyor.
3. Trafiği “Sel” yap, kurulumu “3 instance, her biri kendi sayacıyla”. On saniyede otuz istek geçiyor. Ortak sayaca geç: yine on.

Tuzaklar

Her instance kendi sayacını tutuyor. Yük dengeleyici istekleri dağıtır; her kopya kendi on hakkını verir. Sayaç ortak bir yerde, örneğin Redis’te durur ve oku-karar ver-yaz tek bir atomik adımda yapılır.

Yanlış anahtar. IP başına sınır, aynı ağdaki herkesi tek kişi sayar. Kimliği doğrulanmış istekte kullanıcıyı ya da API anahtarını say.

İstemcinin tekrar denemesi. 429 alan istemci hemen tekrar denerse yükü büyütür. Retry-After’a uyar, yoksa exponential backoff?Terimin tanımını açexponential backoffBaşarısız her denemeden sonra bekleme süresini katlayarak artırmak. Süreye rastgele bir pay (jitter) eklenir ki istemciler aynı anda geri dönmesin.Sözlükte gör → ile bekler ve bekleme süresine rastgele bir pay ekler.

1
-- KEYS[1] = bucket key, ARGV[1] = capacity, ARGV[2] = tokens per second
2
local capacity = tonumber(ARGV[1])
3
local rate     = tonumber(ARGV[2])
4
local time     = redis.call('TIME')                      -- Redis clock, not the caller's
5
local now      = tonumber(time[1]) * 1000 + math.floor(tonumber(time[2]) / 1000)
6

7
local bucket = redis.call('HMGET', KEYS[1], 'tokens', 'ts')
8
local tokens = tonumber(bucket[1]) or capacity           -- a new key starts full
9
local ts     = tonumber(bucket[2]) or now
10

11
tokens = math.min(capacity, tokens + (now - ts) / 1000 * rate)
12

13
local allowed = 0
14
if tokens >= 1 then
15
  tokens  = tokens - 1
16
  allowed = 1
17
end
18

19
redis.call('HSET', KEYS[1], 'tokens', tokens, 'ts', now)
20
redis.call('PEXPIRE', KEYS[1], math.ceil(capacity / rate * 1000))   -- a full bucket needs no key
21

22
local retry_ms = 0
23
if allowed == 0 then
24
  retry_ms = math.ceil((1 - tokens) / rate * 1000)
25
end
26
return { allowed, retry_ms }

1
@Component
2
class RateLimitFilter extends OncePerRequestFilter {
3

4
    private static final String CAPACITY = "20";
5
    private static final String TOKENS_PER_SECOND = "10";
6

7
    @SuppressWarnings("rawtypes") // Redis returns a list of Longs; the script's result type is erased
8
    private static final RedisScript<List> TOKEN_BUCKET =
9
            RedisScript.of(new ClassPathResource("scripts/token_bucket.lua"), List.class);
10

11
    private final StringRedisTemplate redis;
12

13
    RateLimitFilter(StringRedisTemplate redis) {
14
        this.redis = redis;
15
    }
16

17
    @Override
18
    protected void doFilterInternal(HttpServletRequest request, HttpServletResponse response,
19
                                    FilterChain chain) throws ServletException, IOException {
20
        String key = "rate:" + clientKey(request);
21

22
        @SuppressWarnings("unchecked")
23
        List<Long> result = redis.execute(TOKEN_BUCKET, List.of(key), CAPACITY, TOKENS_PER_SECOND);
24

25
        if (result.get(0) == 1L) {
26
            chain.doFilter(request, response);
27
            return;
28
        }
29
        TooManyRequests.write(response, result.get(1));
30
    }
31

32
    private static String clientKey(HttpServletRequest request) {
33
        Principal user = request.getUserPrincipal();
34
        return user != null ? "user:" + user.getName() : "ip:" + request.getRemoteAddr();
35
    }
36
}

1
final class TooManyRequests {
2

3
    private TooManyRequests() {
4
    }
5

6
    static void write(HttpServletResponse response, long retryMs) throws IOException {
7
        // Retry-After is whole seconds; round up so the client never comes back too early.
8
        long seconds = Math.max(1, (retryMs + 999) / 1000);
9
        response.setStatus(HttpStatus.TOO_MANY_REQUESTS.value());
10
        response.setHeader(HttpHeaders.RETRY_AFTER, String.valueOf(seconds));
11
        response.setContentType(MediaType.APPLICATION_PROBLEM_JSON_VALUE);
12
        response.getWriter().write("{\"title\":\"Too Many Requests\",\"status\":429}");
13
    }
14
}

Kendini sına

Önce hızlı bir ısınma: puan yok, kayıt yok. Sonra asıl sorular.