Sharding ve Shard Anahtarı — Veriyi Bölmenin Tek Önemli Kararı

Bir kütüphane büyüdükçe kitaplar tek binaya sığmaz ve dört şube açılır. Şimdi her kitabın hangi şubeye gideceğine karar vermek gerekir. Bu kararın kendisi, kütüphanenin geri kalan bütün hayatını belirler.

Bölmek ve anahtar

Sharding?Terimin tanımını açshardingBir tablonun satırlarını birden çok veritabanına bölmek. Her shard verinin bir parçasını taşır; yazma ve depolama yükü bölünür.Sözlükte gör →, bir tablonun satırlarını birden çok veritabanına dağıtmaktır. Her veritabanı verinin yalnızca bir parçasını taşır, böylece yazma ve depolama yükü bölünür.

Hangi satırın hangi shard’a gideceğini shard anahtarı?Terimin tanımını açshard keyBir satırın hangi shard'a gideceğini belirleyen kolon. Sorgu onu içeriyorsa tek shard'a, içermiyorsa hepsine gider.Sözlükte gör → belirler. Bu anahtar bir kez seçilir ve sonradan değiştirmek bütün veriyi taşımak demektir.

Hangi soru ucuz?

Sorgu shard anahtarını içeriyorsa yön bellidir ve tek shard’a gidilir. İçermiyorsa her shard’a sorulur; buna scatter-gather denir ve en yavaş shard kadar yavaştır.

Yazmalar da aynı kurala uyar. Tarih gibi sürekli artan bir anahtar, “şimdi”yi tek bir shard’a koyar ve bütün yeni yazmalar oraya yığılır.

Shard eklemek

Anahtarı shard’a hash mod N ile eşlersen, N değişince kalanların çoğu değişir. Dörtten beşe geçerken her beş anahtardan dördü başka shard’a gider.

Consistent hashing?Terimin tanımını açconsistent hashingAnahtarları ve shard'ları bir halkaya dizen eşleme. Shard eklenince yalnızca yeni shard'ın payı taşınır, hash mod N'deki gibi çoğu değil.Sözlükte gör → anahtarları bir halkaya dizer; yeni shard yalnızca kendi payını alır. Bir başka yaygın yol, baştan çok sayıda sanal shard açıp onları fiziksel makinelere dağıtmaktır.

Kendin gör

1. Varsayılanla oynat. Tarih anahtarında bugünün bütün yazmaları dördüncü shard’a gitti.
2. Anahtarı hash yap. Yazmalar dörde eşit bölündü.
3. İşi “bir müşterinin ödemeleri” yap. Hash’te tek shard; tarih ve ülkede dört shard.
4. “Beşinci shard ekle”, hash anahtarı. Verinin yüzde 80’i taşındı.
5. Consistent hashing’i aç. Yalnızca beşte biri taşındı.

Tuzaklar

Erken sharding. Tek veritabanı, indeksler, okuma replikaları ve önbellek çoğu zaman yeter. Sharding’in bedeli her sorguda ve her şema değişikliğinde ödenir.

Shard’lar arası transaction. İki farklı shard’daki satırı tek transaction’da değiştirmek artık dağıtık bir transaction’dır. Birlikte değişen veriyi aynı shard anahtarı altında tut.

Ünlü müşteri. Hash bile kurtarmaz: tek bir dev müşteri bütün yazmaların yarısını yapıyorsa, onun shard’ı yine sıcak olur.

Aşağıdaki örnek bir ödeme sisteminden: ödemeler müşteri numarasına göre sanal shard’lara, sanal shard’lar da fiziksel veritabanlarına dağıtılıyor.

1
@Component
2
class ShardRouter {
3

4
    // Fixed forever: changing it would move every row.
5
    static final int VIRTUAL_SHARDS = 1024;
6

7
    private final ShardMap map;
8

9
    ShardRouter(ShardMap map) {
10
        this.map = map;
11
    }
12

13
    DataSource forCustomer(long customerId) {
14
        int virtualShard = Math.floorMod(Long.hashCode(customerId), VIRTUAL_SHARDS);
15
        return map.physicalFor(virtualShard);
16
    }
17
}

1
// virtual shard ranges -> physical database. Adding a database means moving a
2
// few ranges to it and updating this map, not rehashing every customer.
3
@Component
4
class ShardMap {
5

6
    private final NavigableMap<Integer, DataSource> byRangeStart;
7

8
    ShardMap(Map<Integer, DataSource> rangeStarts) {
9
        this.byRangeStart = new TreeMap<>(rangeStarts);
10
    }
11

12
    DataSource physicalFor(int virtualShard) {
13
        return byRangeStart.floorEntry(virtualShard).getValue();
14
    }
15
}

1
@Service
2
class PaymentService {
3

4
    private final ShardRouter router;
5

6
    PaymentService(ShardRouter router) {
7
        this.router = router;
8
    }
9

10
    // Every customer-facing query carries the shard key: one shard per call.
11
    List<Payment> recentFor(long customerId) {
12
        JdbcClient db = JdbcClient.create(router.forCustomer(customerId));
13
        return db.sql("select * from payments where customer_id = ? order by created_at desc limit 50")
14
                .param(customerId)
15
                .query(Payment.class)
16
                .list();
17
    }
18
}

1
// A date-range report cannot use the shard key, so it would ask every shard.
2
// It reads from the analytics store that the payments stream feeds instead.
3
@Service
4
class WeeklyReport {
5

6
    private final AnalyticsStore analytics;
7

8
    WeeklyReport(AnalyticsStore analytics) {
9
        this.analytics = analytics;
10
    }
11

12
    BigDecimal totalFor(LocalDate weekStart) {
13
        return analytics.sumPayments(weekStart, weekStart.plusDays(7));
14
    }
15
}

Kendini sına