VShard - горизонтальное масштабирование в Tarantool

Владислав Шпилевой

План доклада

Что это?
Shard
VShard
Использование
Ребалансировка
Прокси
Auto read failover
Write failover
Мониторинг

Source: https://slides.com/gerold103/vshard-highload

Масштабирование

Горизонтальное

Вертикальное

Репликация

Шардинг

ABCD

Диапазоны

Хеши

Tarantool Shard

http://github.com/tarantool/shard

function shard_function(primary_key)
    return guava(crc32(primary_key), shard_count)
end

Первый шардинг в Tarantool

Request

old hash

new hash

Нет локальности

Медленный решардинг

Нестабильные чтения

SELECT

Tarantool Shard

format = {{'id', 'unsigned'},
          {'email', 'string'}}
box.schema.create_space('customer', {format = format})

format = {{'id', 'unsigned'},
          {'customer_id', 'unsigned'},
          {'balance', 'number'}}
box.schema.create_space('account', {format = format})

user {100, 'foo@mail.ru'}

account {1, 100, 123}

100 != 1 → разные хеши → разные узлы

Tarantool VShard

http://github.com/tarantool/vshard

tarantool.io

Buckets

Replicaset

Data → Bucket → Storage

User defined map

Internal map

format = {{'id', 'unsigned'},
          {'email', 'string'},
          {'bucket_id', 'unsigned'}}
box.schema.create_space('customer', {format = format})

format = {{'id', 'unsigned'},
          {'customer_id', 'unsigned'},
          {'balance', 'number'},
          {'bucket_id', 'unsigned'}}
box.schema.create_space('account', {format = format})

Локальность по bucket_id

Связка данных

user { 100, 'bar@mail.ru', 5 }

account {1, 100, 123, 5 }

Использование

Что именно это дает?

format = {{'id', 'unsigned'},
          {'email', 'string'}}

box.schema.create_space('customer', {format = format})

format = {{'id', 'unsigned'},
          {'customer_id', 'unsigned'},
          {'balance', 'number'}}

box.schema.create_space('account', {format = format})

Связка данных

Использование

customer {1, 'bar@mail.ru'}

account {1, 1, 100}

account {2, 1, 200}

account {3, 1, 300}

SELECT * FROM accounts WHERE customer_id = 1;

3 запроса

customer {1, 'bar@mail.ru', 5}

account {1, 1, 100, 5}

account {2, 1, 200, 5}

account {3, 1, 300, 5}

1 запрос

...

Обычный хеш-шардинг

VShard

Использование

function create_user(email)
    local customer_id = next_id()
    local bucket_id = crc32(customer_id)
    box.space.customer:insert(customer_id, email, bucket_id)
end

function add_account(customer_id)
    local id = next_id()
    local bucket_id = crc32(customer_id)
    box.space.account:insert(id, customer_id, 0, bucket_id)
end

Как масштабировать?

Реконфигурация

vshard.storage.cfg(new_config)

Failover

Rebalancer

Zookeeper

new_cfg.sharding[new_uuid] = {
    uuid = new_uuid,
    replicas = {
        {
            name = new_replica1,
            uri = 'example.com:113',
            uuid = replica1_uuid,
            master = true,
        },
        {
            name = new_replica2,
            uri = 'example.com:114',
            uuid = replica2_uuid,
        }
    }
}

vshard.storage.cfg(new_cfg)

https://github.com/tarantool/zookeeper

Использование

= Const

Как это сделать?

Ребалансировка

вычислить баланс
построить маршруты бакетов
отправить маршруты

Routes

100

200

= 1000

= 2000

new_cfg.sharding[uuid1].weight = 100
new_cfg.sharding[uuid2].weight = 200
vshard.storage.cfg(new_cfg)

Data

new_cfg.sharding[uuid1].weight = 0
vshard.storage.cfg(new_cfg)

= 0

Ребалансировка

Состояние 1

Состояние 2

Атомарный переход

Это плохой способ

Это хороший способ

Не нужны выделенные состояния кластера - есть только состояния бакетов

Ошибка

Плавный переход

Ребалансировка

Read

Write

Сеть

Read

Write

Read

Как не блокировать запись?

Write

Что с уже имеющимися запросами?

Ребалансировка

vshard.storage.bucket_refro(i)
-- Do some read-only things.
vshard.storage.bucket_unrefro(i)

vshard.storage.bucket_refrw(i)
-- Do some read-write things.
vshard.storage.bucket_unrefrw(i)

Подсчет числа запросов

Reading ...

ref_ro = 3

Сборщик мусора

Writing ...

ref_rw = 3

Ребалансировщик

ref_ro = 2

ref_ro = 1

... но если очень хочется, то можно

Bucket Pin

box.begin()
vshard.storage.bucket_pin(10)
vshard.storage.bucket_pin(11)
box.commit()
--
-- Do anything with these buckets.
--
box.begin()
vshard.storage.bucket_unpin(10)
vshard.storage.bucket_unpin(11)
box.commit()

Replicaset Lock

https://Pin and Lock RFC

new_cfg.sharding[uuid].lock = true
vshard.storage.cfg(new_cfg)

Что осталось?

Нет локальности
Решардинг замедляет все
Нестабильные чтения

Прокси

bucket_id → storage

vshard.router

Прокси

r = vshard.router
accounts = r.call(bucket_id,
                  'get_accounts',
                  {customer_id})

function get_accounts(customer_id)
    local customer =
        box.space.accounts.index.customer
    return customer:select({customer_id})
end

Routing

Auto read failover

Write

Read

Зона 1

Зона 2

Зона ...

Зона K - 1

Зона K

Зона N

	Зона 1	Зона 2	...	Зона K
Зона 1	w(1, 1)	w(1, 2)	w(1, i)	w(1, K)
Зона 2	w(2, 1)	w(2, 2)	w(2, i)	w(2, K)
...	w(j, 1)	w(j, 2)	w(j, i)	w(j, K)
Зона K	w(K, 1)	w(K, 2)	w(K, i)	w(K, K)

Auto read failover

new_cfg.weights = {
    [1] = {
        [1] = 0,
        [2] = 100,
        [3] = 200,
    },
    [2] = {
        [1] = 300,
        [2] = 0,
        [3] = 400,
    },
    [3] = {
        [1] = 500,
        [2] = 600,
        [3] = 0,
    }
}
new_cfg.zone = 1
vshard.router.cfg(new_cfg)

Зона 1

Зона 2

Зона 3

100

200

300

400

500

600

Write failover

replicas = new_cfg.sharding[uud].replicas
replicas[old_master_uuid].master = false
replicas[new_master_uuid].master = true
vshard.storage.cfg(new_cfg)

Read

Write

Be Master

Write

Sync

Read

Write

Мониторинг

vshard.storage.info()
---
- replicasets:
    <replicaset_2>:
      uuid: <replicaset_2>
      master:
        uri: storage@127.0.0.1:3303
    <replicaset_1>:
      uuid: <replicaset_1>
      master: missing
  bucket:
    receiving: 0
    active: 0
    total: 0
    garbage: 0
    pinned: 0
    sending: 0
  status: 2
  replication:
    status: slave
  alerts:
  - ['MISSING_MASTER', 'Master is not configured for '
                       'replicaset <replicaset_1>']

vshard.storage.buckets_info()

Мониторинг

vshard.router.info()
---
- replicasets:
    <replicaset_2>:
      replica: &0
        status: available
        uri: storage@127.0.0.1:3303
        uuid: 1e02ae8a-afc0-4e91-ba34-843a356b8ed7
      bucket:
        available_rw: 500
      uuid: <replicaset_2>
      master: *0
    <replicaset_1>:
      replica: &1
        status: available
        uri: storage@127.0.0.1:3301
        uuid: 8a274925-a26d-47fc-9e1b-af88ce939412
      bucket:
        available_rw: 400
      uuid: <replicaset_1>
      master: *1
  bucket:
    unreachable: 0
    available_ro: 800
    unknown: 200
    available_rw: 700
  status: 1
  alerts:
  - ['UNKNOWN_BUCKETS', '200 buckets are not discovered']

Что требуется от вас

Выбрать число бакетов

Метаданные

Доступность на запись при решардинге

Тысячи

Сотни тысяч

Выбрать шард функцию

function bucket_id(tuple)
    ...
end

storage\_meta = ~30\ byte\ /\ bucket\\ router\_meta = ~16\ byte\ /\ bucket

99%

99.99999%

Итоги

... локальность данных,

... гранулярный автоматический решардинг,

... auto read failover

... гибкое управление доступностью: рефы, пины, локи, веса

Планы

Балансировка нагрузки на роутерах
Lock-free перенос бакета
Атомарная авто-реконфигурация

VShard - горизонтальное масштабирование в Tarantool

By Vladislav Shpilevoy

VShard - горизонтальное масштабирование в Tarantool

2,683

Vladislav Shpilevoy PRO

Database C developer at Tarantool. Backend C++ developer at VirtualMinds.

linkedin.com/in/gerold103

VShard - горизонтальное масштабирование в Tarantool

План доклада

Масштабирование

Tarantool Shard

Tarantool Shard

Tarantool VShard

Использование

Использование

Использование

Реконфигурация

Использование

Ребалансировка

Ребалансировка

Ребалансировка

Ребалансировка

Bucket Pin

Replicaset Lock

Что осталось?

Прокси

Прокси

Auto read failover

Auto read failover

Write failover

Мониторинг

Мониторинг

Что требуется от вас

Итоги

Планы

VShard - горизонтальное масштабирование в Tarantool

More from Vladislav Shpilevoy