Разработка и реализация алгоритма отложенного обновления вторичных индексов
на LSM-деревьях в базах данных

Выполнил:

Шпилевой Владислав Дмитриевич

Научный руководитель:

Волканов Дмитрий Юрьевич

План

Актуальность
Постановка задачи
Решение
Результаты

Актуальность

B-tree

Read/Write

balance

HDD

Память

Диск

Уровень 0

Уровень 1

Уровень N

LSM-tree

SSD

Много случайной записи

Запись всегда
последовательна

Read/Write

disbalance

Актуальность

REPLACE

DELETE

Конец

Хороший сценарий:

Нет записи / чтений диска

REPLACE

DELETE

Конец

Плохой сценарий:

Чтение диска

Первичный индекс

Вторичный индекс

Прочитать

старые данные из первичного индекса, удалить из всех

Вставка в первичный

индекс

Вставка во все индексы

Вторичный индекс

Постановка задачи

Разработать и реализовать алгоритм отложенного обновления вторичных индексов на LSM деревьях

Удаление через вставку
Нет обращений к диску

Разработанный алгоритм

REPLACE

DELETE

Конец

Нет чтений диска

Первичный индекс

Вторичный индекс

Вставка во все индексы

Вставка:

Слияние уровней:

Первичный индекс

Вторичный индекс

Ключи

старых версий

Практические результаты

Теоретическое ускорение - более чем в два раза;
Реализация на основе БД Tarantool;
Практическое ускорение записи - до 10 раз;
Практическое замедление чтений - от 2 раз.

Практические результаты

REPLACE + DELETE нагрузка

INSERT + UPDATE + SELECT нагрузка

x10

Итог

Разработан алгоритм обновления LSM-деревьев с отложенным удалением старых данных;
Алгоритм реализован на архитектуре БД Tarantool;
Получена математическая оценка увеличения скорости записи;
Проведено экспериментальное исследование;
Доклад на конференции "Ломоносов-2018".