Обзор Tarantool

И его использование вместе с python

Основные Особенности

Как Базы Данных

• in-memory: все данные хранятся в оперативной памяти.
• Spaces: можно иметь множество именованных коллекций.
• Есть поддержка множества типов данных: integer, float, string, boolean, tuples.

Основные Особенности

Как Базы Данных

• Выборки: также вы можете получать и сортировать данные по запросу.
• Возможность делать бэкап состояния и базы на ПЗУ, для последующего восстановления.
• Несколько видов индексов: есть как первичные так и вторичные индексы, все индексы поддерживают типы: TREE, RTREE, HASH, BITSET.

Основные Особенности

Как Базы Данных

• Поддержка слепков, и полного лога всех записей для сохранения состояния вашей базы.
• Поддержка шардинга - один из способов масштабируемости базы.
• Vinyl - возможность обрабатывать данные больших чем размер ОЗУ - с использованием файловой системы

Lua

с JIT

• В первую очередь tarantool это application server - вы можете писать любые приложения на Lua
• Fibers - позволяет работать с неблокируемым I/O
• Поддержка FFI - вы можете писать свои нативные модули и адаптации на С/С++
• Также в tarantool есть встроенная JIT компиляция

Lua

Поддержка множества готовых модулей

• tarantool-queue: для работы с очередями сообщений.
• Phometheus: для сбора и аналитики статистики работы приложения.
• pg, mysql - модули для работы с популярными SQL базами.
• expiration - модуль для автоматического очищения старых записей
• shard - модуль поддержки шардинга для tarantool

Lua

Простой пример

--- Базовая конфигурация runtime server ---
box.cfg {
  work_dir: '/home/user/my_project',
  listen: 8080,
  ....
}

space = box.schema.space.create("users")
space.create_index("user_id", {
  parts = {1, "string"}
  unique = true,
  type = "TREE"
})

space.insert { name: "Vasya" }
--- OR ---
box.spaces.users.insert { name: "Vasya" }

space.select(#index, { ...query })

...Etc

Lua

Основные достоинства использования

• Это Lua - все просто, лаконично и понятно.
• Можно писать самодостаточные - простые и высокопроизводительные микросервисы.
• Вы можете взаимодействовать с другими приложениями и базами данных.

А если без Lua?

Использование tarantool как базы в других языках.

• Для удаленного общения с Tarantool используется MsgPack.
• Для использования tarantool есть драйвера для разных языков: Python, Java, R, Erlang, Go, NodeJS.
• С переменным успехом, они вроде работают...

Python

Как там с поддержкой?

• Оффициальный драйвер Tarantool для python от Mail.ru.
• Адаптер драйвера Tarantool для asyncio.
• Есть возможность вызывать lua функции на стороне application сервера tarantool.
• API драйвера максимально приближен к оригинальному API на Lua - все коротко и просто.

import tarantool
schema = {
  0: {
    'name': 'users', # Имя коллекции
    'default_type': tarantool.STR, # Если данные отличаются от описанных
    'fields': {
      # (Название, Тип)
      0: ('numfield', tarantool.NUM),
      1: ('num64field', tarantool.NUM64),
      2: ('strfield', tarantool.STR),
    },
    'indexes': {
      0: ('pk', [0]),
    }
  }
}

connection = tarantool.connect(
    host = 'localhost',
    schema = schema,
    port=33013
)

users = connection.space('users')
users.insert((0, 12, u'Username username'))
users.select(0)

# [(0, 12, u'this is unicode string')]

Производительность

Benchmarks by mail.ru: до 100 потоков с шагом в 10

Производительность

Benchmarks by mail.ru: до 100 потоков с шагом в 10

Производительность

Benchmarks by mail.ru: до 1000 с шагом в 100 потоков

Производительность

Benchmarks by mail.ru: до 1000 с шагом в 100 потоков

Недостатки Tarantool

• Очень маленькое сообщество сектантов - мало статей, примеров использования, Q/A: на stackoverflow всего 50 тикетов.
• Плохая поддержка и развитие драйверов - большая часть драйверов написана один раз, годы назад, и с тех пор практически не изменились (Даже офф. драйверы @mail.ru).
• Также большая часть библиотек хоть и работают, но развиваются очень медленно, и имеют "не самую лучшую" документацию.
• Мало компаний пользуется tarantool - и почти все они российские.

Заключение

• Tarantool - не панацея, у него есть свои достоинства и недостатки, система еще довольно молодая: юзайте на свой страх и риск.
• Обоснованное использование скорее всего повлечет за собой написание своих велосипедов: готовых батареек очень мало.
• Tarantool - не убийца Redis, у них разные области решения задач, не думайте что tarantool будет практичнее если юзать его как простой key/value storage.

Ссылки для интересующихся

Tarantool.org - оффициальный сайт

Redis vs Tarantool - статья про сравнение с самой популярной in-memory базой.

Try - тут вы можете попробовать тарантул онлайн без установки

Вопросы?