Conflict-free
Replicated
Data
Types

Юрий Сыровецкий

Проблема: компьютеры обмениваются разными данными

Consistency
Availability
Partition
          tolerance

P

C      A 

C + a

 
 
  • Деньги
  • Правовые документы
  • иные критичные к «истине» приложения
  • Что угодно, если помещается в ДЦ
  • Почти что угодно, если помещается на Земле

A + c

  • Совместная работа
  • Игры
  • Социалочки
  • Мобильные приложения
  • UI
  • Космические системы

Зачем?

  • отзывчивость > скорость сети
  • сеть разрывается, оффлайн
  • исключение узких мест
  • многопользовательская система

Зачем нам?

  • состояние клиента в Телемосте
  • презентация на Хурале («следующий слайд, пожалуйста»)

  • Заметки в Диске

  • автоматическое слияние некоторых типов файлов (текстовых документов, таблиц)

  • Make DataSync Great Again

Задачи, решаемые CRDT

  • синхронизация реплицированных данных

  • без центрального сервера

  • без подтверждения других участников

  • многие ко многим

  • на нестабильных каналах

  • с периодами отсутствия связи

Как решать конфликты?

OT

(Operational Transformation)

Как сделать правильно-то?

y \diamond z = z \diamond y \\ \text{-- commutativity}
x \diamond x = x \\ \text{-- idempotence}
(x \diamond y) \diamond z = x \diamond (y \diamond z) \\ \text{-- associativity}

Convergent
Replicated
Data
Types

(CvRDT, state-based)

Grow-only counter

\begin{aligned} \text{G-counter} &= (\N, \mathrm{max}) \\ \mathrm{max}(x, \mathrm{max}(y, z)) &= \mathrm{max}(\mathrm{max}(x, y), z) \\ \mathrm{max}(x, y) &= \mathrm{max}(y, x) \\ \mathrm{max}(x, x) &= x \end{aligned}

Счётчик лайков

Сервера: \(1..n\)

Лайки: \([c_1,..,c_n]\)

Product

A, B \in \mathrm{CvRDT} \implies A \times B \in \mathrm{CvRDT} \\ (x_{\tiny A}, x_{\tiny B}) \overset{A \times B} \diamond (y_{\tiny A}, y_{\tiny B}) = (x_{\tiny A} \overset{A} \diamond x_{\tiny B}, y_{\tiny A} \overset{B} \diamond y_{\tiny B})

Positive/Negative counter

\text{PN-counter} = \text{G-counter} ^ 2

Last Write Wins

\text{LWW}⟨A⟩ = (\text{Time} \times A, \text{max}_\text{Time})

Grow-only set

\text{G-set}⟨S⟩ = (2^S, \cup) \\ \begin{aligned} x \cup (y \cup z) &= (x \cup y) \cup z \\ x \cup y &= y \cup x \\ x \cup x &= x \end{aligned}

Observed-Remove set

S \in \text{OR-set}⟨A⟩ \xLeftrightarrow{\text{def}} \\ \begin{cases} S \sub \mathrm{Tag} \times (A \cup \{\bot\}) ,\\ \forall (t_1,\_), (t_2,\_) \in S : t_1 \neq t_2 \end{cases} \\~\\ \text{OR-set}⟨A⟩ = \text{Map}⟨\text{Tag}, A \cup \{\bot\}⟩
// Rust
type Tag = Timestamp;
type ORSet<T> = Map<Tag, Option<T>>;
\mathrm{add}(s, x) = \left| \begin{array}{l} t \larr \mathrm{new\_tag} \\ \text{insert}(s, t, x) \end{array} \right. \\~\\ \mathrm{remove}(s, t) = \text{update}(s, t, \bot) \\~\\ \begin{aligned} (t_1,x_1) \diamond (t_2,x_2) &= (t_1,x_1), (t_2,x_2) \\ (t,x) \diamond (t,\bot) &= (t,\bot) \end{aligned}

Где взять уникальные Tag?

$$\text{LamportTime} = \text{LocalTime} × \text{NodeId}$$

 

strictly monotonic

unique, ordered

causality:

$$\text{add}(t_i) ≺ \text{remove}(t_i)$$

a \prec b \implies a_\text{time} < b_\text{time}

А строки-то как?

Replicated Growable Array

\begin{aligned} \mathrm{RGA}⟨A⟩ = \big\{ & [(t_1, a_1), \dots, (t_n, a_n)] \\ \big| & t_i \in \mathrm{Tag}, t_i \neq t_j, \\ & a_i \in A \cup \{\bot\} \big\} \end{aligned}
\mathrm{RGA}⟨A⟩ = \text{OrderedMap}⟨\text{Tag}, (A ∪ \{⊥\})⟩
// Rust
type Tag = Timestamp;
type RGA<T> = Vec<(Tag, Option<T>)>;
\begin{aligned} \text{remove}&(\bar a,t_i) = \\ (\text{let} ~& [\dots,(t_i,a_i),\dots] = \bar a \\ \mathrm{in} ~& [\dots,(t_i,\bot),\dots]) \end{aligned}
\text{add}(\bar a, t_i, a') = \\ \left| \begin{array}{l} t' \larr \text{new\_tag} \\ \text{let} ~ [\dots, (t_i, a_i), (t_{i+1}, a_{i+1}), \dots] = \bar a \\ [\dots, (t_i, a_i), (t', a'), (t_{i+1}, a_{i+1}), \dots] \end{array} \right.

Известный писатель, врач и пушкинист Викентий Вересаев вспоминал: «В одной одесской газете при описании коронации – не помню, Александра III или Николая II, – было напечатано:

Митрополит возложил на голову Его Императорского Величества ворону.

В следующем выпуске газеты якобы появилась заметка:

В предыдущем номере нашей газеты, в отчёте о священном короновании Их Императорских Величеств, вкралась одна чрезвычайно досадная опечатка. Напечатано: «Митрополит возложил на голову Его Императорского Величества ворону» – читай: «корову».

\text{Multimap}⟨k, v⟩ = \text{OR-Set}\big⟨(k, v)\big⟩
\text{get}(\text{Multimap}⟨k, v⟩, k) \rarr \text{Set}⟨v⟩
\text{fold}⟨v : \text{Monoid}⟩\big(\text{Set}⟨v⟩\big) \rarr v
\text{Object} = \text{Multimap}⟨\text{String}, \text{Object}⟩

Commutative
Replicated
Data
Types

(CmRDT, op-based)

\big(State, Op, (≺), (⋅)\big) ∈ \text{CmRDT} \\ ~\\ \forall s ∈ State : \\ \forall op_1, op_2 ∈ Op : op_1 ∥ op_2 \implies \\ s⋅op_1⋅op_2 = s⋅op_2⋅op_1 \\ ~\\ op_1 ∥ op_2 \xLeftrightarrow{\text{def}} op_1 ⊀ op_2 ∧ op_2 ⊀ op_1
\begin{aligned} State &= 2^A \\ Op &= A \\ S⋅a &= S \cup \{a\} \end{aligned}

Op-based G-set⟨A⟩

\begin{aligned} State = Op &= \text{Time} \times A \\ (⋅) &= \text{max}_\text{Time} \end{aligned}

Op-based LWW

G-counter

PN-counter

\begin{aligned} State &= \N \\ Op &= \{1\} \\ (⋅) &= (+) \end{aligned}
\begin{aligned} State &= \Z \\ Op &= \{+1, -1\} \\ (⋅) &= (+) \end{aligned}

Op-based OR-Set

\begin{alignedat}{2} State & = & & \text{Map}⟨\text{Tag}, A ∪ \{⊥\}⟩ \\ Op & = & \big\{ & (\text{Add}, new:\text{Tag}, a:A), \\ & & & (\text{Remove}, target:\text{Tag})\big\} \\ \end{alignedat} \\~\\ \begin{aligned} S⋅(\text{Add}, new, a) &= \text{insert}(S, new, a) \\ S⋅(\text{Remove}, target) &= \text{update}(S, target, ⊥) \end{aligned}
// Rust
type Tag = Timestamp;
type State<T> = Map<Tag, Option<T>>;
enum Op<T> {
    Add(Tag, T),
    Remove(Tag),
}

Op-based RGA

\begin{alignedat}{2} State & = & & \text{OrderedMap}⟨\text{Tag} \times (A ∪ \{⊥\})⟩ \\ Op & = & \big\{ & (\text{Insert}, after, new : \text{Tag}, a : A), \\ & & & (\text{InsertBegin}, new : \text{Tag}, a : A), \\ & & & (\text{Remove}, target : \text{Tag})\} \\ \end{alignedat}
// Rust
type State<T> = Vec<(Tag, Option<T>)>;
enum Op<T> {
    InsertBegin(Tag, T),
    Insert(Tag, Tag, T),
    Remove(Tag),
}

Replicated
Object
Notation

  • Обучу CRDT
  • Помогу спроектировать распределённое приложение
  • Реализую фичи в RON для вас
  • Twitter: @cblp_su
  • Telegram: @cblp
  • E-mail: crdt@cblp.su

CRDT

By cblpsu

Made with Slides.com

CRDT

  • 1,138

More from cblpsu