Chapter 1: Inference in Probabilistic Models

Анонс: Определения

Теория вероятностей
Графы
Обозначения
BRMLtoolbox for MATLAB

Анонс: Probabilistic reasoning & inference

Анонс: Grap models

Обозначения

Вероятностное пространство:
$( \Omega, A, \mathbb{P} )$
Переменные:
$x$
События:
$A$
Область значений
$x:$ $dom(x)$
Суммирование по значениям:
$\sum_x f(x) = \sum_{s \in dom(x)} f(s)$

Обозначения: вероятности

x — булева
$p(x = tr)$
x — дискретная с. в., $dom(x)$ конечна
$p(x)$ = $p(x = a), a \in dom(x)$
x - произвольная с. в.
$p(x)$ = $p(x \in A)$
$p(x | y) \,=\, p(x = a \,|\, y = b)$
$p(x | y) \,=\, p(x \in A \,|\, y \in B)$
$p(A , B) \,=\, p(A \cap B )$

Формула включений-исключений

p(x = a \vee y = b) \;=\; p(x = a) + p(y = b) - p(x = a \wedge y = b)

p(x = a \vee y = b) \;=\; p(x = a) + p(y = b) - p(x = a \wedge y = b)

p(\bigcup\limits_i A_i) \;=\; \sum_i p(A_i) - \sum_{i, j} p(A_i \cap A_j) + \ldots + (-1)^{n-1} p(\bigcap_i A_i)

p(\bigcup\limits_i A_i) \;=\; \sum_i p(A_i) - \sum_{i, j} p(A_i \cap A_j) + \ldots + (-1)^{n-1} p(\bigcap_i A_i)

Marginalisation, совместное распределение

Плотность вероятности

f(t) \ge 0

f(t) \ge 0

\int\limits_{\mathbb{R}} f = 1

\int\limits_{\mathbb{R}} f = 1

p(x \in A) = \int\limits_{A} f_x(t) dt

p(x \in A) = \int\limits_{A} f_x(t) dt

Условная вероятность, Bayes' rule

p(x | y) \longleftrightarrow p(y | x)

p(x | y) \longleftrightarrow p(y | x)

Независимость

\Leftrightarrow

\Leftrightarrow

\Leftrightarrow

\Leftrightarrow

\Rightarrow

\Rightarrow

Условная независимость

\Leftrightarrow

\Leftrightarrow

\Leftrightarrow

\Leftrightarrow

Нетранзитивность независимости

?

не влечёт

Probabilistiс reasoning

Дан набор случайных величин $X = \{x_1, \ldots x_n\}$
Известны некоторые условные вероятности
Вводится evidence — значения для $X' \subseteq X$
Из Bayes' rule выводятся целевые значения

Probabilistiс reasoning

Prior & posterior

generative model

prior destribution

posterior destribution

Графы

G = (V, E)

G = (V, E)

ориентированные

E = \{(v, u) | v, u \in V\}

E = \{(v, u) | v, u \in V\}

неориентированные

E = \{\{v, u\} | v, u \in V \}

E = \{\{v, u\} | v, u \in V \}

w_1

w_1

w_2

w_2

w_3

w_3

w_4

w_4

Отношения вершин в графе

Дети и родители
Предки и потомки
Соседи и семья
Markov blanket

Графы

Пути, циклы и хорды
DAG

Клики

clique
cliquo
Попарная зависимость

Связность

connected graph
singly / multiply connected graph
spanning tree

Kruskal's algorithm

G

G

1

1

2

2

3

3

d_4

d_4

Жадное добавление рёбер

по возрастанию веса

Время работы:

$\mathcal{O} (|E| \, log |V|)$

Prim's algorithm

G

G

Постепенное увеличение

связного дерева

Время работы:

$\mathcal{O} (|E| \, log |V|)$ , $\mathcal{O} (|V|^2)$

Матрица смежности

= количеству путей длины $k$ между $i, j$

\neq 0 \Leftrightarrow

\neq 0 \Leftrightarrow

существует путь между $i, j$

Кликовая матрица

= A'

= A'

Belief networks

Зависимости между с. в.

Belief networks: пример

p(S = 1 | T = 1) = \, ?

p(S = 1 | T = 1) = \, ?

p(S = 1 | T = 1, J = 1) = \, ?

p(S = 1 | T = 1, J = 1) = \, ?

Belief networks: пример

Существуют алгоритмы для подобных вычислений!

Belief networks: определение

где $pa(x_i)$ — родители $x_i$

— cascade form

Belief networks: порядок переменных

удалим ребро $x_1$ — $x_2$ :

Evidence

hard evidence

$y = a$

uncertain evidence

p(y = a, y = b, y = c) = (0.1, 0.6, 0.3)

p(y = a, y = b, y = c) = (0.1, 0.6, 0.3)

=

=

Chapter 1:

Probabilistic inference

& Graph models