Скованные одной цепью Маркова

Антон Антонов

Сегодня в программе:

реликтовое излучение

Harold D. Craft, Jr.

(PhD thesis, 1970)

Unknown Pleasures
(Joy Division, 1979)

Snakes and ladders

Moksha Patam

2 век д.н.э.

13 век

«Ladders

And snakes

Ladders give

Snakes take

...»

  • Вера
  • Надёжность
  • Щедрость
  • Знание
  • Аскетизм
  • Непослушание
  • Невежество
  • Вульгарность
  • Воровство
  • Ложь
  • Пьянство
  • Долги
  • Злоба
  • Жадность
  • Гордыня
  • Убийство
  • Похоть

Клетка #100:

\frac16 + \frac16 = \frac13
16+16=13\frac16 + \frac16 = \frac13
\frac16
16\frac16
\frac16
16\frac16
\frac16
16\frac16
\frac16
16\frac16
  • Дойдём ли мы когда-нибудь до конца?
  • Сколько ходов в среднем для этого нужно?
  • Насколько велико преимущество первого хода?
  • ...

Марковская цепь

  1. (Конечный) набор состояний
  2. Дискретное время
  3. Набор вероятностей перехода между состояниями
  4. «Отсутствие памяти» : следующий шаг определяется только текущим состоянием

Андрей Андреевич Марков

1856-1922

\frac13
13\frac13
\frac23
23\frac23

Рынок акций

0.075
0.0750.075
0.15
0.150.15
0.025
0.0250.025
0.25
0.250.25
0.05
0.050.05
0.25
0.250.25
0.5
0.50.5
0.8
0.80.8
0.9
0.90.9
P = \,\,\,\, \begin{bmatrix} 0.9 & 0.075 & 0.025 \\ 0.15 & 0.8 & 0.05 \\ 0.25 & 0.25 & 0.5 \end{bmatrix}
P=[0.90.0750.0250.150.80.050.250.250.5]P = \,\,\,\, \begin{bmatrix} 0.9 & 0.075 & 0.025 \\ 0.15 & 0.8 & 0.05 \\ 0.25 & 0.25 & 0.5 \end{bmatrix}
P^2 = \begin{bmatrix} 0.8275 & 0.13375 & 0.03875 \\ 0.2675 & 0.66375 & 0.06875 \\ 0.3875 & 0.34375 & 0.26875 \end{bmatrix}
P2=[0.82750.133750.038750.26750.663750.068750.38750.343750.26875]P^2 = \begin{bmatrix} 0.8275 & 0.13375 & 0.03875 \\ 0.2675 & 0.66375 & 0.06875 \\ 0.3875 & 0.34375 & 0.26875 \end{bmatrix}
P^5 = \begin{bmatrix} 0.7068 & 0.2383 & 0.0549 \\ 0.4766 & 0.4505 & 0.0729 \\ 0.5487 & 0.3643 & 0.087 \end{bmatrix}
P5=[0.70680.23830.05490.47660.45050.07290.54870.36430.087]P^5 = \begin{bmatrix} 0.7068 & 0.2383 & 0.0549 \\ 0.4766 & 0.4505 & 0.0729 \\ 0.5487 & 0.3643 & 0.087 \end{bmatrix}
P^{\infty} = \begin{bmatrix} 0.625 & 0.3125 & 0.0625 \\ 0.625 & 0.3125 & 0.0625 \\ 0.625 & 0.3125 & 0.0625 \end{bmatrix}
P∞=[0.6250.31250.06250.6250.31250.06250.6250.31250.0625]P^{\infty} = \begin{bmatrix} 0.625 & 0.3125 & 0.0625 \\ 0.625 & 0.3125 & 0.0625 \\ 0.625 & 0.3125 & 0.0625 \end{bmatrix}
P^{20} = \begin{bmatrix} 0.6259 & 0.3117 & 0.0624 \\ 0.6233 & 0.314 & 0.0627 \\ 0.6242 & 0.3132 & 0.0626 \end{bmatrix}
P20=[0.62590.31170.06240.62330.3140.06270.62420.31320.0626]P^{20} = \begin{bmatrix} 0.6259 & 0.3117 & 0.0624 \\ 0.6233 & 0.314 & 0.0627 \\ 0.6242 & 0.3132 & 0.0626 \end{bmatrix}
\frac1{16}
116\frac1{16}
\frac{10}{16}
1016\frac{10}{16}
\frac5{16}
516\frac5{16}
\frac1{16}
116\frac1{16}
\frac{10}{16}
1016\frac{10}{16}
\frac5{16}
516\frac5{16}

Такая стабилизация означает,

что есть «эквилибриум»:

  • Бесконечен ли цикл смены состояний?
  • Зависит ли стационарное распределение от начального состояния цепи?
  • Чему равна средняя продолжительность одного состояния?

стационарное распределение

Применение цепей Маркова:

моделирование сложных систем

(химия, термодинамика, эконометрика)

системы массового обслуживания

алгоритм pagerank

скрытые марковские модели

Одномерное случайное блуждание

0
00
1
11
2
22
3
33
\ldots
…\ldots
-1
−1-1
-2
−2-2
-3
−3-3
\ldots
…\ldots
\frac12
12\frac12
\frac12
12\frac12
t
tt

Q: когда его ждать домой?

A: когда-нибудь, но ждать.

P = 1
P=1P = 1

Gambler's ruin:

M\$
M$M\$
N\$
N$N\$

vs.

P = \begin{bmatrix} 1 & 0 & 0 & 0 & \ldots & 0 \\ \frac12 & 0 & \frac12 & 0 & \ldots & 0 \\ 0 & \frac12 & 0 & \frac12 & \ldots & 0 \\ \ldots & \ldots & \ldots & \ldots & \ldots & \ldots \\ \ldots & \ldots & \ldots & \ldots & \ldots & \ldots \\ 0 & 0 & 0 & 0 & \ldots & 1 \end{bmatrix}
P=[1000…0120120…0012012…0………………………………0000…1]P = \begin{bmatrix} 1 & 0 & 0 & 0 & \ldots & 0 \\ \frac12 & 0 & \frac12 & 0 & \ldots & 0 \\ 0 & \frac12 & 0 & \frac12 & \ldots & 0 \\ \ldots & \ldots & \ldots & \ldots & \ldots & \ldots \\ \ldots & \ldots & \ldots & \ldots & \ldots & \ldots \\ 0 & 0 & 0 & 0 & \ldots & 1 \end{bmatrix}
p_m = \frac{M}{M+N}; p_n = \frac{N}{M+N}
pm=MM+N;pn=NM+Np_m = \frac{M}{M+N}; p_n = \frac{N}{M+N}
99\%
99%99\%

Винеровский процесс –

предел случайного блуждания

CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=1426987

t
tt

A

B

C

D

A

B

C

D

A

B

C

D

A

B

C

D

A

Cisco

Ford Motor

Urban Outfitters

C

Electronic Arts

Nike

Harley Davidson

D

Caterpillar

AT&T

Tiffany & Co.

C

Disney

Yahoo

Procter & Gamble

1. Играть против казино/букмекеров с целью заработать – плохая идея

2. Никто не может надежно прогнозировать краткосрочные изменения цен акций

3. Теория вероятностей применима даже к тем событиям, которые неслучайны по своей природе

Важные мысли

Скованные одной цепью Маркова

By Antonov Anton

Made with Slides.com

Скованные одной цепью Маркова

The talk I gave at Ycamp, an interdisciplinary event for scientists, entrepreneurs and industry professionals (http://www.ycamp.ru/).

  • 1,376

More from Antonov Anton

  • Воспроизводимые исследования в контексте языка R
    Antonov Anton
    441
  • Воспроизводимые исследования в контексте языка R (preview)
    Antonov Anton
    617