Статистика в биоинформатике

Наводящий пример

Множественные сравнения

Уровень значимости

\alpha=0.05 \Rightarrow p(false\ positive)=0.05

\alpha=0.05 \Rightarrow p(false\ positive)=0.05

Для одной гипотезы:

\alpha=0.05 \Rightarrow p(false\ positive)=1 - (1 - 0.05)^k

\alpha=0.05 \Rightarrow p(false\ positive)=1 - (1 - 0.05)^k

Для k гипотез:

\alpha=0.05 \Rightarrow p(false\ positive)=1 - (1 - 0.05)^{20} = 0.64

\alpha=0.05 \Rightarrow p(false\ positive)=1 - (1 - 0.05)^{20} = 0.64

Частный случай (для 20 гипотез):

Пример из жизни

В следствие ошибки ни одна мартышка не пострадала!

Постановка задачи

Выборка 1

...

Гипотеза 1

p_1

p_1

Выборка 2

Гипотеза 2

p_2

p_2

Выборка k

Гипотеза k

p_k

p_k

...

Хотим:

Вероятность хотя бы одной ошибки 1-го рода

p(FP)< 0.05

p(FP)< 0.05

Решение 1: тесты для сложных гипотез

Выборка 1

...

Гипотеза 1

p_1

p_1

Выборка 2

Выборка k

Пример гипотезы:

Все средние всех выборок равны.

H_0:

H_0:

Хотя бы одно из средних отличается от остальных

H_1:

H_1:

Решение 2: поправки p-values

Выборка 1

...

Гипотеза 1

p_1

p_1

Выборка 2

Гипотеза 2

p_2

p_2

Выборка 3

Гипотеза 3

p_3

p_3

Выборка k

Гипотеза k

p_k

p_k

...

p_1'

p_1'

p_2'

p_2'

p_3'

p_3'

p_k'

p_k'

...

Family-Wise Error Rate

Метод Бонферрони
Метод Шидака (требует независимости)
Метод Холма
Метод Шидака-Холма (требует независимости)

p_i'=kp_i

p_i'=kp_i

p_i'= 1 - (1 - p_i)^k

p_i'= 1 - (1 - p_i)^k

p_i'= (k-i+1)p_i

p_i'= (k-i+1)p_i

p_i'= 1 - (1 - p_i)^{k-i+1}

p_i'= 1 - (1 - p_i)^{k-i+1}

False Discovery Rate

Метод Бенджамини-Хохберга

p_i'=\frac{kp_i}{i}

p_i'=\frac{kp_i}{i}

Хотим:

Вероятность хотя бы одной ошибки 1-го рода

p(FP)< 0.05

p(FP)< 0.05

Хотим:

Доля ошибок 1-го рода

\frac{FP}{FP + TP} < 0.05

\frac{FP}{FP + TP} < 0.05

Области применения

Не исправлять: первичный анализ данных и обзор, формулировка гипотез и свойств. Всегда следует приводить общее количество тестов: «Мы провели 40 тестов и 10 отвергли нулевую гипотезу».
Контроль FDR (обычно FDR < 0.1): исследование и отбор признаков для последующего (более сложного и дорогого) анализа. Баланс между мощностью и ложными срабатываниями.
Контроль FWER (обычно FWER < 0.05): подтверждение выводов, строгий контроль за вероятностью ошибок первого рода.

Области применения

Не исправлять: первичный анализ данных и обзор, формулировка гипотез и свойств. Всегда следует приводить общее количество тестов: «Мы провели 40 тестов и 10 отвергли нулевую гипотезу».
Контроль FDR (обычно FDR < 0.1): исследование и отбор признаков для последующего (более сложного и дорогого) анализа. Баланс между мощностью и ложными срабатываниями.
Контроль FWER (обычно FWER < 0.05): подтверждение выводов, строгий контроль за вероятностью ошибок первого рода.

	Кантри	Рок-н-рол	Джаз	Всего
Город	15	30	5	50
Село	25	20	5	50
Всего	40	50	10	100