Alex Pavlov
Fullstack web developer
Модерация
12.000.000+
картинок в месяц
Модерирование контента
в приложении iFunny
www.ifunny.co
Много контента!
Очень много контента!
Более 400.000 картинок
за сутки
Много спама
и некачественного контента
Удаление приложения из
app store
за наличие offensive контента!
Как радикально
бороться
со спамом?
Модерация?
Модерация?
Модерация!!!
Виды модерации
Виды модерации
- Автоматическая модерация
Виды модерации
- Автоматическая модерация
- Ручная модерация
Виды модерации
- Премодерация
Виды модерации
- Премодерация
- Постмодерация
Виды модерации
- Премодерация
- Постмодерация
- Смешанная модерация
Критерии
Критерии
- Качество
Критерии
- Качество
- Время попадания в сервис
Критерии
- Качество
- Время попадания в сервис
- Приоритет хороших авторов
Решения
Решения
- Amazon Simple Workflow (Mechanical Turk)
- Crisp Thinking
- 2Hive
Решения
- Дорого
- Не достаточно гибко
Коллеги говорят, что я часто изобретаю велосипед :)
Велосипед
Томпсона :)
Анализ
Анализ
- Нет выделенной модерации
Анализ
- Нет выделенной модерации
- Страничный вывод
Анализ
- Нет выделенной модерации
- Страничный вывод
- Просмотры повторяются
Улучшаем
Улучшаем
- Переход к "живой" ленте (GUI)
Улучшаем
- Переход к "живой" ленте (GUI)
- Несколько колонок (GUI)
Улучшаем
- Переход к "живой" ленте (GUI)
- Несколько колонок (GUI)
- Несколько модераторов
Улучшаем
- Переход к "живой" ленте (GUI)
- Несколько колонок (GUI)
- Несколько модераторов
- Изолированность потоков
Работа имеет много жалоб?
Работа имеет много жалоб?
- Повторная модерация
Работа имеет много лайков, но не прошла?
Работа имеет много лайков, но не прошла?
- Повторная модерация
Серверная
часть
Серверная
часть
?
Разделяй и властвуй
Разделяй и властвуй
- Отдельно от приложения
Разделяй и властвуй
- Отдельно от приложения
- В отдельных таблицах БД
Разделяй и властвуй
- Отдельно от приложения
- В отдельных таблицах БД
- Очередь с приоритетом
Проблемы
Проблемы
- Большой объем трафика (webm)
Проблемы
- Большой объем трафика (webm)
- Утечки памяти на клиенте (длинные сессии)
Логи
Логи
- Время попадания в collective
Логи
- Время попадания в collective
- Размер очереди на модерацию
Логи
- Время попадания в collective
- Размер очереди на модерацию
- Число модераторов онлайн
Логи
- Время попадания в collective
- Размер очереди на модерацию
- Число модераторов онлайн
- Время просмотра работы
Планы
Планы
- Развитие автоматизации
Планы
- Развитие автоматизации
- Сокращение трафика (BPG)
Profit
Чистый "Collective"
Profit
Чистый "Collective"
- 10.150.137 опубликованных
- 8.805.745 проверенных
- 1.133.243 заблокированных
- 11.967 пропущенных
- 1.264.886 - автоблок (beta)
Спасибо!
Инженер iFunny
Александр Павлов
vk.com/alexpts
Доклад на secon 2015
By Alex Pavlov
Доклад на secon 2015
Как мы строили систему модерации 12.000.000 изображений в месяц, с временем модерации менее 1 минуты
