Throttling (rate limiting) в Мессенджере

С чего все началось

Что мы сделали дальше

• Посмотрели кол-во вызовов различных методов одним юзером за 10 секунд
• То же самое за минуту
• Посмотрели общее кол-во вызовов от юзера за 10 сек и минуту
• Посмотрели распределение по количеству коннектов от юзера

Поняли, что нужен троттлинг

Поняли, что нужен троттлинг

Поняли, что нужен троттлинг

• Огромные выбросы по запросам от одного юзера (вплоть до 2k за 10 сек)
• Пиковая нагрузка на базу данных
• Возможность обезопаситься от ошибок наших клиентов
• Возможность обезопаситься от внешнего DOS-a
• Больше понимания как нас используют

Ресерч подходов к троттлингу

https://cf.avito.ru/pages/viewpage.action?pageId=93399185

Решение: Token Bucket

https://stripe.com/blog/rate-limiters

Решение: Token Bucket

• С помощью Redis и Lua
• Троттлим по интервалу 10 секунд
• 9 корзин с различными лимитами
• Текущие лимиты отсекают выбросы
• Сейчас в пассивном режиме

Что видим?

Что видим?

Что видим?

Что видим?

Что видим?

Что дальше?

• Включаем активный троттлинг на процент
• Ждем какое-то время
• Включаем на 100%
• Закручиваем гайки?
• Работаем над защитой дальше (connections limit)