Reliable event delivery in Apache Kafka®
Jacek Grobelny, Tech Lead @ Consdata
Agenda
-
Consdata
-
Santander Poczta
-
Pierwsza implementacja
-
Problemy
-
Refactoring do Event Sourcingu
-
Obsługa błędów
-
Live Demo
-
Podsumowanie
<CONSDATA >
Santander Poczta
-
retail/corporate
-
desktop/mobile
-
~7 mln kont
-
~700 mln wiadomości
-
~3TB storage
Problemy pierwszej implementacji
-
synchroniczna komunikacja
-
masowa wysyłka
-
rosnący wolumen
Event Sourcing to the Rescue!
Zmiana architektury
-
Dziedzina i eventy
-
State store
-
Event store
Apache Kafka
-
Referencje (LinkedIn, Netflix, Uber)
-
Wydajność
-
Wolumen danych
-
Dumb Broker/Smart Consumer
Obsługa błędów
Obsługa błędów 2.0
Migracja
- Wygenerowanie eventów na podstawie bazy
- Przepięcie się z trybu synchronicznego na asynchroniczny
- Nowe state story!
LIVE DEMO
Podsumowanie
-
Dumb Broker/Smart Consumer vs Obsługa błędów
-
Alerting i monitoring
-
Dobrać odpowiednie narzędzia developerskie