Niezawodne dostarczanie zdarzeń w Apache Kafka oparte o ponawianie i DLQ
Jacek Grobelny, Tech Lead @ Consdata
Agenda
-
Consdata
-
Santander Poczta
-
Pierwsza implementacja
-
Problemy
-
Refactoring do Event Sourcingu
-
Obsługa błędów
-
Live Demo
-
Podsumowanie
<CONSDATA >
Santander Poczta
-
poczta retail/corporate
-
7 mln kont
-
700 mln wiadomości
KLIENT PRACOWNIK
Problemy pierwszej implementacji
-
komunikacja synchroniczna
-
masowa wysyłka
-
rosnący wolumen
Event Sourcing to the Rescue!
-
Czym jest Event Sourcing
-
Event Store vs State Store
Zmiana architektury
-
Wszystkie procesy dotyczące wiadomości w naszym systemie to eventy!
-
Mamy state store (SOLR)
-
Wystarczy wybrać event store :)
Apache Kafka
-
Referencje (LinkedIn, Netflix, Uber)
-
Wydajność
-
Wolumen danych
-
Dumb Broker/Smart Consumer
Obsługa błędów
Strategia #1
Obsługa błędów
Strategia #2
Obsługa błędów
Strategia #3
Obsługa błędów
Strategia #4
LIVE DEMO
Podsumowanie
-
Obsługa błędów
-
Monitoring
-
Minimalna konfiguracja 3xBroker, 3xZoo