Niezawodne dostarczanie zdarzeń w Apache Kafka oparte o ponawianie i DLQ

Jacek Grobelny, Tech Lead @ Consdata

Agenda

• Consdata

• Santander Poczta

• Pierwsza implementacja

• Problemy

• Refactoring do Event Sourcingu

• Obsługa błędów

• Live Demo

• Podsumowanie

<CONSDATA >

Santander Poczta

• poczta retail/corporate

• 7 mln kont

• 700 mln wiadomości

KLIENT                                              PRACOWNIK

Problemy pierwszej implementacji

• komunikacja synchroniczna

• masowa wysyłka

• rosnący wolumen

Event Sourcing to the Rescue!

• Czym jest Event Sourcing

• Event Store vs State Store

Zmiana architektury

• Wszystkie procesy dotyczące wiadomości w naszym systemie to eventy!

• Mamy state store (SOLR)

• Wystarczy wybrać event store :)

Apache Kafka

• Referencje (LinkedIn, Netflix, Uber)

• Wydajność

• Wolumen danych

• Dumb Broker/Smart Consumer

Obsługa błędów

 Strategia #1

Obsługa błędów

 Strategia #2

Obsługa błędów

 Strategia #3

Obsługa błędów

 Strategia #4

LIVE DEMO

Podsumowanie

• Obsługa błędów

• Monitoring

• Minimalna konfiguracja 3xBroker, 3xZoo

Dziękuję

https://ynleborg.github.io

https://blog.consdata.tech/

@ynleborg