Reliable event delivery in Apache Kafka®

Jacek Grobelny, Tech Lead @ Consdata

Agenda

• Consdata

• Santander Poczta

• Pierwsza implementacja

• Problemy

• Refactoring do Event Sourcingu

• Obsługa błędów

• Live Demo

• Podsumowanie

<CONSDATA >

Santander Poczta

• retail/corporate

• desktop/mobile

• ~7 mln kont

• ~700 mln wiadomości

• ~3TB storage

Problemy pierwszej implementacji

• synchroniczna komunikacja 

• masowa wysyłka

• rosnący wolumen

Event Sourcing to the Rescue!

Zmiana architektury

• Dziedzina i eventy

• State store

• Event store

Apache Kafka

• Referencje (LinkedIn, Netflix, Uber)

• Wydajność

• Wolumen danych

• Dumb Broker/Smart Consumer

Obsługa błędów

Obsługa błędów 2.0

Migracja

• Wygenerowanie eventów na podstawie bazy
• Przepięcie się z trybu synchronicznego na asynchroniczny
• Nowe state story!

LIVE DEMO

 https://github.com/Consdata/kouncil 

Podsumowanie

• Dumb Broker/Smart Consumer vs Obsługa błędów

• Alerting i monitoring

• Dobrać odpowiednie narzędzia developerskie

Dziękuję

https://ynleborg.github.io

https://blog.consdata.tech/

@ynleborg