Mechanizm strumieniowania wiadomości nierzadko stanowi nieodzowny element infrastruktury w systemach rozproszonych. Od klasycznej integracji za pomocą zdarzeń (event-driven architecture) w architekturze mikroserwisowej, po zaawansowane systemy tradingowe typu HFT oparte na podejściu low latency — niezawodna (i możliwie szybka) komunikacja pomiędzy niezależnymi aplikacjami ma krytyczne znaczenie dla poprawnego działania systemu.

Jak wygląda message streaming od podstaw? Z jakimi wyzwaniami musi zmierzyć się inżynier oprogramowania rozwijający takie narzędzie? Skąd bierze się przepustowość rzędu milionów wiadomości na sekundę? Jak duży wpływ może mieć kernel Linuxa na wydajność takiego rozwiązania?

Chciałbym podzielić się swoim doświadczeniem, gdzie po kilku latach pracy w sektorze “tradingowym”, zdecydowałem się na dogłębne poznanie mechanizmu strumieniowania komunikatów właśnie poprzez rozwój własnego “message streamingu” od zera.

Iggy.rs — projekt, który oryginalnie miał posłużyć do nauki języka programowania w Rust, z czasem trafił na listę GitHub Trending, zyskał kilkunastu stałych kontrybutorów, posiada całkiem pokaźny ekosystem i powoli zyskuje coraz większą popularność. To dzięki pracy nad nim, zrozumiałem m.in. dlaczego projektanci takich narzędzi jak choćby Kafka podjęli takie, a nie inne decyzje i jak duże znaczenie na stabilność, niezawodność oraz wydajność ma faktyczne zrozumienie mechanizmów synchronizacji danych, I/O, oraz niskopoziomowych API na poziomie konkretnego systemu operacyjnego.

Oto Ty: programist(k)a Javy z pewnym doświadczeniem, a wszyscy wokół zdają się mówić tylko o LLM, NLP, RAG i innych rzeczach związanych ze Sztuczną Inteligencją. Z jednej strony trochę się tego boisz, ponieważ wśród tych skrótów nie ma JPA, a mówią, że SI może zabrać Ci pracę już w przyszłym miesiącu. Z drugiej strony jesteś też zmęczony/a, ponieważ każde wiadomości, każda platforma społecznościowa bombarduje Cię wszystkimi odmianami SI tak bardzo, że boisz się otworzyć lodówkę (kto wie, może SI jest już między jogurtami?)

Czyż nie byłoby wspaniale, gdyby rozszyfrować te modne terminy, aby móc o nich dyskutować, nie mając doktoratu z SI czy nauk danych?

Zapraszam Cię serdecznie na tę prelekcję, programist(k)o Javy, aby zobaczyć, jak technologie, które już znasz (takie jak Elasticsearch), i trochę matematyki, mogą pomóc Ci uporać się z tym wszystkim bez wielkiego strachu.