Spark Streaming with Python and Kafka Počítačový Kurz

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na vývojáře, kteří chtějí integrovat Apache Kafka se stávajícími databázemi a aplikacemi pro zpracování, analýzu atd.

Na konci tohoto školení budou účastníci schopni:

• Použijte Kafka Connect ke zpracování velkého množství dat z databáze do témat Kafka.
• Ingest log data generovaná aplikačním serverem do témat Kafka.
• Zpřístupněte všechna shromážděná data pro zpracování streamu.
• Exportujte data z Kafkových témat do sekundárních systémů pro ukládání a analýzu.

Toto živé školení vedené instruktorem (online nebo na místě) je zaměřeno na inženýry, kteří chtějí používat Confluent (distribuci Kafka) k vybudování a správě platformy pro zpracování dat v reálném čase pro své aplikace.

Na konci tohoto školení budou účastníci schopni:

Nainstalujte a nakonfigurujte platformu Confluence. Používejte nástroje a služby pro správu společnosti Confluent ke snadnějšímu provozu Kafky. Ukládat a zpracovávat data příchozího proudu. Optimalizujte a spravujte clustery Kafka. Zabezpečené datové toky.

Formát kurzu

Interaktivní přednáška a diskuze. Spousta cvičení a praxe. Praktická implementace v prostředí živé laboratoře.

Možnosti přizpůsobení kurzu

Tento kurz je založen na open source verzi Confluent: Confluent Open Source. Chcete-li požádat o školení na míru pro tento kurz, kontaktujte nás a domluvíme se.

Apache Kafka je distribuovaná streamovací platforma. Je to de facto standard pro budování datových kanálů a řeší mnoho různých případů použití kolem zpracování dat: lze jej použít jako frontu zpráv, distribuovaný protokol, stream procesor atd.

Začneme nějakou teorií za datovými kanály obecně, pak budeme pokračovat základními koncepty Kafky. Objevíme také důležité součásti, jako jsou Kafka Streams a Kafka Connect.

V tomto živém školení pod vedením instruktora v České republice (na místě nebo na dálku) se účastníci naučí, jak nastavit a integrovat různé Stream Processing rámce se stávajícími systémy ukládání velkých dat a souvisejícími softwarovými aplikacemi a mikroslužbami.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte různé Stream Processing frameworky, jako je Spark Streaming a Kafka Streaming.
• Pochopte a vyberte nejvhodnější rámec pro danou práci.
• Zpracování dat nepřetržitě, souběžně a záznam po záznamu.
• Integrujte Stream Processing řešení se stávajícími databázemi, datovými sklady, datovými jezery atd.
• Integrujte nejvhodnější knihovnu pro zpracování datových proudů s podnikovými aplikacemi a mikroslužbami.

Tento kurz je určen pro podnikové architekty, vývojáře, systémové administrátory a kohokoli, kdo chce porozumět a používat vysoce výkonný systém distribuovaného zasílání zpráv. Pokud máte specifičtější požadavky (např. pouze strana správy systému), lze tento kurz upravit tak, aby lépe vyhovoval vašim potřebám.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na systémové správce, kteří chtějí nastavit, nasadit, spravovat a optimalizovat cluster Kafka na podnikové úrovni.

Na konci tohoto školení budou účastníci schopni:

• Vytvořte a spravujte Kafka Cluster.
• Vyhodnoťte výhody a nevýhody nasazení Kafka on-premise vs. v cloudu.
• Nasaďte a monitorujte Kafku pomocí různých on-premise a cloudových nástrojů prostředí.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na středně pokročilé vývojáře, kteří chtějí vyvíjet aplikace pro velká data s Apache Kafka.

Na konci tohoto školení budou účastníci schopni:

Rozvíjejte výrobce a spotřebitele Kafky, aby mohli odesílat a číst data z Kafky. Integrujte Kafku s externími systémy pomocí Kafka Connect. Pište streamovací aplikace pomocí Kafka Streams & ksqlDB. Integrujte klientskou aplikaci Kafka s cloudem Confluent pro cloudová nasazení Kafka. Získejte praktické zkušenosti prostřednictvím praktických cvičení a případů použití v reálném světě.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na datové inženýry, datové vědce a programátory, kteří chtějí používat funkce Apache Kafka při streamování dat s Python.

Na konci tohoto školení budou účastníci schopni používat Apache Kafka k monitorování a řízení podmínek v nepřetržitých datových tocích pomocí programování Python.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na středně pokročilé Java vývojáře, kteří chtějí integrovat Apache Kafka do svých aplikací pro spolehlivé, škálovatelné a vysoce výkonné zasílání zpráv.

Na konci tohoto školení budou účastníci schopni:

• Pochopte architekturu a základní součásti Kafky.
• Nastavte a nakonfigurujte cluster Kafka.
• Vytvářejte a konzumujte zprávy pomocí Java.
• Implementujte Kafka Streams pro zpracování dat v reálném čase.
• Zajistěte odolnost proti chybám a škálovatelnost v aplikacích Kafka.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na středně pokročilé systémové administrátory, kteří chtějí efektivně využít funkce Kafkova řazení zpráv do fronty.

Na konci tohoto školení budou účastníci schopni:

• Pochopte možnosti a architekturu řazení zpráv Kafka.
• Nakonfigurujte témata Kafka pro scénáře řazení zpráv.
• Vytvářejte a konzumujte zprávy pomocí Kafky.
• Monitorujte a spravujte Kafku jako frontu zpráv.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na testery softwaru, kteří chtějí implementovat opatření zabezpečení sítě do aplikace Apache Kafka.

Na konci tohoto školení budou účastníci schopni:

• Nasaďte Apache Kafka na cloudový server.
• Implementujte šifrování SSL, abyste zabránili útokům.
• Přidejte ověřování ACL pro sledování a řízení přístupu uživatelů.
• Zajistěte, aby důvěryhodní klienti měli přístup ke clusterům Kafka s ověřováním SSL a SASL.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na středně pokročilé vývojáře, kteří se chtějí naučit základy Kafky a integrovat je s Spring Boot.

Na konci tohoto školení budou účastníci schopni:

• Pochopte Kafku a jeho architekturu.
• Naučte se, jak nainstalovat, nakonfigurovat a nastavit základní prostředí Kafka.
• Integrujte Kafku s Spring Boot.

Kafka Streams je knihovna na straně klienta pro vytváření aplikací a mikroslužeb, jejichž data jsou předávána do a ze systému zasílání zpráv Kafka. Tradičně se Apache Kafka při zpracování dat mezi producenty zpráv a spotřebiteli spoléhal na Apache Spark nebo Apache Storm. Voláním Kafka Streams API z aplikace mohou být data zpracována přímo v Kafka, čímž se obejde nutnost odesílání dat ke zpracování do samostatného clusteru.

V tomto živém školení vedeném instruktorem se účastníci naučí, jak integrovat Kafka Streams do sady ukázkových Java aplikací, které předávají data do az Apache Kafka pro zpracování streamů.

Na konci tohoto školení budou účastníci schopni:

Pochopte funkce a výhody Kafka Streams oproti jiným rámcům pro zpracování datových proudů Zpracovávejte data streamu přímo v clusteru Kafka Napište Java nebo Scala aplikaci nebo mikroslužbu, která se integruje s Kafka a Kafka Streams Napište stručný kód, který transformuje vstupní témata Kafka na výstupní témata Kafka Build, zabalit a nasadit aplikaci

Publikum

Vývojáři

Formát kurzu

Část přednáška, část diskuse, cvičení a těžké praktické cvičení

Poznámky

Chcete-li požádat o školení na míru pro tento kurz, kontaktujte nás a domluvíme se

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na začátečníky až středně pokročilé systémové administrátory, kteří se chtějí naučit, jak efektivně řídit témata Kafka pro efektivní streamování a zpracování dat.

Na konci tohoto školení budou účastníci schopni:

• Pochopit základy Kafkova tématu a architekturu.
• Vytvářejte, konfigurujte a spravujte témata Kafka.
• Sledujte témata Kafka z hlediska zdraví, výkonu a dostupnosti.
• Zavést bezpečnostní opatření pro Kafkova témata.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na vývojáře, kteří chtějí implementovat zpracování Apache Kafka streamu bez psaní kódu.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Confluence KSQL.
• Nastavte kanál zpracování datového proudu pouze pomocí příkazů SQL (bez kódování Java nebo Python).
• Provádějte filtrování dat, transformace, agregace, spojení, okna a sessionization zcela v SQL.
• Navrhněte a nasaďte interaktivní, nepřetržité dotazy pro streamování ETL a analýzy v reálném čase.