Apache Spark v cloudu Počítačový Kurz

Tento instruktážní živý kurz (na místě nebo online) je určen pro středně pokročilé datové vědce a inženýry, kteří chtějí použít Google Colab a Apache Spark pro zpracování velkých dat a analytiku.

Po ukončení tohoto kurzu budou účastníci schopni:

• Nastavit prostředí pro velká data pomocí Google Colab a Sparku.
• Efektivně zpracovat a analyzovat výrazné datové sady pomocí Apache Spark.
• Visualizovat velká data ve spolupracovném prostředí.
• Integrace Apache Spark se cloudovými nástroji.

Analýza velkých dat se týká procesu zkoumání velkého množství různorodých datových sad s cílem odhalit korelace, skryté vzory a další užitečné zjištění.

Zdravotnictví disponuje obrovským množstvím komplexních heterogenních lékařských a klinických dat. Aplikace analýzy velkých dat na data v zdravotnictví nabízí ohromné potenciály pro odvození poznatků, které mohou přispět ke zlepšení poskytování zdravotních služeb. Nicméně rozsah těchto datových sad představuje výzvu v analýze a praktickém využití ve klinickém prostředí.

V tomto instruktorem vedeném, živé tréninku (vzdáleném) se účastníci naučí provádět analýzu velkých dat v zdravotnictví během série praktických cvičení.

Koncem tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat nástroje pro analýzu velkých dat, jako je Hadoop MapReduce a Spark
• Pochopit charakteristiku lékařských dat
• Aplikovat techniky velkých dat na zpracování lékařských dat
• Studovat systémy a algoritmy velkých dat v kontextu aplikací ve zdravotnictví

Cílová skupina

• Vývojáři
• Analitici dat

Formát kurzu

• Část přednášky, část diskuze, cvičení a intenzivní praktické procvičování.

Poznámka

• Pro požadavek na přizpůsobené školení pro tento kurz nás prosím kontaktujte s cílem sjednotit datum a čas.

Toto školení vedené instruktorem (online nebo na místě) je určeno správcům systémů, kteří chtějí naučit se nastavovat, nasazovat a spravovat Hadoop clustery ve své organizaci.

Na konci tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat Apache Hadoop.
• Pochopit čtyři hlavní komponenty v ekosystému Hadoop: HDFS, MapReduce, YARN a Hadoop Common.
• Použít Hadoop Distributed File System (HDFS) k škálování clusteru na stovky nebo tisíce uzlů.  
• Nastavit HDFS jako úložiště pro místní nasazení Spark.
• Nastavit Spark k připojení ke střídavým úložišťům, jako je Amazon S3 a NoSQL databázové systémy, např. Redis, Elasticsearch, Couchbase, Aerospike atd.
• Provádět správcovské úkoly, jako jsou zřizování, správa, monitorování a bezpečnost Apache Hadoop clusteru.

V tomto vedeném školení České republice (na místě nebo na dálku) se účastníci naučí, jak nastavit a integrovat různé frameworky pro streamové zpracování dat s existujícími systémy pro ukládání velkých objemů dat a souvisejícími software aplikacemi a mikroslužbami.

Na konci tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat různé frameworky pro streamové zpracování, jako jsou Spark Streaming a Kafka Streaming.
• Porozumět a vybrat nejvhodnější framework pro daný úkol.
• Zpracovávat data neustále, souběžně a záznam po záznamu.
• Integrovat řešení pro streamové zpracování dat s existujícími databázemi, data warehousy, data lakes atd.
• Integrace nejvhodnější knihovny pro streamové zpracování s podnikovými aplikacemi a mikroslužbami.

Tato vedená školení, provedené živě v České republice (online nebo na místě), je zaměřena na datové analytiky, kteří chtějí použít SMACK stack pro budování platform zpracování dat pro řešení s velkými daty.

Na konci tohoto školení budou účastníci schopni:

• Implementovat architekturu data pipeline pro zpracování velkých dat.
• Vytvořit clusterovou infrastrukturu pomocí Apache Mesos a Dockeru.
• Analyzovat data s Sparkem a Scalou.
• Spravovat nestrukturovaná data pomocí Apache Cassandra.

Tato vedená školení na místě (online nebo na místě) je určená inženýrům, kteří chtějí nastavit a nasadit systém Apache Spark pro zpracování velmi velkých objemů dat.

Na konci tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat Apache Spark.
• Rychle zpracovávat a analyzovat velmi velké soubory dat.
• Pochopit rozdíly mezi Apache Sparkem a Hadoop MapReduce a kdy se který používá.
• Integrovat Apache Spark s jinými nástroji pro strojové učení.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na začátečníky až středně pokročilé správce systému, kteří chtějí nasazovat, udržovat a optimalizovat clustery Spark.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apache Spark v různých prostředích.
• Spravujte prostředky clusteru a monitorujte aplikace Spark.
• Optimalizujte výkon clusterů Spark.
• Implementujte bezpečnostní opatření a zajistěte vysokou dostupnost.
• Ladění a odstraňování běžných problémů se Sparkem.

CÍL:

Tento kurz představí Apache Spark. Studenti se dozví, jak Spark zapadá do ekosystému Big Data a jak ho použít k analýze dat. Kurz pokrývá interaktivní analýzu dat pomocí Spark shellu, vnitřní funkce Sparku, Spark API, Spark SQL, Spark streaming a strojové učení a GraphX.

CÍLOVÁ SKUPINA :

Vývojáři / Analýzci dat

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na datové vědce a vývojáře, kteří chtějí používat Spark NLP, postavený na Apache Spark, k vývoji, implementaci a škálování zpracování textu v přirozeném jazyce. modely a potrubí.

Na konci tohoto školení budou účastníci schopni:

• Nastavte potřebné vývojové prostředí, abyste mohli začít budovat kanály NLP pomocí Spark NLP.
• Pochopte funkce, architekturu a výhody používání Spark NLP.
• K implementaci zpracování textu použijte předem připravené modely dostupné v Spark NLP.
• Naučte se stavět, trénovat a měnit Spark NLP modely pro produkční projekty.
• Aplikujte klasifikaci, odvození a analýzu sentimentu na případy použití v reálném světě (klinická data, statistiky chování zákazníků atd.).

V tomto živém školení pod vedením instruktora v České republice se účastníci naučí, jak používat Python a Spark společně k analýze velkých dat při práci na praktických cvičeních.

Na konci tohoto školení budou účastníci schopni:

• Naučte se používat Spark s Python k analýze Big Data.
• Pracujte na cvičeních, která napodobují případy ze skutečného světa.
• Použijte různé nástroje a techniky pro analýzu velkých dat pomocí PySpark.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na vývojáře, kteří chtějí používat a integrovat Spark, Hadoop a Python ke zpracování, analýze a transformaci velkých a komplexních souborů dat.

Na konci tohoto školení budou účastníci schopni:

• Nastavte potřebné prostředí pro zahájení zpracování velkých dat pomocí Spark, Hadoop a Python.
• Pochopte funkce, základní komponenty a architekturu Spark a Hadoop.
• Naučte se, jak integrovat Spark, Hadoop a Python pro zpracování velkých dat.
• Prozkoumejte nástroje v ekosystému Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka a Flume).
• Vytvářejte systémy doporučení pro společné filtrování podobné jako Netflix, YouTube, Amazon, Spotify a Google.
• Použijte Apache Mahout ke škálování algoritmů strojového učení.

Spark SQL je modul Apache Sparku pro práci s strukturovanými a nestrukturovanými daty. Spark SQL poskytuje informace o struktuře dat a provedených výpočtech. Tato informace mohou být použity k optimalizaci. Dvě běžné použití Spark SQL jsou:
- provádění dotazů SQL.
- čtení dat z existující instalace Hive.

V tomto školení vedeném instruktorem (na místě nebo na dálku) se účastníci naučí analyzovat různé typy datových souborů pomocí Spark SQL.

Po ukončení tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat Spark SQL.
• Provádět analýzu dat pomocí Spark SQL.
• Dotazovat se na data v různých formátech.
• Vizualizovat data a výsledky dotazů.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Záplava cvičení a praxe.
• Přímo v laboratoři implementovat v reálném čase.

Možnosti přizpůsobení kurzu

• Pokud chcete pořádat customizované školení pro tento kurz, kontaktujte nás a domluvte si to.

Stratio je datově orientovaná platforma, která integruje big data, umělou inteligenci (AI) a řízení do jednotného řešení. Její moduly Rocket a Intelligence umožňují rychlé prozkoumávání, transformaci a pokročilé analýzy dat v podnikových prostředích.

Tato instruktorem vedena živá školení (online nebo na místě) je určená pro středně pokročilé odborníky na data, kteří chtějí efektivně používat moduly Rocket a Intelligence v Stratio s PySpark, s důrazem na smyčkové struktury, uživatelsky definované funkce (UDFs) a pokročilou datovou logiku.

Na konci tohoto školení budou účastníci schopni:

• Navigovat a pracovat v platformě Stratio pomocí modulů Rocket a Intelligence.
• Používat PySpark ve kontextu ingesta, transformace a analýzy dat.
• Využívat smyčky a podmíněnou logiku k řízení pracovních postupů s daty a úloh předzpracování dat.
• Vytvářet a spravovat uživatelsky definované funkce (UDFs) pro opakovatelné operace s daty v PySpark.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Mnoho cvičení a praxe.
• Praktické implementace v živém laboratorním prostředí.

Možnosti přizpůsobení kurzu

• Pro požadavek na přizpůsobené školení tohoto kurzu, prosím nás kontaktujte pro domluvu.