Hadoop and Spark for Administrators Počítačový Kurz

Tento kurz je určen pro vývojáře a datové vědce, kteří chtějí porozumět umělé inteligenci a implementovat ji do svých aplikací. Zvláštní pozornost je věnována analýze dat, distribuované umělé inteligenci a zpracování přirozeného jazyka.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na středně pokročilé datové vědce a inženýry, kteří chtějí používat Google Colab a Apache Spark pro zpracování a analýzu velkých dat.

Na konci tohoto školení budou účastníci schopni:

• Nastavte prostředí velkých dat pomocí Google Colab a Spark.
• Zpracujte a analyzujte efektivně velké soubory dat pomocí Apache Spark.
• Vizualizujte velká data v prostředí pro spolupráci.
• Integrujte Apache Spark s cloudovými nástroji.

Analýza velkých dat zahrnuje proces zkoumání velkého množství různých datových sad s cílem odhalit korelace, skryté vzorce a další užitečné poznatky.

Zdravotnický průmysl má obrovské množství komplexních heterogenních lékařských a klinických dat. Použití analýzy velkých dat na zdravotní data představuje obrovský potenciál při získávání poznatků pro zlepšení poskytování zdravotní péče. Obrovské množství těchto datových souborů však představuje velké výzvy v analýzách a praktických aplikacích v klinickém prostředí.

V tomto živém školení (na dálku) vedeném instruktorem se účastníci naučí, jak provádět analýzu velkých dat ve zdraví, když projdou řadou praktických cvičení v laboratoři.

Na konci tohoto školení budou účastníci schopni:

Nainstalujte a nakonfigurujte nástroje pro analýzu velkých objemů dat, jako je Hadoop MapReduce a Spark Pochopte vlastnosti lékařských dat Použití technik velkých dat pro práci s lékařskými daty Studujte systémy a algoritmy velkých dat v kontextu zdravotnických aplikací

Publikum

Vývojáři Data Scientists

Formát kurzu

Část přednáška, část diskuse, cvičení a těžké praktické cvičení.

Poznámka

Chcete-li požádat o školení na míru pro tento kurz, kontaktujte nás a domluvíme se.

V tomto živém školení pod vedením instruktora v České republice se účastníci seznámí s nabídkou technologií a implementačními přístupy pro zpracování grafových dat. Cílem je identifikovat objekty reálného světa, jejich charakteristiky a vztahy, poté tyto vztahy modelovat a zpracovat je jako data pomocí přístupu Graph Computing (také známého jako Graph Analytics). Začínáme širokým přehledem a zužujeme se na konkrétní nástroje, když procházíme řadou případových studií, praktických cvičení a živých nasazení.

Na konci tohoto školení budou účastníci schopni:

• Pochopte, jak jsou grafová data uchovávána a procházena.
• Vyberte nejlepší rámec pro daný úkol (od databází grafů po rámce pro dávkové zpracování.)
• Implementujte Hadoop, Spark, GraphX a Pregel k provádění grafových výpočtů na mnoha strojích paralelně.
• Podívejte se na problémy s velkými daty v reálném světě z hlediska grafů, procesů a průchodů.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) představuje Hortonworks Data Platform (HDP) a provede účastníky nasazením řešení Spark + Hadoop.

Na konci tohoto školení budou účastníci schopni:

• Použijte Hortonworks ke spolehlivému provozu Hadoop ve velkém měřítku.
• Sjednoťte možnosti zabezpečení, správy a provozu Hadoop s agilními analytickými pracovními postupy Spark.
• Použijte Hortonworks k prozkoumání, ověření, certifikaci a podpoře každé z komponent v projektu Spark.
• Zpracovávejte různé typy dat, včetně strukturovaných, nestrukturovaných, v pohybu a v klidu.

Tento kurz se zabývá tím, jak používat jazyk Hive SQL (AKA: Hive HQL, SQL on Hive, HiveQL) pro lidi, kteří extrahují data z Hive

Cloudera Impala je open source dotazovací stroj s masivním paralelním zpracováním (MPP) SQL pro clustery Apache Hadoop.

Impala umožňuje uživatelům zadávat dotazy s nízkou latencí SQL na data uložená v Hadoop Distributed File System a Apache Hbase bez nutnosti přesunu nebo transformace dat.

Publikum

Tento kurz je zaměřen na analytiky a datové vědce provádějící analýzu dat uložených v Hadoop pomocí nástrojů Business Intelligence nebo SQL.

Po tomto kurzu budou moci delegáti

• Extrahujte smysluplné informace z Hadoop shluků pomocí Impala.
• Napište specifické programy pro usnadnění Business Inteligence v Impala SQL dialektu.
• Odstraňování problémů Impala.

V tomto živém školení pod vedením instruktora v České republice (na místě nebo na dálku) se účastníci naučí, jak nastavit a integrovat různé Stream Processing rámce se stávajícími systémy ukládání velkých dat a souvisejícími softwarovými aplikacemi a mikroslužbami.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte různé Stream Processing frameworky, jako je Spark Streaming a Kafka Streaming.
• Pochopte a vyberte nejvhodnější rámec pro danou práci.
• Zpracování dat nepřetržitě, souběžně a záznam po záznamu.
• Integrujte Stream Processing řešení se stávajícími databázemi, datovými sklady, datovými jezery atd.
• Integrujte nejvhodnější knihovnu pro zpracování datových proudů s podnikovými aplikacemi a mikroslužbami.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na datové vědce, kteří chtějí použít SMACK stack k vybudování platforem pro zpracování dat pro řešení velkých dat.

Na konci tohoto školení budou účastníci schopni:

• Implementujte architekturu datového kanálu pro zpracování velkých dat.
• Vyvíjejte klastrovou infrastrukturu pomocí Apache Mesos a Docker.
• Analyzujte data pomocí Spark a Scala.
• Spravujte nestrukturovaná data pomocí Apache Cassandra.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na inženýry, kteří chtějí nastavit a nasadit Apache Spark systém pro zpracování velmi velkého množství dat.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apache Spark.
• Rychle zpracujte a analyzujte velmi velké soubory dat.
• Pochopte rozdíl mezi Apache Spark a Hadoop MapReduce a kdy použít který.
• Integrujte Apache Spark s dalšími nástroji strojového učení.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na začátečníky až středně pokročilé správce systému, kteří chtějí nasazovat, udržovat a optimalizovat clustery Spark.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apache Spark v různých prostředích.
• Spravujte prostředky clusteru a monitorujte aplikace Spark.
• Optimalizujte výkon clusterů Spark.
• Implementujte bezpečnostní opatření a zajistěte vysokou dostupnost.
• Ladění a odstraňování běžných problémů se Sparkem.

Křivka učení Apache Spark se na začátku pomalu zvyšuje, potřebuje hodně úsilí, aby se první vrátil. Tento kurz si klade za cíl proskočit první náročnou částí. Po absolvování tohoto kurzu účastníci porozumí základům Apache Spark, jasně odliší RDD od DataFrame, naučí se Python a Scala API, porozumí exekutorům a úkolům atd. Tento kurz také důsledně dodržuje doporučené postupy se zaměřuje na cloudové nasazení, Databricks a AWS. Studenti také porozumí rozdílům mezi AWS EMR a AWS Glue, jednou z nejnovějších služeb Spark společnosti AWS.

PUBLIKUM:

Data Engineer, DevOps, Data Scientist

V tomto živém školení pod vedením instruktora v České republice se účastníci naučí, jak používat Python a Spark společně k analýze velkých dat při práci na praktických cvičeních.

Na konci tohoto školení budou účastníci schopni:

• Naučte se používat Spark s Python k analýze Big Data.
• Pracujte na cvičeních, která napodobují případy ze skutečného světa.
• Použijte různé nástroje a techniky pro analýzu velkých dat pomocí PySpark.

MLlib je knihovna Spark pro strojové učení (ML). Jeho cílem je učinit praktické strojové učení škálovatelné a snadné. Skládá se z běžných výukových algoritmů a utilit, včetně klasifikace, regrese, shlukování, kolaborativního filtrování, redukce rozměrů, stejně jako optimalizačních primitiv nižší úrovně a rozhraní API na vyšší úrovni.

Dělí se na dva balíčky:

spark.mllib obsahuje původní API postavené na RDD. spark.ml poskytuje API vyšší úrovně postavené na DataFrames pro vytváření kanálů ML.

Publikum

Tento kurz je zaměřen na inženýry a vývojáře, kteří chtějí využít vestavěnou knihovnu strojů pro Apache Spark