Programming with Big Data in R Počítačový Kurz

Tento kurz je určen pro vývojáře a datové vědce, kteří chtějí porozumět umělé inteligenci a implementovat ji do svých aplikací. Zvláštní pozornost je věnována analýze dat, distribuované umělé inteligenci a zpracování přirozeného jazyka.

Apache Beam je unifikovaný programovací model s otevřeným zdrojovým kódem pro definování a spouštění paralelních kanálů zpracování dat. Jeho síla spočívá v jeho schopnosti spouštět jak dávkové, tak streamingové kanály, přičemž spouštění je prováděno jedním z podporovaných back-endů distribuovaného zpracování Beam: Apache Apex, Apache Flink, Apache Spark a Google Cloud Dataflow. Apache Beam je užitečný pro úlohy ETL (Extract, Transform, and Load), jako je přesun dat mezi různými paměťovými médii a zdroji dat, transformace dat do vhodnějšího formátu a načítání dat do nového systému.

V tomto živém školení vedeném instruktorem (na místě nebo na dálku) se účastníci naučí, jak implementovat Apache Beam SDK v Java nebo Python aplikaci, která definuje kanál pro zpracování dat pro rozložení velké datové sady na menší kusy. pro nezávislé paralelní zpracování.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apache Beam.
• Použijte jediný programovací model k provádění dávkového i proudového zpracování v rámci jejich Java nebo Python aplikace.
• Spouštějte kanály v různých prostředích.

Formát kurzu

• Část přednáška, část diskuse, cvičení a těžké praktické cvičení

Poznámka

• Tento kurz bude k dispozici Scala v budoucnu. Pro domluvu nás prosím kontaktujte.

V tomto živém školení vedeném instruktorem v České republice se účastníci naučí, jak vytvořit Data Vault.

Na konci tohoto školení budou účastníci schopni:

• Pochopte architekturu a koncepty designu za Data Vault 2.0 a její interakci s Big Data, NoSQL a AI.
• Použijte techniky ukládání dat k umožnění auditování, trasování a kontroly historických dat v datovém skladu.
• Vyvinout konzistentní a opakovatelný proces ETL (Extract, Transform, Load).
• Vybudujte a nasaďte vysoce škálovatelné a opakovatelné sklady.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) představuje principy a přístupy za distribuovaným streamem a dávkovým zpracováním dat a provede účastníky vytvořením aplikace pro streamování dat v reálném čase v Apache Flink.

Na konci tohoto školení budou účastníci schopni:

• Nastavte prostředí pro vývoj aplikací pro analýzu dat.
• Pochopte, jak funguje knihovna pro zpracování grafů (Gelly) Apache Flink.
• Zabalte, spouštějte a monitorujte aplikace pro streamování dat založené na Flink, odolné proti chybám.
• Zvládejte různé pracovní zátěže.
• Provádějte pokročilé analýzy.
• Nastavte víceuzlový cluster Flink.
• Měřte a optimalizujte výkon.
• Integrujte Flink s různými Big Data systémy.
• Porovnejte funkce Flink s funkcemi jiných rámců pro zpracování velkých dat.

V tomto živém školení pod vedením instruktora v České republice se účastníci seznámí s nabídkou technologií a implementačními přístupy pro zpracování grafových dat. Cílem je identifikovat objekty reálného světa, jejich charakteristiky a vztahy, poté tyto vztahy modelovat a zpracovat je jako data pomocí přístupu Graph Computing (také známého jako Graph Analytics). Začínáme širokým přehledem a zužujeme se na konkrétní nástroje, když procházíme řadou případových studií, praktických cvičení a živých nasazení.

Na konci tohoto školení budou účastníci schopni:

• Pochopte, jak jsou grafová data uchovávána a procházena.
• Vyberte nejlepší rámec pro daný úkol (od databází grafů po rámce pro dávkové zpracování.)
• Implementujte Hadoop, Spark, GraphX a Pregel k provádění grafových výpočtů na mnoha strojích paralelně.
• Podívejte se na problémy s velkými daty v reálném světě z hlediska grafů, procesů a průchodů.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) představuje Hortonworks Data Platform (HDP) a provede účastníky nasazením řešení Spark + Hadoop.

Na konci tohoto školení budou účastníci schopni:

• Použijte Hortonworks ke spolehlivému provozu Hadoop ve velkém měřítku.
• Sjednoťte možnosti zabezpečení, správy a provozu Hadoop s agilními analytickými pracovními postupy Spark.
• Použijte Hortonworks k prozkoumání, ověření, certifikaci a podpoře každé z komponent v projektu Spark.
• Zpracovávejte různé typy dat, včetně strukturovaných, nestrukturovaných, v pohybu a v klidu.

Tento kurz se zabývá tím, jak používat jazyk Hive SQL (AKA: Hive HQL, SQL on Hive, HiveQL) pro lidi, kteří extrahují data z Hive

Cloudera Impala je open source dotazovací stroj s masivním paralelním zpracováním (MPP) SQL pro clustery Apache Hadoop.

Impala umožňuje uživatelům zadávat dotazy s nízkou latencí SQL na data uložená v Hadoop Distributed File System a Apache Hbase bez nutnosti přesunu nebo transformace dat.

Publikum

Tento kurz je zaměřen na analytiky a datové vědce provádějící analýzu dat uložených v Hadoop pomocí nástrojů Business Intelligence nebo SQL.

Po tomto kurzu budou moci delegáti

• Extrahujte smysluplné informace z Hadoop shluků pomocí Impala.
• Napište specifické programy pro usnadnění Business Inteligence v Impala SQL dialektu.
• Odstraňování problémů Impala.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na vývojáře, kteří chtějí implementovat zpracování Apache Kafka streamu bez psaní kódu.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Confluence KSQL.
• Nastavte kanál zpracování datového proudu pouze pomocí příkazů SQL (bez kódování Java nebo Python).
• Provádějte filtrování dat, transformace, agregace, spojení, okna a sessionization zcela v SQL.
• Navrhněte a nasaďte interaktivní, nepřetržité dotazy pro streamování ETL a analýzy v reálném čase.

V tomto živém školení vedeném instruktorem v České republice (na místě nebo na dálku) se účastníci naučí, jak nasadit a spravovat Apache NiFi v živém laboratorním prostředí.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apachi NiFi.
• Zdroj, transformace a správa dat z nesourodých, distribuovaných zdrojů dat, včetně databází a velkých datových jezer.
• Automatizujte datové toky.
• Povolit analýzu streamování.
• Aplikujte různé přístupy ke zpracování dat.
• Transformujte Big Data do obchodních postřehů.

V tomto živém školení pod vedením instruktora v České republice se účastníci naučí základy programování založeného na toku při vývoji řady demo rozšíření, komponent a procesorů pomocí Apache NiFi.

Na konci tohoto školení budou účastníci schopni:

• Pochopte architekturu a koncepty toku dat NiFi.
• Vyvíjejte rozšíření pomocí NiFi a API třetích stran.
• Vlastní vývoj vlastního procesoru Apache Nifi.
• Ingestujte a zpracujte data v reálném čase z různorodých a neobvyklých formátů souborů a zdrojů dat.

V tomto živém školení pod vedením instruktora v České republice se účastníci naučí, jak používat Python a Spark společně k analýze velkých dat při práci na praktických cvičeních.

Na konci tohoto školení budou účastníci schopni:

• Naučte se používat Spark s Python k analýze Big Data.
• Pracujte na cvičeních, která napodobují případy ze skutečného světa.
• Použijte různé nástroje a techniky pro analýzu velkých dat pomocí PySpark.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na datové inženýry, datové vědce a programátory, kteří chtějí používat funkce Spark Streaming při zpracování a analýze dat v reálném čase.

Na konci tohoto školení budou účastníci schopni používat Spark Streaming ke zpracování živých datových toků pro použití v databázích, souborových systémech a živých řídicích panelech.

MLlib je knihovna Spark pro strojové učení (ML). Jeho cílem je učinit praktické strojové učení škálovatelné a snadné. Skládá se z běžných výukových algoritmů a utilit, včetně klasifikace, regrese, shlukování, kolaborativního filtrování, redukce rozměrů, stejně jako optimalizačních primitiv nižší úrovně a rozhraní API na vyšší úrovni.

Dělí se na dva balíčky:

spark.mllib obsahuje původní API postavené na RDD. spark.ml poskytuje API vyšší úrovně postavené na DataFrames pro vytváření kanálů ML.

Publikum

Tento kurz je zaměřen na inženýry a vývojáře, kteří chtějí využít vestavěnou knihovnu strojů pro Apache Spark

Tidyverse je kolekce všestranných R balíčků pro čištění, zpracování, modelování a vizualizaci dat. Některé z obsažených balíčků jsou: ggplot2, dplyr, tidyr, readr, purrr a tibble.

V tomto živém školení vedeném instruktorem se účastníci naučí, jak manipulovat a vizualizovat data pomocí nástrojů obsažených v Tidyverse.

Na konci tohoto školení budou účastníci schopni:

Provádějte analýzu dat a vytvářejte přitažlivé vizualizace Vyvozujte užitečné závěry z různých datových sad vzorových dat Filtrujte, seřaďte a sumarizujte data pro zodpovězení průzkumných otázek Přeměňte zpracovaná data na informativní čárové grafy, sloupcové grafy, histogramy Importujte a filtrujte data z různých zdrojů dat, včetně [0 ], CSV a SPSS soubory

Publikum

Začátečníci s jazykem R Začátečníci s analýzou dat a vizualizací dat

Formát kurzu

Část přednáška, část diskuse, cvičení a těžké praktické cvičení