Návrh Školení

Přehled Apache Airflow Základů

  • Základní koncepty: DAG, úkoly a operátory
  • Architektura proudění vzduchu a komponenty
  • Shrnutí běžných případů použití a pracovních postupů

Optimalizace výkonu pracovního postupu

  • Identifikace úzkých míst v potrubí Airflow
  • Techniky optimalizace na úrovni úloh
  • Využití opakování úloh, paralelismu a souběžnosti

Správa komplexních závislostí

  • Definování dynamických závislostí v pracovních postupech
  • Práce s podmíněnými a větvenými pracovními postupy
  • Efektivní používání skupin úkolů a dílčích DAG

Pokročilé funkce v Apache Airflow

  • Vytváření vlastních operátorů a háků
  • Implementace senzorů pro externí spouštěče
  • Integrace služeb a pluginů třetích stran

Škálování Apache Airflow Rozmístění

  • Horizontální a vertikální přístupy škálování
  • Použití Celery Executors pro distribuované spouštění
  • Doporučené postupy pro škálování v cloudových prostředích

Monitorování a ladění pracovních postupů

  • Konfigurace protokolování a výstrah pro monitorování pracovního postupu
  • Použití uživatelského rozhraní Airflow a CLI pro odstraňování problémů
  • Identifikace a řešení běžných problémů v nasazení Airflow

Zajištění Apache Airflow

  • Autentizace a řízení přístupu v Airflow
  • Ochrana citlivých dat a konfigurací prostředí
  • Implementace auditních záznamů pro pracovní postupy

Enterprise Use Cases a Best Practices

  • Navrhování robustních pracovních postupů pro produkční prostředí
  • Využití Airflow pro datové inženýrství a ETL potrubí
  • Prozkoumání případových studií škálovatelných nasazení Airflow v reálném světě

Shrnutí a další kroky

Požadavky

  • Základní znalost Apache Airflow
  • Znalost programování Python a konceptů orchestrace pracovních postupů
  • Zkušenosti se správou a nasazováním aplikací v Linux prostředích

Publikum

  • Datoví inženýři
  • DevOps profesionálové
  • Vývojáři softwaru
 21 hodiny

Počet účastníků


Price per participant

Upcoming Courses

Související kategorie