Návrh Školení

Zavedení

  • Přehled problémů škálování hlubokého učení
  • Přehled DeepSpeed a jeho funkcí
  • DeepSpeed vs. jiné distribuované knihovny hlubokého učení

Začínáme

  • Nastavení vývojového prostředí
  • Instalace PyTorch a DeepSpeed
  • Konfigurace DeepSpeed pro distribuované školení

Funkce optimalizace DeepSpeed

  • Tréninkový kanál DeepSpeed
  • ZeRO (optimalizace paměti)
  • Kontrolní bod aktivace
  • Přechodový kontrolní bod
  • Rovnoběžnost potrubí

Měřítko modelů s DeepSpeed

  • Základní škálování pomocí DeepSpeed
  • Pokročilé techniky škálování
  • Úvahy o výkonu a osvědčené postupy
  • Techniky ladění a odstraňování problémů

Pokročilá témata DeepSpeed

  • Pokročilé optimalizační techniky
  • Použití DeepSpeed se smíšeným tréninkem přesnosti
  • DeepSpeed na různém hardwaru (např. GPUs, TPU)
  • DeepSpeed s více tréninkovými uzly

Integrace DeepSpeed s PyTorch

  • Integrace DeepSpeed s pracovními postupy PyTorch
  • Použití DeepSpeed s PyTorch Lightning

Odstraňování problémů

  • Ladění běžných problémů DeepSpeed
  • Monitorování a protokolování

Shrnutí a další kroky

  • Shrnutí klíčových pojmů a funkcí
  • Doporučené postupy pro používání DeepSpeed v produkci
  • Další zdroje informací o DeepSpeed

Požadavky

  • Středně pokročilá znalost principů hlubokého učení
  • Zkušenosti s PyTorch nebo podobnými rámci hlubokého učení
  • Znalost programování Python

Publikum

  • Datoví vědci
  • Inženýři strojového učení
  • Vývojáři
 21 hodiny

Počet účastníků


Price per participant

Upcoming Courses

Související kategorie