Návrh Školení

Úvod do multimodálních modelů

  • Přehled multimodálního strojového učení
  • Aplikace multimodálních modelů
  • Výzvy při manipulaci s více datovými typy

Architektury pro multimodální modely

  • Prozkoumejte modely jako CLIP, Flamingo a BLIP
  • Pochopení crossmodálních mechanismů pozornosti
  • Architektonické aspekty škálovatelnosti a efektivity

Příprava multimodálních datových sad

  • Techniky sběru dat a anotací
  • Předzpracování textu, obrázků a video vstupů
  • Vyvažování datových sad pro multimodální úlohy

Techniky jemného ladění pro multimodální modely

  • Nastavení tréninkových kanálů pro multimodální modely
  • Správa paměti a výpočetních omezení
  • Manipulace se zarovnáním mezi modalitami

Aplikace jemně vyladěných multimodálních modelů

  • Vizuální odpověď na otázku
  • Popisování obrázků a videí
  • Generování obsahu pomocí multimodálních vstupů

Optimalizace a hodnocení výkonu

  • Metriky hodnocení pro multimodální úlohy
  • Optimalizace latence a propustnosti pro výrobu
  • Zajištění robustnosti a konzistence napříč modalitami

Nasazení multimodálních modelů

  • Modely balení pro nasazení
  • Scalable inference na cloudových platformách
  • Aplikace a integrace v reálném čase

Případové studie a praktické laboratoře

  • Jemné doladění CLIP pro načítání obrázků podle obsahu
  • Školení multimodálního chatbota s textem a videem
  • Implementace crossmodálních vyhledávacích systémů

Shrnutí a další kroky

Požadavky

  • Znalost programování Python
  • Pochopení konceptů hlubokého učení
  • Zkušenosti s dolaďováním předtrénovaných modelů

Publikum

  • výzkumníci AI
  • Datoví vědci
  • Praktici strojového učení
 28 hodiny

Počet účastníků


Price per participant

Upcoming Courses

Související kategorie