Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Návrh Školení
Úvod do multimodálních modelů
- Přehled multimodálního strojového učení
- Aplikace multimodálních modelů
- Výzvy při manipulaci s více datovými typy
Architektury pro multimodální modely
- Prozkoumejte modely jako CLIP, Flamingo a BLIP
- Pochopení crossmodálních mechanismů pozornosti
- Architektonické aspekty škálovatelnosti a efektivity
Příprava multimodálních datových sad
- Techniky sběru dat a anotací
- Předzpracování textu, obrázků a video vstupů
- Vyvažování datových sad pro multimodální úlohy
Techniky jemného ladění pro multimodální modely
- Nastavení tréninkových kanálů pro multimodální modely
- Správa paměti a výpočetních omezení
- Manipulace se zarovnáním mezi modalitami
Aplikace jemně vyladěných multimodálních modelů
- Vizuální odpověď na otázku
- Popisování obrázků a videí
- Generování obsahu pomocí multimodálních vstupů
Optimalizace a hodnocení výkonu
- Metriky hodnocení pro multimodální úlohy
- Optimalizace latence a propustnosti pro výrobu
- Zajištění robustnosti a konzistence napříč modalitami
Nasazení multimodálních modelů
- Modely balení pro nasazení
- Scalable inference na cloudových platformách
- Aplikace a integrace v reálném čase
Případové studie a praktické laboratoře
- Jemné doladění CLIP pro načítání obrázků podle obsahu
- Školení multimodálního chatbota s textem a videem
- Implementace crossmodálních vyhledávacích systémů
Shrnutí a další kroky
Požadavky
- Znalost programování Python
- Pochopení konceptů hlubokého učení
- Zkušenosti s dolaďováním předtrénovaných modelů
Publikum
- výzkumníci AI
- Datoví vědci
- Praktici strojového učení
28 hodiny