Návrh Školení

Úvod do Ollama pro nasazení LLM

  • Přehled schopností Ollama
  • Výhody místního nasazení modelu AI
  • Srovnání s cloudovými hostingovými řešeními AI

Nastavení prostředí nasazení

  • Instalace Ollama a požadované závislosti
  • Konfigurace hardwaru a GPU akcelerace
  • Dockerzměna Ollama pro škálovatelná nasazení

Nasazení LLM pomocí Ollama

  • Načítání a správa modelů AI
  • Nasazení Llama 3, DeepSeek, Mistral a dalších modelů
  • Vytváření rozhraní API a koncových bodů pro přístup k modelu AI

Optimalizace výkonu LLM

  • Jemné doladění modelů pro efektivitu
  • Snížení latence a zlepšení doby odezvy
  • Správa paměti a alokace zdrojů

Integrace Ollama do pracovních postupů AI

  • Připojování Ollama k aplikacím a službám
  • Automatizace procesů řízených umělou inteligencí
  • Použití Ollama v prostředí edge computingu

Monitorování a údržba

  • Sledování výkonu a problémů s laděním
  • Aktualizace a správa modelů umělé inteligence
  • Zajištění bezpečnosti a souladu v nasazení AI

Škálování nasazení modelu AI

  • Osvědčené postupy pro zvládání vysokého pracovního zatížení
  • Škálování Ollama pro případy podnikového použití
  • Budoucí pokrok v nasazení místních modelů AI

Shrnutí a další kroky

Požadavky

  • Základní zkušenosti se strojovým učením a modely AI
  • Znalost rozhraní příkazového řádku a skriptování
  • Pochopení prostředí nasazení (lokální, okrajové, cloudové)

Publikum

  • Inženýři AI optimalizující místní nasazení a nasazení AI na cloudu
  • Praktici ML zavádějící a dolaďující LLM
  • DevOps specialisté spravující integraci modelů AI
 14 hodiny

Počet účastníků


Price per participant

Upcoming Courses

Související kategorie