On-prem Agentic AI: Hugging Face + K8s + NVIDIA Triton
On-prem Agentic AI: Hugging Face + K8s + NVIDIA Triton
Соберите локального AI‑агента на Mistral‑ru с LoRA‑тонкой настройкой и Hugging Face;
задеплойте его в Kubernetes через NVIDIA Triton Inference Server с CI/CD (GitLab Runner → Argo CD); получите автономное решение для техподдержки без передачи данных в облако.
задеплойте его в Kubernetes через NVIDIA Triton Inference Server с CI/CD (GitLab Runner → Argo CD); получите автономное решение для техподдержки без передачи данных в облако.
-
Что?Настроим Triton Server с LoRA‑версией Mistral‑ru, соберём CI/CD конвейер GitLab Runner → Argo CD и выпустим чат‑агента техподдержки. -
Формат и длительностьдо 25 человек; 8 часов -
Для кого?Enterprise R&D, DevOps и платформенные команды, строящие on‑prem AI‑сервисы на GPU‑кластерах.
Содержание
Архитектура on‑prem LLM — обзор Mistral‑ru, LoRA‑адаптация, формат Triton ensemble.
Kubernetes GPU‑кластер — подготовка узлов, драйверов и NVIDIA device plugin.
Развёртывание Triton Inference Server — загрузка модели, REST/gRPC‑эндпоинты.
Инфраструктура как код — Helm‑чарты, manifests, PVC‑хранилище моделей.
CI/CD — сборка и тестирование в GitLab Runner, автоматический rollout через Argo CD.
Агент техподдержки — настройка prompt‑логики, Memory, ручка /chat.
Мониторинг и масштабирование — метрики latency/TPS, горизонтальный авто‑скейлинг.
Kubernetes GPU‑кластер — подготовка узлов, драйверов и NVIDIA device plugin.
Развёртывание Triton Inference Server — загрузка модели, REST/gRPC‑эндпоинты.
Инфраструктура как код — Helm‑чарты, manifests, PVC‑хранилище моделей.
CI/CD — сборка и тестирование в GitLab Runner, автоматический rollout через Argo CD.
Агент техподдержки — настройка prompt‑логики, Memory, ручка /chat.
Мониторинг и масштабирование — метрики latency/TPS, горизонтальный авто‑скейлинг.
Технологический стек
HF models, Kubernetes, NVIDIA Triton, GitLab Runner, Argo CD, Mistral‑ru LoRA
Предварительные требования
Опыт работы с K8s, доступные GPU‑ноды, GitLab и Docker.
Эксперты
-
Дмитрий ЖечковЭксперт по AI и облачным решениям, архитектор облачных решений в Yandex Cloud, сосредоточен на разработке ПО с использованием Generative AI и агентных архитектур. -
Носов АндрейПрофильный специалист с более чем 20-летним опытом в ИТ, специализирующийся на архитектуре решений в области ИИ, LLM, RAG, NLP, системной интеграции и руководстве мультидисциплинарными командами. Практический опыт разработки 27 AI/ML решений. Эксперт в построении AI-инфраструктур и развитии продуктовых команд. -
Александр МиленкинML Team Lead | Dodo Brands
Senior Data Scientist | Red Mad Robot
Senior Data Scientist | X5 Retail Group
Стоимость
Фиксированная цена
за командный пакет
25 000 ₽/участник
для физических лиц
Ознакомьтесь с другими
мастер-классами
мастер-классами
Закрываем конкретный вызов: внедрить RAG‑конвейер на LangChain, настроить MLOps‑CI/CD и мониторинг, освоить LoRA/RLHF‑тонкую настройку или добавить guardrails и безопасность
Ваша команда умеет собирать AI уже завтра: технологично, практично, экономно
Напишите нам, и мы подберем решение
Напишите нам, и мы подберем решение
ОБРАЗОВАТЕЛЬНАЯ ЭКОСИСТЕМА
НАПРАВЛЕНИЯ ОБУЧЕНИЯ
СЕРВИСЫ
Через обучение - к успеху! Знания работают на вас