Генеральный директор компании Vana Пол Эпплби представил концепцию «фабрик искусственного интеллекта» как следующий этап индустриализации технологий. По его словам, переход от экспериментов к промышленному масштабу требует радикально нового подхода к мониторингу и управлению сложной ИТ-инфраструктурой.
Пол Эпплби определяет фабрику ИИ как систему с контролируемыми входами, выходами и процессом производства под постоянным контролем. По его словам, 12-18 месяцев назад корпорации экспериментировали с ИИ, а теперь переходят к масштабированию. Крупные банки и телекоммуникационные компании уже обсуждают переход от пилотов к промышленному внедрению.
Генеральный директор Vana отмечает, что текущая точка перелома требует решения проблемы, при которой 25% задач ИИ терпят неудачу. По его мнению, это неприемлемо для финансового сектора, телекома и здравоохранения.
Пол Эпплби заявляет о необходимости перехода от мониторинга отдельных компонентов, таких как GPU или сети, к холистическому виду всей системы. По его словам, это смещает фокус с показателя Mean Time to Innocence на Mean Time to Resolution (MTTR), что критично для таких систем, как авиабилеты и банковские операции.
Для этого в Vana используют ИИ-агентов для автоматического выявления зависимостей, узких мест и причин сбоев, что ведёт к автономным операциям и самовосстанавливающейся инфраструктуре. Платформа Vana собирает около 20 000 метрик за доли секунды, что позволяет быстро обнаруживать и сопоставлять данные для мгновенной диагностики.
По словам Пола Эпплби, простой видеокарт ведёт к огромным финансовым потерям. Мониторинг оптимизирует использование ресурсов и снижает затраты на электричество и воду, включая расходы на системы отопления, вентиляции и кондиционирования воздуха (HVAC).
Генеральный директор Vana подчеркивает, что главное — это бизнес-результаты, контроль и эффективность инвестиций, а не разделение на технологии или услуги. Он связывает производительность ИИ с возвратом инвестиций.
AI-фабрика — это системный подход, сочетающий ускоренные вычисления, гибкое программное обеспечение и производственные мощности для инференса, то есть преобразования запросов в осмысленные ответы. Ключевой единицей такого «производства» является токен — минимальный фрагмент данных, из которых состоят ответы ИИ.
Для оценки эффективности AI-фабрики важно рассчитать соотношение между производительностью и полезностью, что визуализируется с помощью границы Парето. По данным NVIDIA, новые чипы Blackwell B300 демонстрируют в 10 раз более качественный пользовательский опыт и почти в 5 раз более высокую общую пропускную способность, чем H100.
Примером служит компания Lockheed Martin, которая построила собственную AI-фабрику на базе NVIDIA DGX SuperPOD, чтобы обрабатывать более 1 миллиарда токенов в неделю. По словам директора AI-направления в Lockheed Martin Грега Форреста, это позволило отказаться от затратных облачных решений и централизовать все задачи — от обучения моделей до генерации и тонкой настройки, что повышает гибкость и снижает издержки.