Switchboard будет определять сложность каждого запроса от человека или AI-агента и выбирать наиболее подходящую модель. Простые задачи будут направляться небольшим и дешевым моделям, сложные - более дорогим frontier-моделям.
Проект разрабатывает внутренний инкубатор AAI Labs, входящий в команду Applied AI Engineering. Meta создала ее в марте для разработки внутренних AI-продуктов, которые впоследствии могут получить публичный запуск.
Основная задача Switchboard - сократить расходы на inference. Сейчас запросы, включая простые задачи по написанию кода, могут отправляться одной дорогостоящей модели.
Мы платим цену топовой модели за каждый запрос по написанию кода, включая самые простые, Meta
По оценке разработчиков, большинство задач AI-агентов для программирования могут выполнять небольшие модели. Возможности более дорогих моделей нужны лишь для ограниченной части запросов.
Сегодня все отправляется одной модели, поэтому мы переплачиваем за простую работу или получаем недостаточно хороший результат на сложной
Meta признает, что именно стоимость inference остается главным препятствием для более широкого внедрения AI-агентов внутри компании. В июне сотрудникам также сообщили о планах ограничить использование AI-токенов.
OpenRouter стал популярен как единая точка доступа к различным AI-моделям и инструмент оптимизации расходов. В апреле компанию оценили в $1,3 млрд. По данным The Information, сейчас она обсуждает потенциальную продажу крупной технологической компании.
Роутинг моделей становится отдельным направлением AI-инфраструктуры. OpenAI использует встроенный роутер в GPT-5, а собственные инструменты маршрутизации также разработали Databricks и Palantir.
Помимо Switchboard, AAI Labs работает над AI-гидом для водителей через Apple CarPlay и Android Auto. Сервис сможет рассказывать о ближайших достопримечательностях и отвечать на вопросы о них