Стоимость AI растет: почему важно выбирать модель под задачу

Что произошло

По данным Bloomberg, валовая маржа юридического AI-стартапа Harvey к июню упала с примерно +50% до -50%, поскольку потребление токенов выросло в 20 раз. В августе Harvey запустил собственную модель на базе открытой модели Kimi K3 от Moonshot, и маржа снова стала положительной. Среди других стартапов, идущих тем же путем, Bloomberg назвал Abridge и Ramp.

Financial Times сообщает, что открытые модели теперь выполняют 40% AI-работы в AT&T. Большая часть расходов на AI по-прежнему достается закрытым моделям крупных лабораторий, однако крупные покупатели теперь воспринимают модель как то, что можно заменить, если цена не устраивает. Меняется и позиция продавцов: по данным The Information, Anthropic прекращает корпоративные скидки (обычно около 15%), когда клиент исчерпывает объем, предусмотренный договором, после чего нужно пересматривать договор или платить полную цену.

Что это значит для компаний в Латвии

Большинство компаний в Латвии используют AI не в таком объеме, как Harvey или AT&T. Тем не менее принцип тот же, а для небольшого бизнеса он даже важнее, ведь каждая лишняя статья расходов ощущается сразу.

Расходы на AI обычно растут не скачком. Они растут тихо: сначала один сотрудник начинает использовать AI для ответов на письма, затем добавляется обработка документов, затем автоматизируются клиентские запросы. Если все эти задачи проходят через одну, самую дорогую из доступных моделей, счет растет с каждым новым процессом. Пример Harvey хорошо показывает, что даже успешный продукт может стать убыточным, если потребление растет быстрее, чем выручка.

Вместе с тем рынок становится дешевле и разнообразнее. 7 октября Anthropic выпустил Claude Haiku 5.5, который, по словам компании, для большинства запросов стоит примерно в десять раз дешевле Haiku 4.5, в среднем около 75% экономии. Он предназначен для задач большого объема, таких как поддержка клиентов, резюме и поиск данных. 6 октября Mistral опубликовал предварительную версию Large 4, а после публикации открытых весов в конце октября компании смогут запускать ее на собственных серверах и хранить чувствительные данные у себя. Для компаний, для которых важно, где хранятся данные клиентов, это существенная возможность.

С нашей точки зрения, урок для небольшого бизнеса тот же, что и для крупных компаний: самый разумный путь - модель, подходящая под задачу, а не всегда самая дорогая.

Как применить это на практике

Разделите задачи по сложности

Большая часть повседневной работы с AI - это рутина. Для нее достаточно дешевой и быстрой модели:

сортировка писем - заказ, жалоба, счет или вопрос;
извлечение данных из документов - номер счета, сумма, дата, поставщик;
частые ответы клиентам - рабочее время, условия доставки, статус заказа;
краткие резюме - главные пункты длинной переписки или заметок со встречи.

Дорогую модель стоит оставить для сложных задач: анализа договоров, нестандартных ситуаций с клиентами, сравнения нескольких документов или текстов, где важен каждый нюанс.

Пример: до и после

До. В компании, где заявки приходят по электронной почте, каждое письмо отправляется самой мощной модели. Она читает письмо, определяет тему, извлекает контактные данные и готовит черновик ответа. Результат хороший, но каждое простое письмо стоит столько же, сколько сложное.

После. Недорогая модель сначала определяет тип письма и извлекает основные данные. На стандартные вопросы она же готовит ответ по утвержденным шаблонам. Только если письмо неясное, содержит жалобу или требует оценки, его обрабатывает более дорогая модель. Качество сохраняется там, где оно нужно, а большинство запросов обрабатывается с меньшими затратами.

Стройте систему так, чтобы модель можно было заменить

Пример AT&T показывает, что крупные покупатели воспринимают модель как заменяемую деталь. Небольшому бизнесу тоже стоит строить решение так, чтобы замена модели не означала перестройку всей системы. На практике это значит:

подключение к AI-модели выделено в отдельный слой, а не разбросано по всей системе;
инструкции (промпты) и шаблоны хранятся в одном месте и не привязаны к особенностям одного поставщика;
есть небольшой тестовый набор с реальными примерами, чтобы новую модель можно было проверить до переключения.

Такой подход позволяет использовать новые, более дешевые модели, как только они появляются, и не зависеть от ценовой политики одного продавца. Новость The Information о скидках напоминает, что условия могут меняться и в течение срока договора.

Следите за стоимостью задачи

Цена подписки сама по себе говорит немного. Гораздо полезнее знать, сколько стоит одно обработанное письмо, один прочитанный счет или один разговор с клиентом. Когда эти цифры видны, становится понятно, какие процессы дорогие, где хватило бы дешевой модели и где действительно нужна самая мощная.

С чего начать

Перестраивать все сразу не нужно. Достаточно нескольких шагов:

Составьте список всех процессов, в которых вы уже используете AI, и отметьте, какая модель применяется в каждом.
Оцените сложность. Какие задачи повторяющиеся и простые, а какие требуют суждения и тщательной оценки?
Выберите один рутинный процесс и опробуйте его на более дешевой модели, сравнив результаты с прежними.
Начните учитывать стоимость задачи, чтобы решения опирались на данные, а не на ощущения.
Проверьте архитектуру. Если замена модели потребовала бы серьезной переработки, это первое, что стоит привести в порядок.

Если вы хотите понять, где в вашей компании можно снизить расходы на AI, не потеряв в качестве, свяжитесь с AI-Lab Space. Вместе мы оценим ваши процессы, порекомендуем модель под каждую задачу и поможем создать решение, которое можно адаптировать при изменении рынка.