Локальную языковую модель часто называют бесплатной: скачал и работает. На деле у неё есть своя цена, просто она распределена иначе, чем у облака. Разберём, из чего она складывается, и как сравнить её с облачной моделью.
Два способа платить
Облако. Вы платите за запрос или за подписку. Стоимость растёт вместе с объёмом работы. Если запросов мало, это дешевле собственного железа. Если много, счёт растёт, а лимиты могут закончиться посреди работы.
Локально. Вы платите за железо, помещение и людей. Стоимость почти не зависит от числа запросов, но появляется постоянная нагрузка: сервер нужно поставить, обслуживать и обновлять.
Из чего складывается стоимость локальной модели
Железо. Видеокарты, сервер, оперативная память, блок питания. Это разовая покупка, но оборудование стареет быстрее, чем кажется: новые модели требуют больше памяти, а старые карты быстро перестают быть достаточными.
Электричество и охлаждение. Сервер, который работает круглосуточно, потребляет заметно больше обычного компьютера. Это статья расходов, которую легко не учесть при первом расчёте.
Работа специалиста. Установка, настройка доступов, обновления моделей и драйверов, поддержка, когда что-то перестало работать. Часто эта статья самая большая, особенно если в компании нет ИТ-специалиста.
Качество. Чтобы модель поместилась на одну машину, её сжимают. Сжатая модель дешевле в эксплуатации, но на сложных задачах ошибается чаще. Ошибки, которые пришлось перепроверять вручную, быстро съедают экономию. Поэтому сравнивать стоит не цену одного запроса, а стоимость результата, который можно использовать без переделок.
Когда локальная модель оправдана
Локальная модель имеет смысл, если:
- задач много и они идут постоянно, так что оплата за запрос становится заметной;
- есть специалист, который поддерживает сервер;
- качество на вашей задаче проверено, а не взято из общего описания модели.
Облако удобнее, если задач немного, а времени на поддержку инфраструктуры нет.
Если вы рассматриваете облачный вызов из 1С, сначала стоит понять, что нужно для подключения API и где самописный модуль обычно упирается: «Как подключить GigaChat, DeepSeek или ChatGPT к 1С».
Как посчитать для своей компании
- Опишите задачи: сколько их в неделю и насколько сложные.
- Посчитайте облако: цена запроса или подписки, умноженная на объём, с запасом на лимиты.
- Посчитайте локальный вариант: железо с учётом срока службы, электричество, часы специалиста в месяц.
- Проверьте качество на своей задаче, а не на демо. Сжатые модели могут выглядеть хорошо на простом примере и подвести на вашем отчёте.
- Сравните результат, а не цену запроса.
Что у нас сейчас
В VOLY AI запросы к модели идут через Cloudflare AI Gateway к провайдеру модели. Конкретного провайдера и условия обработки данных мы фиксируем в документах пилота до передачи рабочих данных. Вариант с локальной моделью мы не обещаем как готовую функцию.
Если для вас важно, где обрабатываются данные и как считается стоимость, это первый вопрос, который стоит обсудить до пилота.
14 дней, одна информационная база и одна задача складского учёта. 0 ₽, без автоматического продления.