Ollama: Запусти большую модель на своём ноутбуке

Из этих двух болей, счёт за токены и утечка данных, и выросла целая категория: запускать модели у себя, на своём железе, без интернета.

Ollama привлекли $65M, чтобы стать стандартом такого запуска.

В двух словах
Пишешь в терминале ollama run и название модели, и через секунду большая языковая модель крутится прямо у тебя на ноутбуке. Приватно, без задержек на дорогу до облака, без счёта в конце месяца. Локальная часть бесплатна и открыта, и именно она собрала аудиторию.

Цифры этой аудитории приличные. Почти 9 млн разработчиков в месяц, около 176 тысяч звёзд на GitHub, и, по их словам, Ollama так или иначе используют в 85% компаний из Fortune 500. Для инструмента, который ставится одной командой, это гигантский охват.

Где тут тренд
История ходит по кругу. Запуск моделей теперь уезжает из чужого облака на твой собственный компьютер. Внимание сюда пришло от разработчиков, которым надоело платить за каждый чих и объяснять службе безопасности, куда утекают данные.

Видно это было на GitHub задолго до денег: локальные раннеры моделей собирали звёзды пачками, пока большие облака делали вид, что рынка нет. Теперь подтянулись и деньги: $65M нового раунда, $88M за всё время и команда всего в 14 человек. Четырнадцать человек и почти девять миллионов пользователей, вот это соотношение и есть настоящая новость.

Двигатель
Петля тут красивая. Open-source-инструмент бесплатно расходится среди разработчиков, разработчики тащат его на работу, на работе появляется задача «а сделайте то же самое, но с поддержкой и в облаке». И вот тут включается касса.

Монетизируют не локальный клиент, а облачную подписку Ollama Cloud: $20 в месяц за средний тариф и $100 за старший. Фиксированная плата вместо оплаты за токены. Бесплатная армия пользователей работает воронкой для платного облака. Классический ход: сначала подсадил, потом продал удобство.

Где ров
Дистрибуция и привычка. Ollama стал тем инструментом, который разработчик ставит по умолчанию, не задумываясь, как когда-то ставил условный VLC для видео. Такую привычку не перебить деньгами, её можно только годами выращивать.

Плюс больше 40 тысяч готовых интеграций, которые накопились вокруг. Конкуренту мало написать такой же движок, ему надо, чтобы вокруг него вырос такой же лес связок. А это время, а не деньги.

Кто еще делает похожее

• llama.cpp. Движок, на котором Ollama и построен, для тех, кто любит копаться руками.
• LM Studio. Тот же локальный запуск, но с красивым интерфейсом, а не командной строкой. Мне он больше нравится, я его использую чаще всего.
• Jan.ai. Открытый и приватный, но пока сыроват.
• vLLM. Не для ноутбука, а для серьёзного сервинга под нагрузкой в проде.

Сигнал второго порядка
Если запускать модели локально стало легко и дёшево, дальше произойдёт не экономия, а обжорство. Люди начнут гонять модели там, где раньше и не подумали бы: в каждом приложении, в каждом устройстве, в каждом чайнике. Суммарный спрос на вычисления не упадёт, а вырастет. А значит, вырастет и спрос на облако для тех задач, которые на ноутбуке уже не тянут.

Как это украсть
В России тема локального ИИ не про моду, а про выживание. Поставки ИИ-серверов через параллельный импорт рухнули с тысяч в 2024 году до десятков в 2026, а разрыв в вычислительных мощностях с США оценивают как многосоткратный. Когда железа мало, умение выжать максимум из скромной машины на своём столе становится ценным само по себе.

Сверху давит регуляторика. Новый закон об ИИ вводит понятие суверенных моделей, а для банков и финансового рынка правительство сможет предписать использовать только их, с обработкой данных в российских дата-центрах. Зарубежное облако для регулируемых отраслей фактически закрывается. Спрос на «запустить модель у себя, в контуре, без интернета наружу» будет только расти.

Свой Ollama делать бессмысленно. А вот стать теми, кто разворачивает и обслуживает локальный ИИ для банков и госкомпаний, которым по закону нельзя в чужое облако, это реальный заход. Не продукт, а услуга и экспертиза вокруг GigaChat и открытых моделей на своём железе.

В чём антитренд
Здесь разворот не про людей, а про железо, и оттого нагляднее.

Парадокс Джевонса: чем эффективнее и дешевле мы используем ресурс, тем больше его в итоге потребляем. Дешёвый локальный инференс не убьёт облако, а раздует общий аппетит к вычислениям так, что через пару лет компании снова прибегут в managed-облако, потому что содержать свой парк GPU, обновлять модели и латать безопасность окажется дороже и муторнее, чем платить за готовое. Сегодня модно уходить из облака. Завтра модно будет вернуться, но уже за большие деньги и с ворчанием «сами виноваты, что связались».