В этом месяце XDA опубликовали статью, утверждая, что Docker превратил локальную установку ИИ в нечто, что они могут пересобрать за четыре минуты. В этом и заключается смысл контейнеризованного стека ИИ на десктопе: веса моделей и история чата живут в смонтированном томе, а остальная часть стека (интерфейс, движок вывода, обратный прокси) является одноразовой. Удалите всё, отредактируйте файл compose, и запустите заново.
Мы протестировали семь приложений для десктопа, ориентируясь на эту цель в Windows, macOS и Linux. Все семь либо поставляют официальные образы Docker, либо поставляются с командой docker run на одну строку, и все семь отделяют состояние от среды выполнения, поэтому пересборка не потеряет вашу историю.
На что обратить внимание в приложении Docker-friendly AI
- Официальный образ Docker. Сторонние образы обновляются медленно и иногда отстают от обновлений безопасности.
- Монтируемое состояние. История чата, пользовательские подсказки и веса модели должны находиться по пути хоста.
- Передача GPU. Поддержка NVIDIA runtime на Linux, WSL2 на Windows, Metal-on-host на macOS.
- OpenAI-совместимый API. Позволяет менять приложение без переписывания клиентского кода.
- Веб-интерфейс по сети. Приложение для десктопа, которое также служит браузером, позволяет использовать его из других комнат.
- Приносите свою модель. Загрузчики GGUF и safetensors позволяют использовать уже загруженные модели.
Быстрое сравнение
| Приложение | Лучше всего для | Бесплатный план | Начальная цена | Рейтинг |
|---|---|---|---|---|
| Open WebUI | Веб-интерфейс для локальных LLM | Полный | Бесплатно | 4.8/5 |
| Ollama | Одностроковый runtime модели | Полный | Бесплатно | 4.8/5 |
| LocalAI | Совместимая замена OpenAI | Полный | Бесплатно | 4.7/5 |
| LM Studio | GUI с браузером моделей | Полный | Бесплатно (платный уровень для команд) | 4.7/5 |
| Jan | Собственный клиент для десктопа | Полный | Бесплатно | 4.6/5 |
| LiteLLM | Мультипровайдерный прокси | Полный | Enterprise контракт | 4.7/5 |
| Msty | Отполированный кроссмодельный клиент | Да | $49/год Pro | 4.6/5 |
Приложения
1. Open WebUI – Лучший веб-интерфейс для локальных LLM
Open WebUI — это интерфейс, который большинство людей имеют в виду, говоря «локальный ChatGPT». Он поставляется с официальным образом Docker, монтирует всё (настройки, пользователей, документы RAG) в один том и подключается к Ollama или любой совместимой конечной точке OpenAI из коробки. Четырёхминутная пересборка реальна: docker compose down, отредактировать тег, docker compose up, и чаты находятся ровно там, где вы их оставили.
Где это отстаёт: Потолок функций интерфейса высок и поверхность настроек плотна. Новым пользователям нужен час документации.
Цены:
- Бесплатно, лицензия MIT.
- Enterprise поддержка предлагается отдельно.
Платформы: Работает везде, где работает Docker — Windows (WSL2 или Docker Desktop), macOS, Linux.
Вывод: Сначала установите Open WebUI. Это разумная входная дверь для стека Docker AI.
2. Ollama – Лучший runtime для моделей
Ollama — это причина, по которой нынешний локальный LLM бум вообще возможен. Один CLI, одна библиотека моделей GGUF и REST API на порту 11434, который уже говорит дюжина интерфейсов (включая Open WebUI, Jan и Msty). Образ Docker поддерживает передачу GPU NVIDIA на Linux; собственная сборка macOS использует Metal прямо на хосте.
Где это отстаёт: Соглашение об именовании моделей Ollama отличается от Hugging Face, что сбивает с толку при копировании фрагмента.
Цены:
- Бесплатно, лицензия MIT.
Платформы: Собственный Windows, macOS, Linux; образ Docker доступен для всех трёх.
Вывод: Свяжите Ollama с Open WebUI для кратчайшего пути к работающей локальной модели.
3. LocalAI – Лучшая совместимая замена OpenAI
LocalAI — это самостоятельный API, который говорит протокол OpenAI байт за байтом, поэтому всё, что вы создали для ChatGPT, работает против него. Это включает CrewAI, LangChain, LlamaIndex и клиента Python OpenAI. Официальный образ Docker поддерживает модели GGUF, safetensors, whisper, stable-diffusion и text-to-speech под одной конечной точкой.
Где это отстаёт: Никакого первостороннего интерфейса чата; свяжите его с Open WebUI.
Цены:
- Бесплатно, лицензия MIT.
Платформы: Docker на Windows, macOS, Linux.
Вывод: Выберите LocalAI, если код, который вы хотите запустить, уже говорит OpenAI API.
4. LM Studio – Лучший GUI с браузером моделей
LM Studio — это собственное приложение для десктопа со встроенным браузером моделей в стиле Hugging Face и загрузкой в один клик. Он предоставляет совместимый с OpenAI сервер на localhost:1234 и может работать внутри контейнера Docker на Linux с поддержкой GPU. Удобство пересборки обеспечивается простым каталогом конфигурации, который чисто монтируется.
Где это отстаёт: Интерфейс для десктопа не так отполирован на Linux, как на macOS. Платный уровень ориентирован на команды, а не на отдельные лица.
Цены:
- Бесплатно для личного использования.
- LM Studio for Work платный уровень для команд.
Платформы: Windows, macOS, Linux (Docker или собственный).
Вывод: Используйте LM Studio, если вы хотите просмотреть и обменять модели визуально.
5. Jan – Лучший собственный клиент для десктопа
Jan — это самый чистый полностью собственный локальный AI приложение для десктопа. Клиент Electron работает на всех трёх ОС, поставляется с совместимым с OpenAI локальным API и интегрируется с Ollama, LocalAI и удалёнными моделями. Jan также может работать в контейнере Docker в качестве headless сервера на домашней коробке.
Где это отстаёт: Экосистема расширений меньше, чем у Open WebUI.
Цены:
- Бесплатно, лицензия AGPL.
Платформы: Windows, macOS, Linux.
Вывод: Выберите Jan, если вы хотите собственное приложение вместо вкладки браузера.
6. LiteLLM – Лучший мультипровайдерный прокси
LiteLLM — это прокси, который говорит OpenAI API вашему приложению и пересылает любому провайдеру (OpenAI, Anthropic, Ollama, Bedrock, Vertex, Groq). Поместите его перед стеком Docker AI, и переключение провайдеров — это изменение конфига, а не изменение кода. Официальный образ Docker обрабатывает аутентификацию, ограничения скорости и бюджеты для каждого пользователя.
Где это отстаёт: Никакого собственного интерфейса чата; это инфраструктура.
Цены:
- Бесплатно, лицензия MIT.
- LiteLLM Enterprise продаётся отдельно.
Платформы: Docker на Windows, macOS, Linux.
Вывод: Добавьте LiteLLM перед Ollama и Open WebUI, если вы также используете провайдеров платного API.
7. Msty – Лучший отполированный кроссмодельный клиент
Msty — это самый отполированный из клиентов для десктопа. Он поддерживает ответы моделей рядом, разделённые представления для сравнения результатов и чистую библиотеку подсказок. Он запускает локальные модели через Ollama и удалённые модели через API. Msty официально не поставляется с образом Docker, но собственное приложение хорошо работает с Docker-бэкэндом.
Где это отстаёт: Закрытый исходный код; функции Pro заблокированы за подпиской.
Цены:
- Бесплатный уровень для личного использования.
- Msty Pro около $49/год.
Платформы: Windows, macOS, Linux.
Загрузка: Веб-сайт
Вывод: Выберите Msty для лучшего внешнего клиента, особенно для сравнения моделей рядом.
Как выбрать правильный
- Если вы хотите самый простой вариант: Ollama плюс Open WebUI в одном файле docker compose.
- Если вам нужна совместимая замена OpenAI: LocalAI или LiteLLM впереди.
- Если вы хотите просмотреть модели визуально: LM Studio.
- Если вы предпочитаете собственное приложение: Jan или Msty.
- Если вы маршрутизируете между OpenAI, Anthropic и локальным: LiteLLM.
- Если вы хотите сравнение моделей рядом: Msty.
- Если вы пробовали самодельный Python скрипт и потеряли вашу историю: Open WebUI, потому что история живет в томе Docker, который пережил каждую пересборку.
FAQ
Какой самый быстрый способ запустить локальную LLM на десктопе с Docker?
docker run ollama/ollama, затем docker run open-webui/open-webui с флагом network, указывающим на Ollama. Оба являются официальными образами. XDA-статья, которая вдохновила этот список, делает примерно это.
Нужна ли мне GPU?
Нет, но вывод CPU медленный. Скромная видеокарта NVIDIA, Mac с Apple Silicon или AMD Ryzen с iGPU offload — всё это работает. Ollama и LM Studio автоматически используют лучший доступный бэкэнд.
Могут ли эти приложения разговаривать с удалёнными API?
Да. Open WebUI, LiteLLM, LM Studio, Jan и Msty все поддерживают OpenAI, Anthropic и других удалённых провайдеров наряду с локальными моделями.
Какое лучшее бесплатное приложение для десктопа AI?
Open WebUI плюс Ollama — это бесплатный стек, на который сходятся большинство людей. Jan и LM Studio — сильные собственные альтернативы.
Как я сохраняю историю чата при пересборке контейнера?
Смонтируйте каталог состояния как том Docker. Open WebUI хранит всё под /app/backend/data; LocalAI под /build/models; Jan под его каталогом конфигурации. Сохраните этот том на хосте, и пересборки не потеряют историю.
