Прошлую неделю статья на XDA завершилась там же, где заканчиваются все обсуждения домашних лабораторий: из семи локальных LLM только один смог работать мозгом умного дома, когда автоматизация становилась сложнее. Остальные либо галлюцинировали при вызовах функций, либо пропускали намерение «выключить свет на крыльце», либо нагревались так сильно, что вентиляторы NAS крутились часами. Локальная модель на NAS — это честный ответ на голосовое управление, но выбор среды выполнения имеет значение больше, чем выбор модели.
Мы протестировали 7 приложений для рабочего стола, которые работают на домашнем NAS или мини-ПК в той же локальной сети, предоставляют совместимую с OpenAI точку доступа и чистой интеграцией работают с голосовым конвейером Home Assistant на базе LLM. Всё перечисленное ниже работает оффлайн после загрузки весов, и у всего есть документированный образ Docker.
На что обратить внимание
- Совместимость с OpenAI API. Home Assistant’s Assist это ожидает, и все остальные инструменты ниже подключаются одинаково.
- Поддержка вызовов функций. Модель, которая не может выдать структурированный вызов функции, не сможет управлять светом.
- Поддержка GGUF или GPTQ моделей. Если NAS не имеет GPU, Q4 GGUF на CPU — честная стартовая точка.
- Разумный объём памяти. Модель 7B Q4 должна занимать менее 6 GB оперативной памяти в покое.
- Быстрый старт. Холодная загрузка модели 7B на каждой голосовой команде — это задержка в пять секунд, которую вы заметите.
- Стабильный менеджер процессов. NAS перезагружается еженедельно на обновления; модель должна перезапуститься автоматически.
Быстрое сравнение
| Приложение | Лучше всего для | Платформы | Бесплатный план | Отличительная особенность |
|---|---|---|---|---|
| Ollama | Стандартный запускатель, на который ориентированы большинство гайдов Home Assistant | Linux, macOS, Windows | Да (open source) | Каталог моделей и стабильная точка доступа, совместимая с OpenAI |
| LocalAI | Универсальная замена для OpenAI API, включая аудио | Linux, macOS, Windows (Docker) | Да (open source) | Обрабатывает чат, встраивания, TTS и STT из одного контейнера |
| LM Studio | GUI на хосте NAS и сервер для локальной сети | Windows, macOS, Linux | Да | Обнаружение моделей и переключение сервера в один клик |
| Open WebUI | Веб-интерфейс чата, который также взаимодействует с Home Assistant | Linux, macOS, Windows (Docker) | Да (open source) | Многопользовательский чат с Ollama, LocalAI или любым совместимым с OpenAI бэкендом |
| Home Assistant | Потребитель точки доступа | Windows, macOS, Linux (HAOS, Docker) | Да | Встроенная интеграция Assist LLM с маршрутизацией вызовов функций |
| vLLM | Лучшая пропускная способность на NAS с GPU | Linux (Docker) | Да (open source) | Непрерывная пакетная обработка и внимание с разбивкой по страницам для многопользовательского использования |
| llama.cpp | Bare-metal C++ запускатель, стоящий за большинством вышеперечисленных | Linux, macOS, Windows | Да (open source) | Запускает GGUF на CPU на почти любом оборудовании |
7 лучших приложений для локального LLM на NAS для умного дома
1. Ollama — лучший запускатель по умолчанию, на который ориентированы большинство гайдов
Ollama обёртывает llama.cpp с чистым CLI, библиотекой моделей и совместимым с OpenAI HTTP сервером, с которым интеграция Assist LLM Home Assistant работает из коробки. Установите на NAS, запустите ollama pull qwen2.5:7b-instruct и укажите Home Assistant на http://<nas-ip>:11434. Менеджер сервиса держит его в работе после перезагрузок.
Где даёт сбой: Многопользовательский параллелизм — это однополосная система; параллельные запросы ставятся в очередь, а не пакетируются. Поддержка Windows появилась недавно и отстаёт от Linux по стабильности.
Цена:
- Бесплатно: open source под MIT
- Платно: ничего для self-hosting
Платформы: Linux, macOS, Windows (native и Docker)
Скачать: ollama.com
Вывод: Сначала выберите Ollama, уходите только когда конкретное ограничение вас отталкивает.
2. LocalAI — лучше, если нужны чат, речь и встраивания из одного контейнера
LocalAI — это drop-in, который охватывает всю поверхность OpenAI: завершения чата, встраивания, TTS, STT и генерацию изображений, всё локально. Протокол Wyoming в Home Assistant может указывать на точку доступа Whisper от LocalAI для STT и Piper для TTS, что означает, что весь голосовой цикл живёт на NAS.
Где даёт сбой: Файл конфигурации плотный и требует первого прочтения. Пути ускорения GPU (CUDA, ROCm, Vulkan) специфичны для сборки, и выбор неправильного образа даёт молчаливый fallback на CPU.
Цена:
- Бесплатно: open source под MIT
- Платно: ничего
Платформы: Linux, macOS, Windows (Docker)
Скачать: localai.io
Вывод: Выберите LocalAI, если цель — автономный голосовой стек с STT, TTS и чатом под одной крышей.
3. LM Studio — лучше, когда удобный интерфейс имеет значение
LM Studio начался как приложение для рабочего стола чата и вырос в режим headless сервера. На NAS с дисплеем или удалённой сессией KVM, выборщик моделей и выборщик квантизации более снисходительнее, чем сырой CLI. Встроенный сервер предоставляет совместимую с OpenAI точку доступа, которую ожидает Home Assistant.
Где даёт сбой: Основное приложение — closed source, что для некоторых домашних лабораторий — это решительный отказ. Режим headless доступен, но остаётся гражданином второго класса.
Цена:
- Бесплатно: полное приложение
- Платно: ничего
Платформы: Windows, macOS, Linux
Скачать: lmstudio.ai
Вывод: Выберите LM Studio, если нужен интерфейс, чтобы попробовать модели перед тем, как зафиксировать её в роли умного дома.
4. Open WebUI — лучший чат-интерфейс, который держит людей в цикле
Open WebUI — это веб-интерфейс в стиле ChatGPT, который работает против Ollama, LocalAI или любой совместимой с OpenAI точки доступа. На NAS он служит поверхностью тестирования: запустите подсказку против той же модели, которую использует конвейер Assist, отредактируйте системную подсказку, затем обновите Home Assistant. Поддержка нескольких пользователей с ролями держит семью вне консоли администратора.
Где даёт сбой: Это интерфейс чата, не часть самого пути автоматизации. Установка требует постоянный том и обратный прокси для доступа через LAN или Tailscale.
Цена:
- Бесплатно: open source под MIT
- Платно: ничего
Платформы: Linux, macOS, Windows (Docker)
Скачать: openwebui.com
Вывод: Выберите Open WebUI как человеческий интерфейс чата поверх любой среды выполнения, на которой вы остановитесь.
5. Home Assistant — лучший потребитель точки доступа
Home Assistant’s интеграция Assist LLM — это то, что превращает «включи свет на кухне» в вызов функции. Укажите её на Ollama, LocalAI, LM Studio или любую совместимую с OpenAI точку доступа, отметьте «expose to Assist» на сущностях, которыми вы хотите управлять модели, и голос работает полностью в локальной сети. Шаблон подсказки редактируем, это то, как вы мешаете модели галлюцинировать комнаты.
Где даёт сбой: Качество вызовов функций зависит от модели, и Home Assistant не скажет вам, когда модель вернёт правдоподобный, но неправильный ID сущности. Отладка живёт в панели отладки Assist и требует времени на изучение.
Цена:
- Бесплатно: open source
- Платно: опциональное облако Nabu Casa, не требуется для локального голоса
Платформы: Windows, macOS, Linux (HAOS, Docker, VM)
Скачать: home-assistant.io
Вывод: Выберите Home Assistant, потому что LLM интересен только если что-то действует на его выход, а это именно это.
6. vLLM — лучше, если NAS имеет настоящий GPU
vLLM — это среда выполнения, ориентированная на пропускную способность. Непрерывная пакетная обработка, внимание с разбивкой по страницам и правильная очередь мультизапросов превращают маленькую карту NVIDIA в точку доступа масштаба семьи, которая может обслуживать голосовые запросы, вкладку Open WebUI и плагин Obsidian одновременно без блокировок.
Где даёт сбой: Только GPU, так что NAS без CPU отсутствует. Совместимость моделей более узкая, чем у Ollama, и добавление новой архитектуры — это шаг сборки.
Цена:
- Бесплатно: open source под Apache 2.0
- Платно: ничего
Платформы: Linux (Docker)
Скачать: github.com/vllm-project/vllm
Вывод: Выберите vLLM, если NAS имеет поддерживаемую карту NVIDIA и несколько членов семьи будут нагружать модель одновременно.
7. llama.cpp — лучший bare-metal запускатель для ограниченного оборудования
llama.cpp — это C++ проект, стоящий за большинством сред выполнения выше. Запуск его напрямую с встроенным HTTP сервером — это самый экономный способ втиснуть модель 7B на Synology или старую ARM коробку. Поддержка Metal на Apple Silicon и CUDA на NVIDIA позволяет одному бинарнику охватить большинство домашних установок.
Где даёт сбой: Нет управления моделями, нет автообновлений, нет сценариев сервиса из коробки. Это набор инструментов, а не продукт.
Цена:
- Бесплатно: open source под MIT
- Платно: ничего
Платформы: Linux, macOS, Windows (source, binary, или Docker)
Скачать: github.com/ggerganov/llama.cpp
Вывод: Выберите llama.cpp, если NAS маленький, ОС необычная, и вы хотите наименьшей абстракции над файлом модели.
Как выбрать
Если вы начинаете с нуля, установите Ollama на NAS и укажите Home Assistant на неё.
Если голосовой стек нуждается в STT и TTS на одной коробке, замените Ollama на LocalAI и вытащите образы Whisper и Piper.
Если нужен интерфейс для сравнения моделей перед обязательством, установите LM Studio и используйте его режим сервера.
Если семья хочет общаться с той же моделью, которая запускает автоматизацию, добавьте Open WebUI сверху.
Если NAS имеет GPU NVIDIA и более одного тяжёлого пользователя, переключитесь на vLLM для параллелизма.
Если оборудование необычно мало и каждый мегабайт имеет значение, запустите llama.cpp напрямую.
Часто задаваемые вопросы
Могу ли я действительно запустить полезную модель на NAS?
Да. Модель 7B Q4 в llama.cpp на современном восьмиядерном CPU генерирует с читаемой скоростью для коротких голосовых команд. Если NAS имеет 16 GB оперативной памяти и кэш NVMe, модель загружается за секунды после тёплого старта. Для долгих чатов или рассуждений добавьте GPU.
Какая модель лучше всего обрабатывает вызовы функций Home Assistant?
Qwen 2.5 Instruct, Llama 3.1 8B Instruct и Hermes-3-Llama — надёжные локальные варианты размером 7B-8B. Ниже 7B, форматирование вызовов функций начинает ломаться. Протестируйте с панелью отладки Assist на нескольких реалистичных командах перед обязательством.
Видит ли модель всё состояние моего дома?
Только те сущности, которые вы явно открываете для Assist. Переключатель открытия — это per-entity, так что свет в офисе не должен утекать в контекст модели. Держите открытый набор маленьким; подсказка дешевле и модель делает меньше ошибок.
Что происходит, когда интернет падает?
Ничего не меняется. STT, LLM и TTS все запускаются на NAS, так что голосовое управление продолжает работать. Единственный путь, который нуждается в WAN — это удалённый доступ, и облако Nabu Casa или self-hosted VPN оба это исправляют отдельно.
