Современный Android-смартфон с 8 ГБ оперативной памяти может содержать модель 3B в памяти и отвечать на вопросы за несколько секунд, работая без интернета. Целью не является замена GPT или Claude для сложных задач. Целью является приватный чат без сети, который работает во время полёта, пересечения границы или в плохой Wi-Fi гостиницы. Лучшие приложения для запуска LLM на устройстве на Android отличаются тремя способами: какие квантованные форматы моделей они загружают, сколько оперативной памяти нужно для стабильной работы и насколько удобен интерфейс чата на маленьком экране. Мы протестировали семь приложений в течение месяца ежедневного использования.
Что искать в приложении для локального LLM
Шесть вещей отделяют приложение для чата, которое остаётся установленным, от приложения, которое удалят через неделю:
- Поддержка форматов моделей. GGUF — самый распространённый; MLC и ONNX — далее. Какой бы формат поддерживало приложение, это определяет, какие модели доступны.
- Опции квантизации. Q4_K_M — оптимальный вариант для модели 3B на 8 ГБ; Q3 меньше, но заметно хуже.
- Обработка контекстного окна. Ведёт ли приложение постоянную историю или сбрасывает её при каждом обороте.
- Токены в секунду на скромном оборудовании. Телефон Snapdragon 8 Gen 2 работает с моделью 3B Q4 примерно на 15–25 tok/s.
- Поведение батареи. Длительное поколение разогревает телефон. Флаг фона или таймер, который ограничивает сеансы, помогает.
- Стоимость и статус закрытого кода. Некоторые варианты — freemium с облачными резервными копиями, которые необходимо отключить.
Быстрое сравнение
| Приложение | Лучше всего для | Форматы моделей | Бесплатный уровень | Выделяется |
|---|---|---|---|---|
| PocketPal AI | Общий чат на устройстве | GGUF | Бесплатно, открытый исходный код | Лучший UX для загрузки GGUF моделей |
| MLC Chat | Скорость на Snapdragon 8 | MLC | Бесплатно, открытый исходный код | Самый быстрый tok/s из всех здесь |
| Layla | Чат с персонажами и ролевая игра | GGUF | Бесплатный уровень, подписка | Полированный интерфейс, библиотека персонажей |
| MyDeviceAI | Ассистент с инструментами | GGUF, ONNX | Бесплатно, открытый исходный код | Поиск в интернете, остаётся на устройстве |
| SmolChat | Маленькие телефоны (4–6 ГБ) | GGUF (small) | Бесплатно, открытый исходный код | Запускает модели 1B и 1.5B чисто |
| Private AI Chat | Без учётной записи, без телеметрии | GGUF | Бесплатно | Поставляется с проверенным списком моделей |
| Enchanted | Ollama на домашнем сервере | Remote to Ollama | Бесплатно, открытый исходный код | Лучше всего, когда телефон общается с домашним LLM |
Приложения
1. PocketPal AI — лучший общий чат на устройстве
PocketPal AI загружает GGUF модели с Hugging Face внутри приложения и управляет ими в библиотеке. Предустановки для Phi-3.5, Gemma 3, Llama 3.2 и Qwen 2.5 предлагают разумные стартовые квантизации. Интерфейс чата поддерживает системные подсказки, температуру, top-p и штраф повторения по модели, что даёт больше контроля, чем в большинстве приложений здесь.
Где слабость: Пользователи впервые должны иметь примерное представление о том, какую модель выбрать. Нет встроенной рекомендации.
Цена: Бесплатно, открытый исходный код (MIT).
Платформы: Android, iOS.
Скачать: GitHub · Google Play
Вывод: Начните с этого. Это наиболее полный бесплатный вариант и не продвигает платный уровень.
2. MLC Chat — лучшая скорость на Snapdragon 8
MLC Chat предварительно компилирует модели в формат MLC и запускает их через TVM. На телефоне Snapdragon 8 Gen 2 Gemma 2B MLC работает примерно в два раза быстрее, чем та же модель в GGUF на llama.cpp. Опции моделей уже, потому что каждая модель предварительно построена.
Где слабость: Добавление новой модели требует набора инструментов MLC на ноутбуке. Не рабочий процесс «загрузи и вперёд».
Цена: Бесплатно, Apache лицензия.
Платформы: Android, iOS.
Скачать: MLC Chat · Google Play
Вывод: Выбор, если телефон — недавний флагман и цель — самый быстрый возможный ответ на устройстве.
3. Layla — лучше всего для чата с персонажами и ролевой игры
Layla обёртывает llama.cpp в полированный интерфейс чата с персонажами, голосовым вводом и библиотекой персон сообщества. Бесплатный уровень включает локальную загрузку моделей; подписка добавляет модели, размещённые в облаке и генерацию изображений, обе опциональные. Так как приложение на устройстве по умолчанию, библиотека персонажей работает без сети.
Где слабость: Фокус на RP видна в подсказках по умолчанию. Превращение в универсальный ассистент означает перезапись системной подсказки при каждом сеансе.
Цена:
- Бесплатный уровень: только локальные модели
- Pro: с скромной ежемесячной платой добавляет размещённые модели и изображения
Платформы: Android, iOS.
Скачать: Layla
Вывод: Для тех, кто хочет чат, который наклоняется творческой стороной, а не утилитой.
4. MyDeviceAI — лучший ассистент с инструментами
MyDeviceAI запускает локальную модель GGUF, затем добавляет шаг веб-поиска, который читает фрагменты и возвращает их модели как контекст. Остаётся приватным, потому что поисковый запрос — единственное, что покидает телефон. Это ближайшее к ассистенту в стиле Perplexity с локальным рассуждением.
Где слабость: Интеграция веб-поиска зависит от бэкенда поиска, который меняется. Случайные неправильные вызовы инструмента — на оператора, чтобы заметить.
Цена: Бесплатно, открытый исходный код.
Платформы: Android.
Скачать: GitHub
Вывод: Выбор, когда ассистент нуждается в текущей информации, а не только в том, что помещается в веса модели.
5. SmolChat — лучше всего для маленьких телефонов
SmolChat ориентирован на телефоны с 4–6 ГБ оперативной памяти. Он поставляется с настройками для моделей 1B и 1.5B (Phi-3-mini, Gemma 2 2B, Llama 3.2 1B) и отказывается открывать более крупные. Результат — приложение для чата, которое остаётся отзывчивым на двухлетнем среднего уровня телефоне.
Где слабость: Намеренно ограничено. Если телефон может запустить модель 3B, используйте вместо этого PocketPal AI.
Цена: Бесплатно, открытый исходный код.
Платформы: Android.
Скачать: GitHub · Google Play
Вывод: Для телефонов среднего уровня, которые зависали бы на модели 7B.
6. Private AI Chat — лучше всего «без учётной записи, без телеметрии»
Private AI Chat поставляется с небольшим списком проверенных GGUF моделей, загружает их при первом запуске и никогда не просит учётную запись. История чата остаётся в локальной базе данных. Политика конфиденциальности умещается на одной странице, потому что приложение не собирает данные.
Где слабость: Нет облачного резервного копирования, если модель недостаточна для сложного вопроса. Никаких добавляемых пользователем моделей кроме кураторского списка.
Цена: Бесплатно.
Платформы: Android.
Скачать: Google Play
Вывод: Выбор, когда вся суть — «никакие данные не покидают телефон» и выбор модели — не забавная часть.
7. Enchanted — лучше всего, если вы уже запускаете Ollama дома
Enchanted — клиент телефона для Ollama, работающего на домашнем сервере. Это не полностью на устройстве (модель работает на домашней машине, которая обрабатывает вычисления), но чат остаётся на локальной сети или через туннель Tailscale. Для того, у кого есть мощный домашний ящик, уже размещающий Ollama, это кратчайший путь к модели 70B с телефона.
Где слабость: Требует домашний экземпляр Ollama. Использование по сотовой сети требует туннеля, такого как Tailscale, чтобы достичь сервера.
Цена: Бесплатно, открытый исходный код.
Платформы: Android, iOS.
Скачать: GitHub
Вывод: Выбор, когда телефон — тонкий клиент к намного большей локальной модели.
Как выбрать правильный
Если телефон имеет 8 ГБ оперативной памяти или больше, начните с PocketPal AI и модели 3B Q4. Интерфейс наиболее дружелюбен и библиотека моделей наиболее широка.
Если телефон — недавний флагман и скорость важнее, чем выбор моделей, переключитесь на MLC Chat.
Если телефон имеет 4–6 ГБ оперативной памяти, используйте SmolChat с моделью 1.5B или 2B.
Если целью является приватный ассистент, который может искать, используйте MyDeviceAI.
Если день включает творческий чат или ролевую игру, используйте Layla.
Если мощный домашний сервер уже запускает Ollama, используйте Enchanted и рассматривайте телефон как тонкий клиент.
FAQ
Какие Android-телефоны могут запустить модель 7B? Телефоны с минимум 12 ГБ оперативной памяти (Pixel 9 Pro XL, Galaxy S25 Ultra, OnePlus 13). Модель 7B Q4 плюс ОС хорошо вмещается в 12 ГБ и движется. На 8 ГБ телефон своп-памяти и приложение срывается в течение минут.
Эти приложения разряжают батарею? Да, во время генерации. Модель 3B на 20 tok/s на современном SoC тянет 4–6 Вт. Десятиминутный разговор — примерно один процент батареи. Длительная генерация разогревает телефон.
Могу ли я использовать эти приложения без сети? Да, в этом суть. PocketPal AI, MLC Chat, SmolChat, Layla и Private AI Chat работают полностью на устройстве после загрузки модели. Режим в самолёте их не влияет.
Приватны ли мои данные? На шести приложениях на устройстве — да. Enchanted отправляет чат на ваш собственный сервер Ollama. Ни один из них в режиме по умолчанию не отправляет подсказки облаку третьей стороны.
С какой модели мне начать? Phi-3.5-mini на Q4_K_M — самый безопасный стандартный вариант на 8 ГБ. Хорошо отвечает на типичные вопросы и занимает примерно 2.5 ГБ оперативной памяти. Переходите на Gemma 2 2B или Llama 3.2 3B, если телефон может это выдержать.
Могут ли эти приложения заменить ChatGPT? Для быстрых вопросов, черновиков коротких текстов и фрагментов кода до 200 строк — да. Для длительного рассуждения, текущих событий и сложного кода — нет. Рассматривайте на устройстве как приватный, автономный слой, а не весь набор инструментов.
