Автор XDA посчитал цифры в этом месяце по сочетанию локального LLM с Claude для ежедневной работы с кодом и сообщил о сокращении счета за подписку на ИИ вдвое. Эта история тихо становится новой нормой для всех, кто интенсивно использует ИИ. Большинству запросов не нужна граничная модель. Автодополнение, быстрые рефакторинги и суммирования хорошо обрабатываются локальной 7B или 8B. Лучшие приложения для гибридных локальных и облачных LLM на рабочем столе - это те, которые позволяют маршрутизировать простые вопросы на вашу машину, а сложные - на Claude, GPT или Gemini, без использования две окна чата одновременно.
Мы протестировали восемь приложений на macOS, Windows и Linux. Критерии оценки были в том, насколько легко приложение переключается между локальным и облачным, может ли оно маршрутизировать автоматически или только по требованию, и остается ли локальный путь пригодным для использования, когда сеть отсутствует.
На что обращать внимание в гибридном LLM приложении
- Несколько поставщиков в одном интерфейсе. Ollama, LM Studio, OpenAI, Anthropic и OpenRouter в одном чате.
- Ручное переключение моделей. Один нажатие клавиши или раскрывающееся меню для переключения между локальным и облачным во время разговора.
- Автоматическая маршрутизация. Отправляйте короткие запросы локально, длинные или тяжелые для кодирования в облако на основе правил.
- Локальный переход на первое место. Работает в режиме офлайн. Облачный поставщик опционален.
- Конфиденциальность ключа API. Ключи остаются на вашей машине, не синхронизируются с поставщиком.
- Отслеживание затрат. Показывает расходы за модель на сеанс, чтобы вы могли увидеть результаты маршрутизации.
Быстрое сравнение
| App | Лучше всего для | Платформы | Бесплатный тариф | Платный тариф | Рейтинг |
|---|---|---|---|---|---|
| Continue | AI в редакторе с локальной + облачной маршрутизацией | VS Code, JetBrains | Полностью бесплатно | Нет | 4.8 |
| Zed | Нативный редактор с выбором модели в каждый нажатие клавиши | macOS, Linux, Windows preview | Полностью бесплатно | Zed Pro от $10/мес | 4.8 |
| Aider | Терминальный парный программист, агностик к модели | Windows, macOS, Linux | Полностью бесплатно | Нет | 4.9 |
| Cursor | Форк VS Code с маршрутизацией и агентами | Windows, macOS, Linux | Бесплатный уровень | Pro от $20/мес | 4.7 |
| LibreChat | Самостоятельно размещенный ChatGPT с любым бэкендом | Windows, macOS, Linux, Docker | Полностью бесплатно | Нет | 4.7 |
| Big-AGI | Веб-чат с рядом расположенным переключением моделей | Web / самостоятельно размещенный | Полностью бесплатно | Нет | 4.6 |
| LiteLLM | Слой прокси-сервера, объединяющий каждого поставщика | Any (Python + Docker) | Полностью бесплатно | Корпоративное ценообразование | 4.7 |
| Msty | Настольный чат с локальным и облачным в одном | Windows, macOS, Linux | Полностью бесплатно | Aurum $99 пожизненно | 4.7 |
Приложения
1. Continue для гибридных LLM — лучшая маршрутизация на стороне редактора
Continue - это расширение VS Code и JetBrains с открытым исходным кодом, которое размещает чат, автодополнение и помощника по редактированию рядом с вашим кодом с файлом конфигурации, в котором перечислены все модели, к которым у вас есть доступ. Локальный (Ollama, LM Studio, llama.cpp) и облачный (OpenAI, Anthropic, Groq, OpenRouter) находятся в одном раскрывающемся списке. Автодополнение указывает на быструю локальную модель; большие рефакторинги идут в Claude Sonnet.
Где он не справляется: Конфигурация JSON, не UI. Новые пользователи тратят несколько минут на ее редактирование.
Ценообразование:
- Бесплатно: Полностью бесплатно, Apache 2.0.
- Платно: Нет.
Платформы: Windows, macOS, Linux (расширение VS Code и JetBrains).
Загрузка: continue.dev · github.com/continuedev/continue
Нижняя строка: Стандартный выбор для гибридной установки внутри VS Code или IDE JetBrains.
2. Zed для гибридных LLM — лучший нативный редактор с выбором моделей по нажатию клавиши
Zed - это быстрый редактор на основе Rust с встроенным ИИ. Каждое действие ИИ показывает используемую модель и позволяет переключаться на месте. Он поддерживает OpenAI, Anthropic, Google, Ollama и OpenRouter. Совместное редактирование Zed плюс ИИ - это подлинная функция для парной работы.
Где он не справляется: Предварительный просмотр Windows все еще отстает от macOS и Linux. У некоторых расширений VS Code нет эквивалента.
Ценообразование:
- Бесплатно: Полностью бесплатно с вашими собственными ключами API.
- Платно: Zed Pro от $10/мес для размещенных моделей и приоритетного доступа.
Платформы: macOS, Linux, Windows preview.
Загрузка: zed.dev · github.com/zed-industries/zed
Нижняя строка: Выбор, если вы хотите современный редактор и история ИИ сосуществует, а не привязана.
3. Aider для гибридных LLM — лучший терминальный парный программист
Aider - это терминальный парный программист. Он читает и редактирует ваш git репозиторий, ведет текущий разговор об изменениях и может общаться практически с любым поставщиком модели. Установленный на Ollama для мелочей и Claude для сложных изменений, это одна из наиболее экономичных установок кодирования в этом списке.
Где он не справляется: Только терминал. Если вы хотите GUI, это не выбор.
Ценообразование:
- Бесплатно: Полностью бесплатно, Apache 2.0.
- Платно: Нет.
Платформы: Windows, macOS, Linux.
Загрузка: aider.chat · github.com/Aider-AI/aider
Нижняя строка: Выбор, когда ваш редактор - это терминал, а вы хотите, чтобы редактирование ИИ было совершено через git.
4. Cursor для гибридных LLM — лучший форк VS Code с маршрутизацией
Cursor - это форк VS Code с встроенными агентами, пользовательскими правилами и переключением моделей. На уровне Pro Cursor комплектует доступ к модели; с вашими собственными ключами вы также можете маршрутизировать локальные модели через немного конфигурации. Режимы длительного контекста и агентов - вот где Cursor сияет.
Где он не справляется: Платно. Маршрутизация локальных моделей требует дополнительной настройки по сравнению с использованием облака.
Ценообразование:
- Бесплатно: Базовый уровень с ограничениями скорости.
- Платно: Pro от $20/мес, Business от $40/мес.
Платформы: Windows, macOS, Linux.
Загрузка: cursor.com
Нижняя строка: Выберите это, когда вы хотите отличный опыт агента и не возражаете платить за облачную сторону.
5. LibreChat для гибридных LLM — лучший самостоятельно размещенный фронтенд в стиле ChatGPT
LibreChat - это самостоятельно размещенное веб-приложение в стиле ChatGPT, которое подключается к каждому крупному поставщику плюс локальным средам выполнения. Многопользовательский с ролями, поддержкой плагинов и сравнением моделей рядом. Запустите его в Docker и поделитесь им в семье или небольшой команде.
Где он не справляется: Overhead самостоятельного размещения. Установка - это шаг за пределами одного приложения для одного пользователя.
Ценообразование:
- Бесплатно: Полностью бесплатно, MIT.
- Платно: Нет.
Платформы: Windows, macOS, Linux, Docker.
Загрузка: librechat.ai · github.com/danny-avila/LibreChat
Нижняя строка: Выбор для семьи или команды, которые хотят общий чат с гибридной маршрутизацией модели.
6. Big-AGI для гибридных LLM — лучший веб-чат с рядом расположенным переключением моделей
Big-AGI - это веб-чат браузера, который позволяет сравнивать ответы локальных и облачных моделей рядом. Самостоятельно размещайте его в одну команду, и каждый поставщик находится в одном раскрывающемся списке. Personas, артефакты кода и генерирование луча (развилка разговора между моделями) сильны.
Где он не справляется: Веб-приложение, а не нативное. Использует локальное хранилище; синхронизация между машинами требует дополнительной настройки.
Ценообразование:
- Бесплатно: Полностью бесплатно, MIT.
- Платно: Нет.
Платформы: Web (самостоятельно размещенный или публичная демонстрация).
Загрузка: big-agi.com · github.com/enricoros/big-AGI
Нижняя строка: Выбор, если вы хотите веб-приложение, которое позволяет экспериментировать с маршрутизацией моделей перед фиксацией.
7. LiteLLM для гибридных LLM — лучший слой прокси-сервера, объединяющий каждого поставщика
LiteLLM - это прокси Python-и-Docker, который представляет любого поставщика (Ollama, OpenAI, Anthropic, Bedrock, Vertex и т.д.) как совместимую конечную точку OpenAI. Укажите на ваш прокси LiteLLM и переключайте бэкенды по конфигурации. Добавляйте ограничение скорости и отслеживание затрат централизованно.
Где он не справляется: Прокси, не чат-приложение. Вы приносите фронтенд.
Ценообразование:
- Бесплатно: Полностью бесплатно с открытым исходным кодом.
- Платно: Корпоративное ценообразование для размещенного прокси-сервера и поддержки.
Платформы: Любой хост, который работает Python или Docker.
Загрузка: litellm.ai · github.com/BerriAI/litellm
Нижняя строка: Выбор, когда несколько приложений должны использовать одно и то же маршрутизацию и политику затрат.
8. Msty для гибридных LLM — лучший настольный чат с локальным и облачным в одном окне
Msty - это приложение для рабочего стола, которое уже поставляется с поддержкой Ollama, LM Studio и облачного поставщика. Его представление с разделенным чатом - это самый быстрый способ увидеть локальный ответ рядом с ответом Claude для одного запроса. Стеки знаний (функция RAG Msty) работают с любым бэкендом.
Где он не справляется: Некоторые продвинутые функции заблокированы за Aurum. Не открытый исходный код.
Ценообразование:
- Бесплатно: Полностью бесплатно.
- Платно: Aurum $99 пожизненно для стеков знаний и премиум-функций.
Платформы: Windows, macOS, Linux.
Загрузка: msty.app
Нижняя строка: Выбор, если вы хотите один настольный чат, который уже понимает гибридные установки.
Как выбрать правильный
Если ваша работа в VS Code или JetBrains: Continue, бесплатный и гибридный по дизайну.
Если вы переключаете редакторы и хотите AI-first: Zed.
Если вы кодируете в терминале: Aider.
Если вы хотите платное, тяжелое на агентов опыт и не возражаете против подписки: Cursor.
Если семья или команда хочет один чат, который говорит с каждым поставщиком: LibreChat.
Если вы исследуете маршрутизацию и хотите тест-драйв это в браузере: Big-AGI.
Если несколько приложений должны использовать одно и то же маршрутизацию и ограничения скорости: LiteLLM как прокси плюс чат-приложение, указывающее на него.
Если одного приложения для рабочего стола достаточно и вы хотите все-в-одном: Msty.
FAQ
Насколько на самом деле гибридное локальное и облачное может сэкономить расходы API? Статья XDA приземлилась примерно на 50% сокращение для ежедневной работы с кодом. Фактическая экономия зависит от вашей смеси запросов; шаблон и автодополнение - это кандидаты наивысокой ценности для маршрутизации локально.
Могу ли я использовать свои собственные ключи OpenAI или Anthropic API с этими приложениями? Да. Каждое приложение в этом списке принимает ваши собственные ключи. Cursor - это тот, который также комплектует доступ к модели как часть своего платного уровня.
Достаточно ли локального LLM для реальной работы с кодом? Для автодополнения, небольших рефакторингов, комментариев и быстрых вопросов - да. Для многофайловых рефакторингов и тяжелого рассуждения, большинство людей все еще обращаются к граничной облачной модели.
Какое приложение имеет наименьший effort установки? Msty для настольного чата, Zed для редактора. Оба работают менее чем за десять минут.
Работают ли эти приложения в режиме офлайн? Локальная сторона каждого приложения в этом списке работает в режиме офлайн. Облачные вызовы нуждаются в сети. Continue, Zed и Aider все грациозно возвращаются к вашей локальной модели, если облачный поставщик недостижим.
