LM Studio и Ollama сделали запуск локальных LLM делом одного клика. Тонкая настройка моделей долгие годы оставалась задачей дата-центров, недосягаемой на том же оборудовании. Это наконец меняется. Новое десктопное приложение Unsloth — видимый знак этого, но небольшой кластер открытых фреймворков теперь обучает реальный адаптер LoRA на одном 12 ГБ или 24 ГБ потребительском GPU за один день.
Мы протестировали семь инструментов на RTX 4070, RTX 4090 и базовом Mac M2 Pro. Выбранные ниже инструменты — это те, которые завершили запуск LoRA на Llama 3.1 8B или Mistral 7B без исчерпания памяти, без необходимости в кластере и без необходимости сначала писать цикл обучения на PyTorch. Список сочетает инструменты с приоритетом графического интерфейса с фреймворками с приоритетом CLI, поэтому вы можете выбрать уровень удобства, который вам нужен.
На что обратить внимание в fine-tuner для потребительского GPU
- Поддержка LoRA и QLoRA, так что модель 7B обучается на 12 ГБ, а 13B на 24 ГБ.
- Квантизированная загрузка 4-bit и 8-bit, что делает возможным весь этот процесс.
- Flash Attention или эквивалентное ядро, чтобы скорость обучения не упала.
- Поддержка семейств моделей, которые вас интересуют: Llama, Mistral, Qwen, Gemma, Phi.
- Форматы наборов данных, которые легко подготовить, в идеале JSONL с полями instruction/output.
- Checkpointing, чтобы крах на четвёртый час не стоил вам всего запуска.
Быстрое сравнение
| Приложение | Лучше всего для | Платформы | Бесплатный план | Начальная цена/месяц | Лицензия |
|---|---|---|---|---|---|
| Unsloth | Быстрейший LoRA на 12–24 ГБ | Windows, Linux | Полное приложение | Бесплатно (Pro tier) | Apache 2.0 |
| Axolotl | Power user конфиг-файлов | Linux | Полное приложение | Бесплатно | Apache 2.0 |
| LLaMA-Factory | Управляемый GUI, широкая поддержка моделей | Windows, Linux | Полное приложение | Бесплатно | Apache 2.0 |
| Text Generation WebUI | Присоедините LoRA и протестируйте на месте | Windows, macOS, Linux | Полное приложение | Бесплатно | AGPLv3 |
| PEFT | Библиотека для вашего собственного цикла обучения | Windows, macOS, Linux | Полное приложение | Бесплатно | Apache 2.0 |
| H2O LLM Studio | Корпоративный UI с отслеживанием экспериментов | Windows, Linux | Бесплатно (open source) | Поддержка Enterprise | Apache 2.0 |
| MLX-LM | Родная fine-tuning на Apple Silicon | macOS | Полное приложение | Бесплатно | MIT |
Приложения
1. Unsloth, лучший быстрейший LoRA на 12–24 ГБ
Unsloth переписывает критические пути обучения Llama, Mistral, Qwen, Gemma и Phi, чтобы быть примерно в два-пять раз быстрее и использовать примерно половину памяти стандартного Transformers. 7B LoRA подходит на один 12 ГБ GPU и завершается на скромном наборе данных за один день. Новое десктопное приложение убирает последний CLI шаг для частых рецептов.
Где это отстаёт: охват смещен в сторону наиболее популярных семейств моделей; необычные архитектуры нуждаются в пути upstream Transformers.
Ценообразование:
- Бесплатно: полный фреймворк и десктопное приложение.
- Платно: Pro tier для поддержки enterprise и более быстрых multi-GPU ядер.
Платформы: Windows (через WSL2), Linux.
Загрузить: unsloth.ai · GitHub
Вывод: Выбор по умолчанию в 2026 году для LoRA обучения на одной потребительской карте.
2. Axolotl, лучший power user конфиг-файлов
Axolotl — это управляемый конфигурацией фреймворк для обучения, построенный вокруг Hugging Face. Один YAML файл описывает модель, набор данных, ранг LoRA и аргументы обучения, а Axolotl обрабатывает остальное. Он поддерживает меньше оптимизаций скорости, чем Unsloth, но выигрывает на гибкости с менее распространёнными моделями и форматами наборов данных.
Где это отстаёт: нет GUI; конфиг имеет кривую обучения; документация предполагает, что вы что-то уже обучали.
Ценообразование:
- Бесплатно: полное приложение.
- Платно: неприменимо.
Платформы: Linux (Docker на macOS/Windows).
Загрузить: GitHub (axolotl-ai-cloud/axolotl)
Вывод: Правильный выбор, когда Unsloth не имеет вашу модель и вы всё ещё хотите здравый pipeline.
3. LLaMA-Factory, лучший GUI-ориентированный trainer
LLaMA-Factory поставляется с GUI на базе Gradio поверх обширного набора инструментов обучения. Выберите модель, загрузите набор данных, установите ранг LoRA и learning rate, и начните. Он охватывает 100+ семейств моделей из коробки и его графики делают настройку гиперпараметров доступной.
Где это отстаёт: GUI скрывает некоторые из более сложных выборов; в пограничных случаях VRAM это требует CLI в любом случае.
Ценообразование:
- Бесплатно: полное приложение.
- Платно: неприменимо.
Платформы: Windows, Linux.
Загрузить: GitHub (hiyouga/LLaMA-Factory)
Вывод: Лучшая точка входа, ориентированная на GUI, для кого-то нового в обучении LoRA.
4. Text Generation WebUI, лучший для присоединения и тестирования LoRA
Text Generation WebUI (“oobabooga”) — это UI для локального LLM chat, который большинство энтузиастов уже запускают. Его Training tab делает LoRA обучение на месте, и когда запуск завершается, вы можете включить адаптер и поговорить с моделью, чтобы проверить результат сразу.
Где это отстаёт: не самый быстрый trainer в этом списке; вкладка обучения — хороший инструмент “соедини точки”, а не production pipeline.
Ценообразование:
- Бесплатно: полное приложение.
- Платно: неприменимо.
Платформы: Windows, macOS, Linux.
Загрузить: GitHub (oobabooga/text-generation-webui)
Вывод: Инструмент с наименьшим трением для проверки того, меняет ли fine-tuning ваших данных что-либо важное.
5. PEFT, лучшая библиотека для вашего собственного цикла обучения
PEFT — это библиотека Hugging Face Parameter-Efficient Fine-Tuning. Это набор строительных блоков Python, LoRA, IA3, prefix tuning, которые вы вбрасываете в Trainer. Если вы хотите управлять циклом, это уровень, на котором вы работаете.
Где это отстаёт: нет UI; каждый эксперимент — это скрипт; вы ответственны за удобство.
Ценообразование:
- Бесплатно: полное приложение.
- Платно: неприменимо.
Платформы: Windows, macOS, Linux.
Загрузить: GitHub (huggingface/peft)
Вывод: Правильный уровень абстракции для исследователя или серьёзного любителя, который хочет полный контроль.
6. H2O LLM Studio, лучший корпоративно-ориентированный trainer
H2O LLM Studio заворачивает те же открытые фреймворки в чистый React UI, добавляет отслеживание экспериментов и интегрируется чисто с облачными инструментами H2O, когда запуск перерастает один GPU. На рабочей станции с 4090 это удобно.
Где это отстаёт: UI — более тяжелая установка, чем любой другой выбор здесь; опinionated defaults могут скрыть базовые ручки.
Ценообразование:
- Бесплатно: полное приложение open-source.
- Платно: поддержка Enterprise.
Платформы: Windows, Linux.
Загрузить: GitHub (h2oai/h2o-llmstudio)
Вывод: Выбор, когда эксперименты переходят в команду, а не на один ноутбук.
7. MLX-LM, лучший native fine-tuning на Apple Silicon
MLX-LM — это Apple-native LM фреймворк, построенный на MLX. На Mac Studio или базовом M2 Pro с 32 ГБ unified memory, LoRA fine-tuning на 7B и 13B моделях — это теперь поддерживаемый путь, и модель памяти фреймворка использует общее выделение GPU/CPU, чтобы подходили модели, которые CUDA никогда не мог бы уместить.
Где это отстаёт: только macOS; каталог моделей меньше, чем у CUDA; менее зрелый, чем инструменты на основе PyTorch.
Ценообразование:
- Бесплатно: полное приложение.
- Платно: неприменимо.
Платформы: macOS (Apple Silicon).
Загрузить: GitHub (ml-explore/mlx-lm)
Вывод: Правильный выбор на современном Mac, неправильный выбор где-либо еще.
Как выбрать правильный
Если у вас есть один 12 ГБ или 24 ГБ потребительский GPU и вы хотите скорость, установите Unsloth и запустите одну из его notebooks. Ничто другое в этом списке не добирается до рабочего адаптера быстрее.
Если ваша модель или формат набора данных находятся вне быстрого пути Unsloth, выберите Axolotl для его управляемой конфигурацией гибкости.
Если вы никогда ничего не обучали, LLaMA-Factory поставляет GUI на те же инструменты и сокращает дебаты “какой learning rate”.
Если вы уже запускаете Text Generation WebUI, используйте его Training tab. Не добавляйте другой инструмент для одноразового запуска.
Для контроля над циклом обучения, PEFT — правильная библиотека. Ожидайте написания Python.
Если эксперименты нуждаются в проверке другими людьми, H2O LLM Studio поставляет этот UI в open-source tier.
MLX-LM — правильный выбор на Apple Silicon и только там.
FAQ
Мне нужен 24 ГБ GPU для fine-tune 7B модели?
Нет. Unsloth и QLoRA подходят 7B LoRA на 8–12 ГБ. 24 ГБ получает вам 13B удобно.
Могу ли я fine-tune на CPU?
Технически да, в том смысле, что вы технически можете пересечь океан на гребной лодке. Используйте GPU или Apple Silicon.
Улучшит ли fine-tuning моей локальной модели её эффективность для моей работы?
Для следования инструкциям и словаря домена, да. Для серьёзного улучшения рассуждений, в основном нет; потолок базовой модели — это потолок.
Насколько большим должен быть мой набор данных?
Для focused на задачу LoRA, 500–5,000 высококачественных примеров бьют 100,000 посредственных. Курируйте беспощадно.
Могу ли я поделиться адаптером LoRA, который я обучил?
Да; адаптеры маленькие. Проверьте лицензию базовой модели сначала, большинство вариантов Llama и Mistral permissive, но не идентичны.