Запустить Gemma 4 на ноутбуке с 16 ГБ памяти можно в выходной день. А вот разобраться с производительностью — это более длительный разговор. Если вы уже в третий раз переходите между Ollama, LM Studio и llama.cpp и всё ещё не можете ответить на вопрос “какая квантизация действительно лучше для моего оборудования”, одно из этих семи приложений для локального тестирования LLM вас спасёт.
Мы выбрали приложения, которые выдают воспроизводимые результаты на десктопе для однопользовательской установки локального LLM. Тесты скорости (токены в секунду на вашем оборудовании) идут рядом с тестами качества (точность на открытых наборах данных), чтобы вы могли выбрать инструмент, соответствующий вашим задачам.
На что обращать внимание при выборе приложения для бенчмаркинга локальных LLM
- Что вы действительно измеряете. Пропускная способность, задержка, объём VRAM, качество на известном наборе данных и качество по отдельным задачам на вашем датасете — это пять разных вопросов.
- Локальный запуск. Инструмент должен работать с моделью там, где она находится. Это значит Ollama, llama.cpp, OpenAI-совместимый сервер LM Studio или прямой Python-вызов.
- Известный датасет. MMLU, TruthfulQA, HellaSwag и IFEval — это часто встречаемые названия. Если их нет в инструменте, это не бенчмарк.
- Воспроизводимый результат. JSON или CSV отчёт с хешем модели и конфигурации, а не просто скриншот.
- Видимость затрат. Даже “локальный” запуск имеет стоимость по времени. Инструменты, показывающие время до первого токена и устойчивую пропускную способность, делают компромиссы очевидными.
Быстрое сравнение
| Приложение | Лучше всего для | Платформы | Бесплатно | Особенность |
|---|---|---|---|---|
| lm-evaluation-harness | Воспроизведение опубликованных оценок качества | Windows, macOS, Linux | Бесплатно, открытый исходный код | Эталонная реализация MMLU, IFEval и др. |
| llama-bench | Сырая пропускная способность и задержка | Windows, macOS, Linux | Бесплатно | Поставляется с llama.cpp, нативная поддержка GGUF |
| MLPerf Client | Независимый от производителя бенчмарк оборудования | Windows | Бесплатно | AMD, Intel, Nvidia все его используют |
| DeepEval | Ваш датасет, ваши метрики | Windows, macOS, Linux | Бесплатный уровень | Синтаксис в стиле pytest, LLM-в-роли судьи |
| Promptfoo | Сравнительная оценка между моделями | Windows, macOS, Linux | Бесплатно, открытый исходный код | Боковые различия вывода в браузере |
| HELM | Комплексный академический бенчмарк | Windows, macOS, Linux | Бесплатно, открытый исходный код | Эталон для сравнения между моделями |
| OpenAI Evals | Тестовые случаи на уровне промпта | Windows, macOS, Linux | Бесплатно, открытый исходный код | Простое авторство, огромный каталог сообщества |
Приложения
1. lm-evaluation-harness — Лучше всего для воспроизведения известных бенчмарков
lm-evaluation-harness от EleutherAI — это эталонная реализация, используемая большинством релизов моделей для публикации результатов MMLU, IFEval, HellaSwag, ARC, TruthfulQA и множества других. Укажите её на локальную модель и воспроизведите те же числа, что упоминаются в статье.
Недостатки: Скачивание датасетов требует много места. Первоначальная установка на ноутбуке требует десятков гигабайт кэша.
Цены:
- Бесплатно: Полная библиотека открытого исходного кода
- Платно: Нет
Платформы: Windows, macOS, Linux (Python)
Загрузить: GitHub
Итог: Выбор, когда цель — “воспроизвести оценку из статьи на моём оборудовании”.
2. llama-bench — Лучше всего для тестирования пропускной способности и задержки
llama-bench входит в репозиторий llama.cpp и измеряет сырую скорость в токенах в секунду для разных GGUF квантизаций, длин промпта и конфигураций бэкенда. Он отвечает на вопрос “будет ли Q5_K_M действительно быстрее, чем Q4_K_S на этом процессоре” без лишних оберток.
Недостатки: Только скорость. Ничего не говорит о качестве вывода.
Цены:
- Бесплатно: Поставляется с llama.cpp
- Платно: Нет
Платформы: Windows, macOS, Linux
Загрузить: GitHub
Итог: Выбор, когда вам нужны цифры пропускной способности для сравнения модели на вашей машине.
3. MLPerf Client — Лучше всего для независимого от производителя тестирования оборудования
MLPerf Client — это бенчмарк MLCommons, который AMD, Intel и Nvidia все цитируют при оценке производительности LLM на оборудовании конечного пользователя. Цифры непосредственно сравнимы между производителями, потому что все запускают один и тот же набор тестов.
Недостатки: Сначала Windows. Список моделей фиксирован и отобран, так что это не универсальный инструмент для бенчмаркинга.
Цены:
- Бесплатно: Полный набор
- Платно: Нет
Платформы: Windows
Загрузить: mlcommons.org
Итог: Выбор для сравнения ноутбука Ryzen AI с Core Ultra без споров о методологии.
4. DeepEval — Лучше всего для вашего собственного датасета
DeepEval — это фреймворк Python, который превращает оценку в тестовые случаи в стиле pytest. Метрики включают оценку с LLM-в-роли судьи, обнаружение галлюцинаций, контекстную точность и релевантность ответа, и каждый тест может запускаться против локальной модели.
Недостатки: Некоторые продвинутые метрики обращаются к хостёным моделям по умолчанию. Изучение конфигурации, чтобы указать им локального судью, потребует вечера работы.
Цены:
- Бесплатно: Полная библиотека открытого исходного кода
- Платно: Управляемый уровень наблюдаемости
Платформы: Windows, macOS, Linux
Загрузить: GitHub
Итог: Выбор, когда бенчмарк, который вы хотите запустить, пишете вы сами.
5. Promptfoo — Лучше всего для бокового сравнения
Promptfoo запускает одинаковые промпты для нескольких моделей и выдаёт просмотр различий на основе браузера. Он также работает как инструмент red-teaming, но для рабочего процесса бенчмаркинга просмотр сравнения — это причина его установить.
Недостатки: Просмотр сравнения сильнее, чем просмотр сырых метрик. Используйте его вместе с lm-evaluation-harness или DeepEval для справочных оценок.
Цены:
- Бесплатно: Полный открытый исходный код CLI
- Платно: Управляемый уровень для команды
Платформы: Windows, macOS, Linux (Node.js)
Загрузить: promptfoo.dev
Итог: Выбор, когда вопрос звучит так: “модель A или модель B лучше отвечает на мои десять промптов”.
6. HELM — Лучше всего как академический эталон
HELM, от CRFM Стэнфорда, — это проект “Holistic Evaluation of Language Models”. Он публикует авторитетный кросс-модельный рейтинг, используя широкий спектр сценариев бенчмаркинга, и тот же код запускается локально для вашей собственной модели.
Недостатки: Тяжёлый. Полные прогоны HELM занимают часы на рабочей станции. Это не инструмент для ноутбука для быстрой проверки.
Цены:
- Бесплатно: Полный открытый исходный код проекта
- Платно: Нет
Платформы: Windows, macOS, Linux
Загрузить: GitHub
Итог: Выбор, когда числа должны быть защитимыми в статье или техническом отчёте.
7. OpenAI Evals — Лучше всего для тестовых случаев, написанных сообществом
OpenAI Evals — это фреймворк для написания тестовых случаев на уровне промпта (каталог сообщества включает математику, логические головоломки, код и рассуждения) и запуска их против любой модели за OpenAI-совместимой конечной точкой.
Недостатки: Качество каталога варьируется. Одни оценки сильнее других.
Цены:
- Бесплатно: Открытый исходный код фреймворка
- Платно: Нет
Платформы: Windows, macOS, Linux
Загрузить: GitHub
Итог: Выбор, когда самый быстрый способ протестировать модель — взять оценку из сообщества, указать вашу локальную конечную точку и прочитать результаты.
Как выбрать правильный
Если вы хотите воспроизвести опубликованные оценки качества: lm-evaluation-harness. Выделите место на диске и заварите кофе.
Если вы хотите сравнить пропускную способность на вашем оборудовании: llama-bench. Это самый быстрый способ ответить на вопрос о сравнении квантизаций.
Если вы сравниваете ноутбуки или GPU: MLPerf Client. Независимо от производителя, одно к одному.
Если ваш бенчмарк — ваш собственный датасет: DeepEval. Тесты в стиле pytest для LLM.
Если цель — боковой просмотр двух моделей на ваших промптах: Promptfoo.
Если числам нужна академическая кредибельность: HELM. Примите длительный прогон.
Если тестов сообщества достаточно: OpenAI Evals. Возьмите директорию, укажите на вашу модель, запустите.
Часто задаваемые вопросы
Какой локальный LLM бенчмарк лучше всего в целом? lm-evaluation-harness для воспроизведения качества. llama-bench для скорости на вашем оборудовании.
Могу ли я провести бенчмарк модели, работающей в Ollama или LM Studio? Да. Каждый инструмент в этом списке поддерживает OpenAI-совместимую конечную точку, и Ollama, LM Studio и Jan все её предоставляют.
Что такое MMLU и почему все его цитируют? MMLU — это множественный выбор из бенчмарка по многим академическим предметам. Его цитируют, потому что большинство моделей публикуют свой результат и сравнения легко делать.
Приложение для бенчмаркинга — это то же самое, что приложение для red-teaming? Нет. Бенчмаркинг измеряет возможность и скорость. Red teaming проверяет безопасность. Promptfoo может делать и то, и другое; lm-evaluation-harness только первое.
Нужен ли мне GPU для запуска этих бенчмарков? Нет. lm-evaluation-harness и llama-bench работают на процессоре. Тесты скорости — это те, где GPU делает наиболее видимую разницу.
Все ли эти инструменты бесплатны? Каждый инструмент в этом списке имеет бесплатный уровень. Только DeepEval и Promptfoo продают управляемую наблюдаемость поверх.
