Недавняя публикация на Softonic обратила внимание на проблему безопасности ИИ: исследовательская группа показала, что автономные агенты, позиционируемые как защитники, сами могут быть обмануты для запуска атак. Поверхность атаки — это инъекция подсказок, а целью является любая система, которая позволяет выходным данным модели принимать решения по поводу инструментов, файлов или сети. Лучшие приложения для защиты от инъекций подсказок на рабочем столе обрабатывают эту поверхность как приоритетную: они позволяют нам проводить красное тестирование собственных подсказок, фильтровать ненадежные входные данные до их поступления в модель и защищать вызовы инструментов в момент их отправления агентом.
Мы протестировали семь приложений и библиотек на Windows, macOS и Linux для защиты от инъекций подсказок в 2026 году. Некоторые — это наборы для тестирования (красное тестирование наших подсказок от известных полезных нагрузок инъекций), некоторые — это ограничения времени выполнения (фильтрация входных и выходных данных во время запроса), некоторые — это механизмы политик (разрешение или запрет вызовов инструментов). Выбирайте в зависимости от того, где в конвейере LLM должна находиться защита.
На что обращать внимание при выборе приложения для защиты от инъекций подсказок
Защита от инъекций подсказок более многоуровневая, чем фильтр спама. Приложения, которые справляются с этим хорошо, имеют несколько общих свойств:
- Покрытие как минимум OWASP LLM Top 10, включая прямые и косвенные инъекции подсказок, небезопасную обработку выходных данных и отравление данных обучения.
- Поддержка как тестирования (автономное красное тестирование), так и принудительного исполнения во время выполнения (встроенные ограничения). Ни один из них в отдельности недостаточен.
- Независимость от модели. Защита, которая работает только против моделей OpenAI, не помогает командам, использующим Claude, Gemini или моделей с открытым исходным кодом.
- Возможность фильтровать вызовы инструментов, а не только текст. Ограничение, которое пропускает «пожалуйста, выполните эту команду оболочки», бесполезно.
- Открытые, проверяемые наборы правил. Закрытый классификатор, который мы не можем проверить, — это чёрный ящик в цепи, которую нам нужно было сделать менее чёрной.
- Достаточная скорость для реального трафика. Ограничение за 500 мс на запрос за 300 мс — это не вариант для интерактивных приложений.
Быстрое сравнение
| Приложение | Лучше всего для | Платформы | Бесплатный план | Начальная цена/месяц | Рейтинг |
|---|---|---|---|---|---|
| Promptfoo | Оценка подсказок и красное тестирование через CLI | Windows, macOS, Linux | Полностью бесплатно, открытый исходный код | Поддержка Enterprise | Топ-уровень GitHub |
| Garak | Сканер уязвимостей LLM от NVIDIA | Windows, macOS, Linux | Полностью бесплатно, открытый исходный код | Бесплатно | Поддержано NVIDIA |
| Rebuff | Многоуровневый детектор инъекций подсказок | Windows, macOS, Linux | Полностью бесплатно, открытый исходный код | Бесплатно | Сообщество |
| Lakera Guard | Управляемое ограничение с классификатором инъекций подсказок | API + SDKs | Бесплатный уровень | Скромная годовая подписка | 4.7 / 5 |
| NeMo Guardrails | Программируемые ограничения DSL от NVIDIA | Windows, macOS, Linux | Полностью бесплатно, открытый исходный код | Бесплатно | Поддержано NVIDIA |
| PyRIT | Инструмент идентификации рисков Python от Microsoft | Windows, macOS, Linux | Полностью бесплатно, открытый исходный код | Бесплатно | Поддержано Microsoft |
| LLM Guard | Открытый сканер входных и выходных данных | Windows, macOS, Linux | Полностью бесплатно, открытый исходный код | Поддержка Enterprise | Проект Protect AI |
Конечная точка модерации OpenAI включена в руководство выбора в качестве справки для команд, уже работающих со стеком OpenAI.
Приложения
1. Promptfoo
Promptfoo — это выбор для команды, ориентированной на код и желающей проводить красное тестирование подсказок как часть CI. CLI пропускает подсказку через сотни враждебных полезных нагрузок, оценивает выходные данные в соответствии с утверждениями, которые мы пишем, и сообщает, какая категория атаки (jailbreak, инъекция, утечка PII, утечка данных) сработала. В версиях 2026 года добавлена предустановка OWASP LLM Top 10, которая превращает «запустить каждую известную вредоносную полезную нагрузку один раз ночью» в одноразовую работу.
Где это не работает: это инструмент тестирования. Promptfoo не находится в пути запроса во время выполнения; он говорит нам в CI, какие подсказки нарушаются. Объедините с ограничением во время выполнения.
Цены:
- Бесплатно: полностью бесплатно, открытый исходный код
- Платно: уровень поддержки enterprise
Платформы: Windows, macOS, Linux, Docker
Скачать: Promptfoo
Суть: разумная отправная точка для команды, которая хочет красное тестирование подсказок в CI.
2. Garak
Garak — это сканер уязвимостей LLM от NVIDIA, и его область охвата шире, чем у Promptfoo. Он запускает таксономию зондов (goodside, dan, promptinject, encoding, malwaregen, xss) против модели и сообщает, какие зонды прошли успешно. Для всех, кто тестирует самостоятельно размещенную модель с открытым исходным кодом против набора известных атак, это справочный инструмент в 2026 году.
Где это не работает: сканирование занимает довольно много времени. Некоторые зонды более шумные, чем другие, и требуют настройки в соответствии с нашей моделью угроз.
Цены:
- Бесплатно: полностью бесплатно, открытый исходный код
- Платно: нет платного уровня
Платформы: Windows, macOS, Linux
Скачать: Garak
Суть: выбор для укрепления самостоятельно размещенной модели против всех известных категорий атак.
3. Rebuff
Rebuff — это многоуровневый детектор инъекций подсказок: эвристический фильтр, поиск в хранилище векторов против известных вредоносных полезных нагрузок, классификатор на основе LLM и детектор маячка-канарейки, который ловит, когда модели было сказано раскрыть секрет. Производительность во время выполнения достаточно быстрая для интерактивных приложений, и каждый уровень является необязательным, поэтому мы можем настроить tolerancia для ложных срабатываний.
Где это не работает: хранилище векторов нужно заполнить нашими собственными известными вредоносными полезными нагрузками, чтобы быть полезным; поставляемый набор охватывает распространённые инъекции, но не специфичные для домена атаки. Некоторые уровни зависят от вызова LLM, что добавляет задержку.
Цены:
- Бесплатно: полностью бесплатно, открытый исходный код
- Платно: нет платного уровня
Платформы: Python, TypeScript, работает везде, где работают Node или Python
Скачать: Rebuff
Суть: выбор для фильтрации инъекций подсказок во время выполнения с зрелым многоуровневым дизайном.
4. Lakera Guard
Lakera Guard — это управляемое ограничение от швейцарской команды, которая занимается защитой от инъекций подсказок с 2022 года. API находится перед вызовом модели, классифицирует пользовательский ввод и выходные данные модели для инъекций, утечек PII и нарушений политики, и возвращает решение за десятки миллисекунд. Playground на их сайте позволяет нам интерактивно тестировать полезные нагрузки против текущего классификатора.
Где это не работает: это размещённый API. Регулируемым командам необходимо проверить SKU для остаточности данных. Цена определяется за запрос, а не за место.
Цены:
- Бесплатно: бесплатный уровень для небольших рабочих нагрузок
- Платно: скромная годовая подписка для производственного трафика
Платформы: API + SDKs для Python, JavaScript и Ruby
Скачать: Lakera Guard
Суть: выбор для ограничения производственного API без необходимости поддерживать собственный классификатор.
5. NeMo Guardrails
NeMo Guardrails — это программируемый DSL ограничений от NVIDIA, и это наиболее гибкая библиотека принудительного исполнения во время выполнения с открытым исходным кодом в списке. Правила определяются в скрипте Colang, который говорит, какие темы разрешены, какие инструменты разрешены и каков ответ резервного варианта при сбое проверки. Поскольку DSL программируется, NeMo может четко выражать политики, которые классификатор не может — «помощник может вызвать инструмент SQL только когда пользователь аутентифицирован».
Где это не работает: Colang — это новый DSL и кривая обучения реальна. Очень простые ограничения легче писать с Rebuff или Lakera.
Цены:
- Бесплатно: полностью бесплатно, открытый исходный код
- Платно: NVIDIA AI Enterprise добавляет платную поддержку
Платформы: Python, работает везде, где работает Python
Скачать: NeMo Guardrails
Суть: выбор для команд, которым нужно выражение политики за пределами того, что может предложить классификатор.
6. PyRIT
PyRIT — это инструмент идентификации рисков Python для LLM от Microsoft, и это наиболее близкое к полному тулкиту наступательной безопасности для систем ИИ. Он запускает враждебные подсказки, отслеживает разговоры в несколько ходов и оценивает выходные данные модели в соответствии с пользовательскими оценщиками. Целевая аудитория фреймворка — красные команды и синие команды в крупных организациях; абстракции отражают это.
Где это не работает: фреймворк тяжелее простого скрипта тестирования на проникновение. Небольшие команды могут найти Promptfoo или Garak более доступными.
Цены:
- Бесплатно: полностью бесплатно, открытый исходный код
- Платно: нет платного уровня
Платформы: Windows, macOS, Linux
Скачать: PyRIT
Суть: выбор для красной команды, проводящей структурированные многоходовые атаки против систем на базе LLM.
7. LLM Guard
LLM Guard от Protect AI — это открытый сканер входных и выходных данных, сосредоточенный на предотвращении потери данных вместе с защитой от инъекций подсказок. Он поставляется со сканерами для PII, секретов, инъекций подсказок, смещений и токсичности, и запускает их во время выполнения как на входе пользователя, так и на выходе модели. Для команд, основная забота которых — «модель только что привела ключ API обратно пользователю», LLM Guard — это специалист.
Где это не работает: модель сканера входных-выходных данных добавляет задержку на каждый запрос. Настройка того, какие сканеры запускаются в каком порядке, имеет значение для производительности.
Цены:
- Бесплатно: полностью бесплатно, открытый исходный код
- Платно: уровень поддержки enterprise
Платформы: Python, работает везде, где работает Python
Скачать: LLM Guard
Суть: выбор, когда утечка PII и секретов — это столь же большая забота, как сама инъекция.
Как выбрать правильное приложение для защиты от инъекций подсказок
- Если мы хотим красное тестирование наших подсказок во время CI: Promptfoo.
- Если мы укрепляем самостоятельно размещенную модель с открытым исходным кодом: Garak.
- Если мы хотим фильтрацию во время выполнения с многоуровневым дизайном: Rebuff.
- Если мы хотим размещённое ограничение API: Lakera Guard.
- Если наша политика более сложная, чем может выразить классификатор: NeMo Guardrails.
- Если мы проводим структурированную красную команду: PyRIT.
- Если утечка PII и секретов — это основной риск: LLM Guard.
- Если мы уже работаем со стеком OpenAI: Конечная точка модерации OpenAI — это базовый уровень; уложите как минимум один из перечисленных выше сверху для покрытия, специфичного для инъекций.
Самый сильный стек 2026 года для небольшой команды — это Promptfoo в CI плюс Rebuff или Lakera Guard во время выполнения плюс запланированное сканирование Garak против производственной модели. Эта комбинация ловит известные вредоносные полезные нагрузки перед развёртыванием, фильтрует неизвестные во время запроса и повторно сканирует развёрнутую модель по расписанию.
Часто задаваемые вопросы
Что такое инъекция подсказок? Инъекция подсказок — это класс атак, в которых ненадежный ввод (сообщение пользователя, документ, скребковая страница) содержит инструкции, которые перенаправляют модель против её предполагаемой цели. Прямая инъекция — это когда пользователь вводит атаку. Косвенная инъекция — это когда модель читает атаку из документа или веб-страницы, которой ей было сказано суммировать. Обе находятся в OWASP LLM Top 10.
Может ли инъекция подсказок быть полностью предотвращена? Нет. Инъекция подсказок — это проблема, встроенная в языковую модель, и известной идеальной защиты нет. Многоуровневые защиты (красное тестирование во время тестирования, классификаторы во время выполнения, политики вызовов инструментов, маячки-канарейки, модерация выходных данных) снижают риск до уровня, приемлемого для конкретного развёртывания. Любой, кто претендует на предотвращение всех инъекций подсказок с одним инструментом, чрезмерно упрощает.
Какова лучшая защита от инъекций подсказок с открытым исходным кодом? Для фильтрации во время выполнения Rebuff и LLM Guard — это наиболее полные варианты с открытым исходным кодом. Для программируемой политики NeMo Guardrails. Для тестирования Promptfoo и Garak.
Ловит ли конечная точка модерации OpenAI инъекции подсказок? Частично. Конечная точка модерации предназначена для категорий контента (харассмент, самоповреждение, насилие) больше, чем для специфичной инъекции. Специализированный классификатор инъекций подсказок (Rebuff, Lakera Guard, LLM Guard) ловит атаки, которые Moderation пропускает.
Как я добавляю защиту от инъекций подсказок к агенту LangGraph или CrewAI? Оберните вызовы инструментов в шаг ограничения, который запускает LLM Guard или Rebuff на предполагаемом действии модели, и приостановите через interrupt LangGraph или ворота одобрения CrewAI, когда ограничение отмечает вызов. Promptfoo может запустить ту же цепь ограничений в CI против батареи враждебных полезных нагрузок.
Являются ли эти инструменты бесплатными для коммерческого использования? Promptfoo, Garak, Rebuff, NeMo Guardrails, PyRIT и LLM Guard имеют открытый исходный код с разрешающими лицензиями, которые позволяют коммерческое использование. Lakera Guard — это платный управляемый сервис с бесплатным уровнем для небольших рабочих нагрузок.