Фреймворк для поиска и скрытия персональных данных в тексте, изображениях и таблицах. Находит их, затем маскирует или заменяет, чтобы данные можно было безопасно отдавать модели.
Все репозитории
Безопасностьutkusen
promptmap
Автоматический сканер prompt injection для ваших LLM-приложений. Подставляет атакующие запросы и проверяет, поддалась ли модель.
Кому подойдёт
Тем, кто сделал своего бота и хочет проверить его на prompt injection.
Как начать
- Склонируй репозиторий:
git clone https://github.com/utkusen/promptmap.git - Поставь зависимости:
pip install -r requirements.txt - Запусти проверку:
python3 promptmap2.py --target-model gpt-3.5-turbo --target-model-type openai
Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.
Звёзды за последние 30 дней
+149 сент. — 1 окт.
Описание автора
a security scanner for custom LLM applications
Ещё в категории «Безопасность»
Сканер уязвимостей для LLM: прогоняет модель через набор проб на prompt injection, утечки данных, токсичность и другие сбои. Работает как консольная утилита.
Python-фреймворк, который проверяет входы и выходы LLM готовыми валидаторами из Guardrails Hub и помогает получать структурированные ответы. Ловит риски до того, как ответ дойдёт до пользователя.
Набор инструментов NVIDIA для программируемых ограничений в диалоговых системах на LLM. Правила задаются в конфигурации и управляют тем, о чём бот говорит и что делает.
Фреймворк Microsoft для проактивного поиска рисков в генеративных системах. Помогает автоматизировать красную команду против моделей и приложений.
Проект Meta по безопасности генеративного ИИ: модели-фильтры Llama Guard и Prompt Guard, сканер Code Shield и набор тестов CyberSec Eval. Объединяет защиту и проверку атакой.