Фреймворк для поиска и скрытия персональных данных в тексте, изображениях и таблицах. Находит их, затем маскирует или заменяет, чтобы данные можно было безопасно отдавать модели.
Все репозитории
Безопасностьprotectai
modelscan
Сканер файлов моделей на атаки через сериализацию, например вредный код внутри pickle. Проверяет файл до того, как ты его загрузишь.
Кому подойдёт
Тем, кто скачивает чужие модели с хабов и не хочет запускать вредоносный код.
Как начать
- Установи:
pip install modelscan - Проверь файл модели:
modelscan -p /path/to/model_file.pkl - Прочитай отчёт и не загружай модель, если нашлись проблемы
Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.
Звёзды за последние 30 дней
+78 сент. — 28 сент.
Описание автора
Protection against Model Serialization Attacks
Ещё в категории «Безопасность»
Сканер уязвимостей для LLM: прогоняет модель через набор проб на prompt injection, утечки данных, токсичность и другие сбои. Работает как консольная утилита.
Python-фреймворк, который проверяет входы и выходы LLM готовыми валидаторами из Guardrails Hub и помогает получать структурированные ответы. Ловит риски до того, как ответ дойдёт до пользователя.
Набор инструментов NVIDIA для программируемых ограничений в диалоговых системах на LLM. Правила задаются в конфигурации и управляют тем, о чём бот говорит и что делает.
Фреймворк Microsoft для проактивного поиска рисков в генеративных системах. Помогает автоматизировать красную команду против моделей и приложений.
Проект Meta по безопасности генеративного ИИ: модели-фильтры Llama Guard и Prompt Guard, сканер Code Shield и набор тестов CyberSec Eval. Объединяет защиту и проверку атакой.