Все репозитории

Безопасностьmicrosoft

PyRIT

Фреймворк Microsoft для проактивного поиска рисков в генеративных системах. Помогает автоматизировать красную команду против моделей и приложений.

Кому подойдёт

Специалистам по безопасности и инженерам, которые тестируют ИИ-системы на устойчивость к атакам.

Как начать

  1. Открой сайт документации microsoft.github.io/PyRIT
  2. Следуй там инструкции по установке
  3. Пройди примеры атак и повтори их на своей системе

Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.

Звёзды за последние 30 дней

+1746 сент. — 5 окт.
4 4024 576

Описание автора

The Python Risk Identification Tool for generative AI (PyRIT) is an open source framework built to empower security professionals and engineers to proactively identify risks in generative AI systems.

data-privacy-stack

presidio

Фреймворк для поиска и скрытия персональных данных в тексте, изображениях и таблицах. Находит их, затем маскирует или заменяет, чтобы данные можно было безопасно отдавать модели.

11 тыс.звёзд+430 за 30 дн.Python

NVIDIA

garak

Сканер уязвимостей для LLM: прогоняет модель через набор проб на prompt injection, утечки данных, токсичность и другие сбои. Работает как консольная утилита.

9,4 тыс.звёзд+325 за 30 дн.Python

guardrails-ai

guardrails

Python-фреймворк, который проверяет входы и выходы LLM готовыми валидаторами из Guardrails Hub и помогает получать структурированные ответы. Ловит риски до того, как ответ дойдёт до пользователя.

7,5 тыс.звёзд+137 за 30 дн.Python

NVIDIA-NeMo

Guardrails

Набор инструментов NVIDIA для программируемых ограничений в диалоговых системах на LLM. Правила задаются в конфигурации и управляют тем, о чём бот говорит и что делает.

7,2 тыс.звёзд+183 за 30 дн.Python

meta-llama

PurpleLlama

Проект Meta по безопасности генеративного ИИ: модели-фильтры Llama Guard и Prompt Guard, сканер Code Shield и набор тестов CyberSec Eval. Объединяет защиту и проверку атакой.

4,4 тыс.звёзд+45 за 30 дн.Python

Сканер безопасности для ИИ-агентов, MCP-серверов и навыков. Проверяет конфигурации и файлы SKILL.md на опасные места.

3,1 тыс.звёзд+112 за 30 дн.Python