Все репозитории

Безопасностьmeta-llama

PurpleLlama

Проект Meta по безопасности генеративного ИИ: модели-фильтры Llama Guard и Prompt Guard, сканер Code Shield и набор тестов CyberSec Eval. Объединяет защиту и проверку атакой.

Кому подойдёт

Тем, кто хочет фильтровать входы и выходы модели и оценивать её кибербезопасность.

Как начать

  1. Прочитай раздел System-Level Safeguards и выбери компонент: Llama Guard, Prompt Guard или Code Shield
  2. Возьми инструкции по запуску защитных моделей в репозитории Llama-recipes (ссылка в разделе Getting Started)
  3. Изучи тесты CyberSec Eval, чтобы оценить риски своей модели

Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.

Звёзды за последние 30 дней

+456 сент. — 6 окт.
4 3764 421

Описание автора

Set of tools to assess and improve LLM security.

data-privacy-stack

presidio

Фреймворк для поиска и скрытия персональных данных в тексте, изображениях и таблицах. Находит их, затем маскирует или заменяет, чтобы данные можно было безопасно отдавать модели.

11 тыс.звёзд+430 за 30 дн.Python

NVIDIA

garak

Сканер уязвимостей для LLM: прогоняет модель через набор проб на prompt injection, утечки данных, токсичность и другие сбои. Работает как консольная утилита.

9,4 тыс.звёзд+325 за 30 дн.Python

guardrails-ai

guardrails

Python-фреймворк, который проверяет входы и выходы LLM готовыми валидаторами из Guardrails Hub и помогает получать структурированные ответы. Ловит риски до того, как ответ дойдёт до пользователя.

7,5 тыс.звёзд+137 за 30 дн.Python

NVIDIA-NeMo

Guardrails

Набор инструментов NVIDIA для программируемых ограничений в диалоговых системах на LLM. Правила задаются в конфигурации и управляют тем, о чём бот говорит и что делает.

7,2 тыс.звёзд+183 за 30 дн.Python

microsoft

PyRIT

Фреймворк Microsoft для проактивного поиска рисков в генеративных системах. Помогает автоматизировать красную команду против моделей и приложений.

4,6 тыс.звёзд+174 за 30 дн.Python

Сканер безопасности для ИИ-агентов, MCP-серверов и навыков. Проверяет конфигурации и файлы SKILL.md на опасные места.

3,1 тыс.звёзд+112 за 30 дн.Python