Все репозитории

awesome-llm-security

Подборка инструментов, статей и проектов по безопасности LLM: атаки белого и чёрного ящика, бэкдоры, защита, безопасность платформ. Удобная отправная точка для обзора области.

Кому подойдёт

Тем, кто изучает безопасность LLM и ищет статьи и инструменты по темам.

Как начать

  1. Открой оглавление README и выбери тему, например Defense или Platform Security
  2. Начни с раздела Survey, чтобы получить общую картину
  3. Переходи по ссылкам на статьи и инструменты по теме

Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.

Звёзды за последние 30 дней

+924 окт. — 17 нояб.
1 7131 722

Описание автора

A curation of awesome tools, documents and projects about LLM Security.

data-privacy-stack

presidio

Фреймворк для поиска и скрытия персональных данных в тексте, изображениях и таблицах. Находит их, затем маскирует или заменяет, чтобы данные можно было безопасно отдавать модели.

12 тыс.звёзд+423 за 28 дн.Python

NVIDIA

garak

Сканер уязвимостей для LLM: прогоняет модель через набор проб на prompt injection, утечки данных, токсичность и другие сбои. Работает как консольная утилита.

10 тыс.звёзд+365 за 27 дн.Python

guardrails-ai

guardrails

Python-фреймворк, который проверяет входы и выходы LLM готовыми валидаторами из Guardrails Hub и помогает получать структурированные ответы. Ловит риски до того, как ответ дойдёт до пользователя.

7,6 тыс.звёзд+61 за 28 дн.Python

NVIDIA-NeMo

Guardrails

Набор инструментов NVIDIA для программируемых ограничений в диалоговых системах на LLM. Правила задаются в конфигурации и управляют тем, о чём бот говорит и что делает.

7,5 тыс.звёзд+154 за 28 дн.Python

microsoft

PyRIT

Фреймворк Microsoft для проактивного поиска рисков в генеративных системах. Помогает автоматизировать красную команду против моделей и приложений.

4,9 тыс.звёзд+213 за 27 дн.Python

meta-llama

PurpleLlama

Проект Meta по безопасности генеративного ИИ: модели-фильтры Llama Guard и Prompt Guard, сканер Code Shield и набор тестов CyberSec Eval. Объединяет защиту и проверку атакой.

4,5 тыс.звёзд+39 за 28 дн.Python
corca-ai/awesome-llm-security — что это и как начать