Все репозитории

RAG и векторные БДdocling-project

docling

Библиотека от IBM для разбора документов: PDF, Office, HTML и картинки превращаются в единую структуру, из которой легко получить Markdown. Поддерживает визуальные модели для сложных страниц.

Кому подойдёт

Python-разработчикам, которые готовят документы для RAG и хотят сохранить структуру.

Как начать

  1. Установи: pip install docling.
  2. Конвертируй документ из терминала: docling https://arxiv.org/pdf/2206.01062.
  3. В коде используй DocumentConverter().convert(source) — так рекомендует README.

Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.

Звёзды за последние 30 дней

+2 4726 сент. — 5 окт.
65 92068 392

Описание автора

Get your documents ready for gen AI

microsoft

markitdown

Растёт быстрее всех

Небольшая утилита от Microsoft: превращает PDF, Word, PowerPoint, Excel и другие файлы в Markdown, который удобно отдавать языковой модели.

189 тыс.звёзд+11 тыс. за 30 дн.Python

firecrawl

firecrawl

Растёт быстрее всех

Сервис, который превращает любой сайт в чистый Markdown или структурированные данные для моделей. Умеет искать, скрейпить, обходить сайт целиком и даже кликать по странице.

189 тыс.звёзд+12 тыс. за 30 дн.TypeScript

infiniflow

ragflow

Готовый RAG-движок с интерфейсом: разбирает документы по шаблонам, режет на фрагменты, ищет с цитатами и умеет агентный поиск. Разворачивается через Docker.

92 тыс.звёзд+1,8 тыс. за 30 дн.Go

unclecode

crawl4ai

Открытый краулер на Python: заходит на страницы настоящим браузером и отдаёт чистый Markdown для LLM. Работает локально, в Docker или как облачный сервис.

85 тыс.звёзд+3,2 тыс. за 30 дн.Python

opendatalab

MinerU

Разбирает сложные PDF, сканы и офисные файлы в Markdown или JSON, сохраняя таблицы и формулы. Есть CLI, Python SDK и навык для агентов.

81 тыс.звёзд+2 тыс. за 30 дн.Python

Mintplex-Labs

anything-llm

Готовое приложение «чат с вашими документами»: подключаешь любую модель и векторную базу, загружаешь файлы и общаешься. Есть десктопная версия и Docker, есть агенты.

67 тыс.звёзд+1,4 тыс. за 30 дн.JavaScript