Все репозитории

crawl4ai

Открытый краулер на Python: заходит на страницы настоящим браузером и отдаёт чистый Markdown для LLM. Работает локально, в Docker или как облачный сервис.

Кому подойдёт

Python-разработчикам, которые собирают данные с сайтов для RAG и агентов.

Как начать

  1. Установи: pip install -U crawl4ai.
  2. Один раз поставь браузер: crawl4ai-setup, затем проверь: crawl4ai-doctor.
  3. Запусти AsyncWebCrawler().arun(url=...) из примера в README и выведи result.markdown.

Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.

Звёзды за последние 30 дней

+1 54122 окт. — 19 нояб.
86 00087 541

Описание автора

Official Crawl4AI Cloud: a hosted web scraping, extraction, and search API for AI agents. Free API key, 1,000 credits a month, no card. Fully open source: this repo is the Apache-2.0 crawler that powers it, and you can self-host it.

firecrawl

firecrawl

Растёт быстрее всех

Сервис, который превращает любой сайт в чистый Markdown или структурированные данные для моделей. Умеет искать, скрейпить, обходить сайт целиком и даже кликать по странице.

203 тыс.звёзд+9,3 тыс. за 30 дн.TypeScript

microsoft

markitdown

Растёт быстрее всех

Небольшая утилита от Microsoft: превращает PDF, Word, PowerPoint, Excel и другие файлы в Markdown, который удобно отдавать языковой модели.

197 тыс.звёзд+5,4 тыс. за 29 дн.Python

infiniflow

ragflow

Готовый RAG-движок с интерфейсом: разбирает документы по шаблонам, режет на фрагменты, ищет с цитатами и умеет агентный поиск. Разворачивается через Docker.

94 тыс.звёзд+1,8 тыс. за 30 дн.Go

opendatalab

MinerU

Разбирает сложные PDF, сканы и офисные файлы в Markdown или JSON, сохраняя таблицы и формулы. Есть CLI, Python SDK и навык для агентов.

84 тыс.звёзд+1,7 тыс. за 29 дн.Python

docling-project

docling

Библиотека от IBM для разбора документов: PDF, Office, HTML и картинки превращаются в единую структуру, из которой легко получить Markdown. Поддерживает визуальные модели для сложных страниц.

71 тыс.звёзд+1,1 тыс. за 27 дн.Python

Mintplex-Labs

anything-llm

Готовое приложение «чат с вашими документами»: подключаешь любую модель и векторную базу, загружаешь файлы и общаешься. Есть десктопная версия и Docker, есть агенты.

68 тыс.звёзд+998 за 30 дн.JavaScript