| Created | June 6, 2026 |
| Updated | June 26, 2026 |
| Confidence | 80% |
| url | https://crawl4ai.com |
| why_us | Core open-source краулер для LLM: чистый Markdown из любых страниц, async batch crawling, structured extraction — 61k+ ★. Закрывает ветку «Контент-разведка» (агент автоматически собирает web-источники для KB) и «Контекст для агентов» (RAG-пайплайн без vendor lock-in). |
| has_api | true |
| has_mcp | true |
| why_gxg | GxG агенты (Hermes, Mastra) нуждаются в web data. Crawl4AI = бесплатная open-source замена дорогих scraping API для кастомного data collection. |
| category | data-scraping |
| curated_at | 2026-06-26 |
| curated_by | kb-curator |
| curation_run | 2026-06-26-tools-batch6 |
| main_use_case | Open-source веб-краулер для LLM/AI: извлекает чистый markdown из веб-страниц, async batch crawling, structured extraction, 61k+ GitHub ★. |
| pricing_model | free |
| relevance_tier | core |
