Каталог / firecrawl / firecrawl-crawl
firecrawl-crawl
firecrawl/cli
93
установок
#77
в рейтинге
Что делает
Bulk-извлечение контента с целых вебсайтов или их разделов с фильтрацией глубины и путей.
- Краулит страницы по ссылкам до настраиваемых лимитов глубины и количества страниц, с фильтрами включения/исключения путей для ограничения scope
- Поддерживает async job polling или synchronous waiting с отображением прогресса через флаги --wait и --progress
- Предоставляет контроль concurrency, delays между запросами и JSON formatting для интеграции в воркфлоу агентов
- Часть четырёхступенчатой эскалации: search → scrape → map → crawl, используется когда односраничного извлечения недостаточно
Установка
$ npx skills add firecrawl/cli