适合谁
- 需要访问实时网页数据的AI开发者。
- 在Claude、Cursor或Windsurf中集成实时数据的用户。
- 需要结构化输出（HTML、Markdown、截图）的抓取任务。
- 需要异步大规模爬取并存储在云端的用户。
C
50FMRS · D
Crawlbase MCP Server为AI智能体提供实时网页数据抓取能力，集成简单，支持多种客户端，并具备异步存储功能。它适合需要新鲜数据的开发者，但注意依赖外部服务，且需配置Token。
Crawlbase MCP服务器是一个Model Context Protocol (MCP)服务器，连接AI智能体与实时网页。利用Crawlbase的爬取基础设施，使LLM能够获取新鲜、结构化的实时内容，深受超过70,000名开发者信赖。它处理了抓取的复杂性：JavaScript渲染、代理轮换与反爬绕过，以及结构化输出（HTML、Markdown、屏幕截图）。支持stdio和HTTP传输，并提供异步爬取和云存储功能。
工具能力
crawl
获取网页的原始HTML。
crawl_markdown
提取干净的Markdown格式内容。
crawl_screenshot
捕获网页截图。
crawl_async
异步将爬取结果推送到Crawlbase云存储，而非直接返回。
list_stored_pages
列出存储在Crawlbase云存储中的页面。
read_stored_page
从Crawlbase云存储中读取存储的页面内容。
delete_stored_page
从Crawlbase云存储中删除存储的页面。
安装接入
- 在Crawlbase网站注册获取免费Token。
- 根据客户端（Claude Desktop、Claude Code、Cursor、Windsurf）配置MCP服务器。
- 在客户端配置文件中添加服务器配置，替换
your_token_here和your_js_token_here。 - 对于HTTP模式，克隆仓库，运行
npm install，然后使用环境变量设置Token并运行npm run start:http。
claude_desktop_config.json
{"mcpServers":{"crawlbase":{"type":"stdio","command":"npx","args":["@crawlbase/mcp@latest"],"env":{"CRAWLBASE_TOKEN":"your_token_here","CRAWLBASE_JS_TOKEN":"your_js_token_here"}}}}
选型与风险
不适合谁
- 不需要实时数据且仅依赖训练数据的场景。
- 希望完全本地处理且不依赖外部API的用户。
- 需要复杂自定义爬虫逻辑（超出简单抓取功能的）用户。
- 不希望依赖第三方服务的严格合规环境。
所需权限
- 需要Crawlbase Token（普通和JavaScript）才能访问API。
- 网络访问权限：服务器需连接Crawlbase服务以执行抓取操作。
- 在HTTP模式下，可接收环境变量或请求头中的Token。
风险与副作用
- 依赖Crawlbase服务的可用性和API限制。
- 发送给抓取目标网站的流量可能被目标站屏蔽或违反其服务条款。
- 配置错误或Token无效可能导致请求失败。
- 免费Token可能有速率限制，影响大规模使用。
常见排障
- 检查Token是否正确设置，确保`CRAWLBASE_TOKEN`和`CRAWLBASE_JS_TOKEN`环境变量已配置。
- 验证客户端配置文件JSON格式是否正确。
- 对于HTTP模式，检查服务器端口是否可访问，`GET /health`返回正常响应。
- 如果爬取特定网站失败，可能是目标网站阻止了爬虫，尝试减少请求频率或检查目标网站robots.txt。
- 确保`npx`命令可用且网络能访问npm包。
使用场景
市场研究：从竞争对手、新闻和报告中获取实时数据。
电商监控：实时跟踪产品、评论和价格。
新闻与财经信息源：让AI智能体保持最新动态。
自主AI智能体：使其能够基于新鲜网页数据采取行动。
支持客户端
Claude Desktop完整支持
Claude Code完整支持
Cursor完整支持
Windsurf完整支持