← 返回目录

Crawlbase MCP Server

社区

将AI智能体与实时网络数据连接，支持JS渲染与反爬保护。

查看安装方法 ↓ 横向对比 GitHub 源仓库 ↗

分类: 其他第 150 / 230
Stars: ★ 60 热门
传输方式: stdio（本地进程） · Streamable HTTP
运行环境: Node.js
凭据: 需要 API Key / 凭据
最近提交: 6 个月前 ⚠
工具数: 7

50FMRS · D

Crawlbase MCP Server为AI智能体提供实时网页数据抓取能力，集成简单，支持多种客户端，并具备异步存储功能。它适合需要新鲜数据的开发者，但注意依赖外部服务，且需配置Token。

最强项 · 文档质量 12/20 最弱项 · 可靠性 8/20

可靠性

8/20

安全与权限

10/20

维护活跃度

10/20

文档质量

12/20

安装易用性

10/20

查看各项评分依据

可靠性 8/20: README描述了crawl、crawl_markdown、crawl_screenshot等工具，并提供了HTTP传输模式（包含POST /mcp和GET /health），这些是合理的功能声明。但仓库中未提供可验证的测试和CI工作流，静态审查无法确认实际行为与声明一致，因此可靠性得分偏低。
安全与权限 10/20: 通过环境变量或HTTP头传递令牌，README未包含真实令牌。服务器支持异步存储和删除操作，但未提及危险操作的确认机制。数据边界和外部网络使用情况已部分披露，但权限最小化原则不够清晰。
维护活跃度 10/20: 仓库非存档，无开放问题，但未提供许可证或安全响应渠道。README提到'Copyright 2026'，但未明确许可证。维护活跃度未知，但至少不是废弃状态。
文档质量 12/20: README包含安装配置示例（Claude、Cursor、Windsurf、HTTP模式）、工具列表、使用示例、异步存储说明，但缺少详细的工具参数、限制、成本和故障排除指南。
安装易用性 10/20: 提供了通过npx或npm start:http的安装步骤，以及多种客户端的配置示例。但未提供可验证的测试或CI证据，且依赖npm包可用性。

静态评测 · 未实际运行收录于 2026-08-07

查看 FMRS 评分方法 →

选型与风险

能访问什么访问网络

适合谁

需要访问实时网页数据的AI开发者。
在Claude、Cursor或Windsurf中集成实时数据的用户。
需要结构化输出（HTML、Markdown、截图）的抓取任务。
需要异步大规模爬取并存储在云端的用户。

不适合谁

不需要实时数据且仅依赖训练数据的场景。
希望完全本地处理且不依赖外部API的用户。
需要复杂自定义爬虫逻辑（超出简单抓取功能的）用户。
不希望依赖第三方服务的严格合规环境。

所需权限

需要Crawlbase Token（普通和JavaScript）才能访问API。
网络访问权限：服务器需连接Crawlbase服务以执行抓取操作。
在HTTP模式下，可接收环境变量或请求头中的Token。

风险与副作用

依赖Crawlbase服务的可用性和API限制。
发送给抓取目标网站的流量可能被目标站屏蔽或违反其服务条款。
配置错误或Token无效可能导致请求失败。
免费Token可能有速率限制，影响大规模使用。

安装接入

准备工作

运行环境：Node.js

CRAWLBASE_TOKEN 必填密钥 Crawlbase 普通（Normal）令牌，用于抓取 HTML 页面；在 Crawlbase 官网注册后从控制台（dashboard）获取。

CRAWLBASE_JS_TOKEN 必填密钥 Crawlbase JavaScript 令牌，用于需要 JS 渲染的页面和截图；从 Crawlbase 控制台获取。

其他可选配置项（1 个）

MCP_PORT 可选 HTTP 模式下的自定义服务端口（默认 3000），仅在运行 npm run start:http 时使用。

在Crawlbase网站注册获取免费Token。
根据客户端（Claude Desktop、Claude Code、Cursor、Windsurf）配置MCP服务器。
在客户端配置文件中添加服务器配置，替换your_token_here和your_js_token_here。
对于HTTP模式，克隆仓库，运行npm install，然后使用环境变量设置Token并运行npm run start:http。

claude_desktop_config.json

{"mcpServers":{"crawlbase":{"type":"stdio","command":"npx","args":["@crawlbase/mcp@latest"],"env":{"CRAWLBASE_TOKEN":"your_token_here","CRAWLBASE_JS_TOKEN":"your_js_token_here"}}}}

以 Claude Desktop 为例。其他客户端的配置文件位置或字段可能不同（如 VS Code 使用 servers 字段），可用下方配置生成器转换。

.vscode/mcp.json

{
  "servers": {
    "crawlbase": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "@crawlbase/mcp@latest"
      ],
      "env": {
        "CRAWLBASE_TOKEN": "your_token_here",
        "CRAWLBASE_JS_TOKEN": "your_js_token_here"
      }
    }
  }
}

写入项目的 .vscode/mcp.json（VS Code 使用 servers 字段）。

Terminal

claude mcp add crawlbase -e CRAWLBASE_TOKEN=your_token_here -e CRAWLBASE_JS_TOKEN=your_js_token_here -- npx @crawlbase/mcp@latest

在终端运行；先把 <…> 占位符换成你自己的值。

生成并校验客户端配置

验证是否装好

配置客户端后，确认 crawlbase 服务器出现在 MCP 工具列表中，包含 crawl、crawl_markdown、crawl_screenshot 等工具；然后运行类似“抓取 Hacker News 并以 Markdown 返回热门帖子”的提示词，验证能返回实时数据。

常见排障

检查Token是否正确设置，确保`CRAWLBASE_TOKEN`和`CRAWLBASE_JS_TOKEN`环境变量已配置。
验证客户端配置文件JSON格式是否正确。
对于HTTP模式，检查服务器端口是否可访问，`GET /health`返回正常响应。
如果爬取特定网站失败，可能是目标网站阻止了爬虫，尝试减少请求频率或检查目标网站robots.txt。
确保`npx`命令可用且网络能访问npm包。

试试这样问

连接成功后，可以直接对 AI 助手这样说：

抓取 Hacker News 并以 Markdown 返回热门帖子。
给 TechCrunch 首页截个图。
以 HTML 格式抓取特斯拉投资者关系页面。
我在 Crawlbase 存储里现在有多少个页面？给我看最近的 20 个。

工具能力 7

crawl 只读

获取网页的原始HTML。

crawl_markdown 只读

提取干净的Markdown格式内容。

crawl_screenshot 只读

捕获网页截图。

crawl_async 写入

异步将爬取结果推送到Crawlbase云存储，而非直接返回。

list_stored_pages 只读

列出存储在Crawlbase云存储中的页面。

read_stored_page 只读

从Crawlbase云存储中读取存储的页面内容。

delete_stored_page 破坏性

从Crawlbase云存储中删除存储的页面。

使用场景

市场研究：从竞争对手、新闻和报告中获取实时数据。

电商监控：实时跟踪产品、评论和价格。

新闻与财经信息源：让AI智能体保持最新动态。

自主AI智能体：使其能够基于新鲜网页数据采取行动。

支持客户端

Claude Desktop

Claude Code

Cursor

Windsurf

依据项目文档列出，未经本站实测。

详细介绍

Crawlbase MCP服务器是一个Model Context Protocol (MCP)服务器，连接AI智能体与实时网页。利用Crawlbase的爬取基础设施，使LLM能够获取新鲜、结构化的实时内容，深受超过70,000名开发者信赖。它处理了抓取的复杂性：JavaScript渲染、代理轮换与反爬绕过，以及结构化输出（HTML、Markdown、屏幕截图）。支持stdio和HTTP传输，并提供异步爬取和云存储功能。

Crawlbase MCP Server

选型与风险

适合谁

不适合谁

所需权限

风险与副作用

安装接入

准备工作

验证是否装好

常见排障

试试这样问

工具能力 7

使用场景

支持客户端

详细介绍

同类可选方案