← 返回目录

ScrapeGraph MCP Server

社区

AI 驱动的网页抓取与数据提取，通过 ScrapeGraph API 提供企业级可靠性。

查看安装方法 ↓ 横向对比 GitHub 源仓库 ↗

分类: 开发工具第 227 / 438
Stars: ★ 115 热门
传输方式: stdio（本地进程）
运行环境: Python 3.13+ · Node.js · 远程托管（无需本地环境）
凭据: 需要 API Key / 凭据
许可证: MIT
最近提交: 2 个月前
工具数: 17

52FMRS · D

该 MCP 服务器提供 AI 驱动的网页抓取功能，工具丰富，覆盖抓取、提取、搜索、爬取和监控。配置简单，但需要付费 API 密钥。注意工具名称在 v3 中有重命名，使用前需对照文档。

最强项 · 文档质量 14/20 最弱项 · 可靠性 5/20

可靠性

5/20

安全与权限

9/20

维护活跃度

12/20

文档质量

14/20

安装易用性

12/20

查看各项评分依据

可靠性 5/20: 审查只提供了README和manifest，没有实际源代码、CI工作流或已提交测试。README描述的工具集（scrape、extract、search、crawl_start/crawl_get_status、schema、credits、history、monitors）在文本上自洽，但无法核对真实行为；错误处理和边界情况也仅有声明而无证据。此外manifest将SGAI_API_KEY标记为可选，而README又暗示必需，这个歧义没有被验证。因缺少可执行验证而扣分，评分低于10。
安全与权限 9/20: 未发现红线问题：示例中没有真实密钥，也没有恶意或破坏性操作。API密钥通过环境变量或MCP配置传入，并在manifest中标记为secret，处理方式是常规做法。但因为没有源码，无法核实最小权限边界、数据流披露，以及长时间运行任务（crawl/monitor）是否有确认机制；manifest中密钥为可选而README视为必需，成本/配额控制也未说明。扣分原因是缺少源码级安全证据。
维护活跃度 12/20: 仓库未归档，有MIT许可证、明确版本号3.0.0，README也提供了v2到v3的迁移说明和工具重命名表，看起来有维护痕迹。但是本次没有提交历史、发布日期、issue响应速度或依赖更新记录，无法确认持续的维护节奏。星标和issue数量仅作为发现信号，不用于加分，因此按保守标准评为12。
文档质量 14/20: README提供了分层文档：快速开始、认证方式、工具表、输出格式和参数限制（例如num_results限制3–20）、本地/远程/Smithery/ADK多种配置示例、常见问题排查和错误处理说明。扣分点：缺少由源码验证的示例，没有清晰的成本/套餐披露，存在ScapeGraph与ScrapeGraph拼写不一致，远程endpoint还处于迁移警告状态，不够稳定。
安装易用性 12/20: README给出了多条安装路径：Smithery的npx命令、pip/uv本地安装、远程HTTP接入，以及Claude Desktop、Cursor的配置示例，还包含Windows相关注意事项，步骤数量不多。但静态校准规定在没有真实CI工件和已提交测试证据时setup最高不超过15；本项目没有这些执行证据，且npx/Smithery路径依赖外部服务，增加了脆弱性，因此扣至12。

静态评测 · 未实际运行收录于 2026-08-07

查看 FMRS 评分方法 →

选型与风险

能访问什么访问网络修改第三方账户数据

适合谁

需要通过自然语言进行网页抓取和结构化数据提取的 AI 助手开发者。
需要从多个页面自动提取数据的爬虫和数据分析工作流。
需要监控网站变化并定期提取信息的用户。

不适合谁

不需要 AI 辅助抓取、只需简单直接 HTTP 请求的开发者。
没有 ScrapeGraph AI 付费订阅或额度有限的用户，因为 API 调用可能产生费用。
需要本地渲染 JavaScript 但不使用 ScrapeGraph API 渲染功能的用户。

所需权限

需要 ScrapeGraph API 密钥（SGAI_API_KEY）以访问 ScrapeGraph 服务。
需要网络访问以连接到 ScrapeGraph API（默认 https://v2-api.scrapegraphai.com/api）。
通过环境变量或 MCP 配置传递API密钥，可能涉及密钥管理。

风险与副作用

API 密钥泄露可能导致账户被盗用和额度损失。
API 调用受速率限制和配额管理，可能因超额产生额外费用。
抓取网站可能违反目标网站的条款或法律，需自行判断。

安装接入

准备工作

运行环境：Python 3.13+ · Node.js · 远程托管（无需本地环境）

SGAI_API_KEY 必填密钥 ScrapeGraph API 密钥，必需；在 dashboard.scrapegraphai.com 注册后获取，也可通过 MCP 配置的 scrapegraphApiKey 或 X-API-Key 头传入。

其他可选配置项（2 个）

SGAI_API_URL 可选可选，覆盖 API 基础 URL，默认 https://v2-api.scrapegraphai.com/api。

SGAI_TIMEOUT 可选可选，请求超时秒数，默认 120。

在 ScrapeGraph Dashboard 获取 API 密钥。
使用 Smithery 快速安装：npx -y @smithery/cli install @ScrapeGraphAI/scrapegraph-mcp --client claude。
或者本地安装：克隆仓库、pip install -e .，然后设置环境变量 SGAI_API_KEY，通过 scrapegraph-mcp 或 python -m scrapegraph_mcp.server 运行。
配置 Claude Desktop 或 Cursor，参考 README 中的 JSON 配置。

claude_desktop_config.json

{
  "mcpServers": {
    "scrapegraph-mcp": {
      "command": "npx",
      "args": [
        "-y",
        "@smithery/cli@latest",
        "run",
        "@ScrapeGraphAI/scrapegraph-mcp",
        "--config",
        "\"{\\\"scrapegraphApiKey\\\":\\\"YOUR-SGAI-API-KEY\\\"}\""
      ]
    }
  }
}

以 Claude Desktop 为例。其他客户端的配置文件位置或字段可能不同（如 VS Code 使用 servers 字段），可用下方配置生成器转换。

.vscode/mcp.json

{
  "servers": {
    "scrapegraph-mcp": {
      "command": "npx",
      "args": [
        "-y",
        "@smithery/cli@latest",
        "run",
        "@ScrapeGraphAI/scrapegraph-mcp",
        "--config",
        "\"{\\\"scrapegraphApiKey\\\":\\\"YOUR-SGAI-API-KEY\\\"}\""
      ]
    }
  }
}

写入项目的 .vscode/mcp.json（VS Code 使用 servers 字段）。

Terminal

claude mcp add scrapegraph-mcp -- npx -y @smithery/cli@latest run @ScrapeGraphAI/scrapegraph-mcp --config '"{\"scrapegraphApiKey\":\"YOUR-SGAI-API-KEY\"}"'

在终端运行；先把 <…> 占位符换成你自己的值。

生成并校验客户端配置

验证是否装好

在客户端工具列表中应出现 scrape、extract、search 等工具；可向客户端提问“查看我的 ScrapeGraph 剩余额度”，credits 工具返回数字即证明连接成功。

常见排障

如果工具未出现在客户端中，检查服务器是否正常启动以及 API 密钥是否正确。
遇到 401 Unauthorized 错误，请验证 API 密钥是否有效。
遇到 402 Payment Required 错误，请检查账户额度。
爬取长时间未完成，请持续调用 crawl_get_status 直到 completed。
在 Windows 上使用特定命令或检查 PATH 设置。

试试这样问

连接成功后，可以直接对 AI 助手这样说：

把 https://scrapegraphai.com 转换成 markdown
从这个电商页面提取所有产品名称、价格和评分
搜索并总结最近关于 AI 网页抓取的进展
每天早上9点对 https://example.com 运行这个提取提示词

工具能力 17

scrape 只读

抓取网页并输出多种格式：markdown、html、screenshot、branding、links、images、summary。

extract 只读

根据提示提取结构化数据，需提供 website_url 和 user_prompt，可选 output_schema。

search 只读

执行搜索，返回最多 20 条结果，支持 country_search、time_range 和 output_schema。

crawl_start 写入

启动多页面异步爬取，支持 extraction_mode：markdown、html、links、images、summary、branding、screenshot。

crawl_get_status 只读

查询爬取任务的状态，轮询直至 status 为 completed。

crawl_stop 写入

停止正在进行的爬取任务。

crawl_resume 写入

恢复已暂停的爬取任务。

schema 只读

根据提示生成或增强 JSON Schema。

展开其余 9 个工具

credits 只读

获取账户剩余额度。

history 只读

获取分页的使用历史记录，可按 service 过滤。

monitor_create 写入

创建计划任务，定期执行提取或抓取。

monitor_list 只读

列出所有监控任务。

monitor_get 只读

获取特定监控任务的详情。

monitor_pause 写入

暂停监控任务。

monitor_resume 写入

恢复监控任务。

monitor_delete 破坏性

删除监控任务。

monitor_activity 只读

获取监控任务的分页活动历史（id、createdAt、status、changed、elapsedMs、diffs）。

使用场景

将网页转换为 Markdown 摘要，便于 LLM 处理。

从电商页面提取所有产品名称、价格和评分。

搜索最新 AI 进展并生成结构化摘要。

多页面爬取网站以映射内容或捕获 API 端点。

设置每日定时任务监控特定数据变化。

支持客户端

Claude Desktop

Cursor

依据项目文档列出，未经本站实测。

详细介绍

ScrapeGraph MCP 服务器是一个生产就绪的 Model Context Protocol (MCP) 服务器，提供与 ScrapeGraph AI API 的无缝集成。它使语言模型能够利用先进的 AI 网页抓取能力，支持多种工具：网页抓取（多格式）、基于提示的提取、搜索、多页面异步爬取（开始/状态/停止/恢复）、JSON Schema 生成、计划监控任务（创建/列表/获取/暂停/恢复/删除/活动）、账户额度与历史记录。该服务器采用 stdio 传输，通过环境变量（SGAI_API_KEY、SGAI_API_URL、SGAI_TIMEOUT）配置 API 密钥、基础 URL 和超时。注意：版本 v3 已将工具重命名，例如 smartscraper 改为 extract，smartcrawler_initiate 改为 crawl_start。