← 返回目录

Anansi MCP Server

社区

由对话驱动的自适应、自修复爬虫

查看安装方法 ↓ 横向对比 GitHub 源仓库 ↗

分类: 其他第 83 / 230
Stars: ★ 117 热门
传输方式: stdio（本地进程） · SSE
运行环境: Python 3.11+
凭据: 无需凭据
许可证: Apache-2.0
最近提交: 39 天前
工具数: 17

59FMRS · C

Anansi是一款功能强大的自修复爬虫，具备先进的抗机器人功能，适合处理高对抗性站点。其MCP服务器使任何LLM能够驱动爬取，简化了AI代理的数据采集工作，但使用者需承担合规责任。

最强项 · 文档质量 15/20 最弱项 · 可靠性 10/20

可靠性

10/20

安全与权限

12/20

维护活跃度

10/20

文档质量

15/20

安装易用性

12/20

查看各项评分依据

可靠性 10/20: 源码显示FastMCP服务器暴露了17个工具，且README声称具备自我修复选择器、浏览器自动升级等功能，但未提供可验证的测试或CI结果，静态评审无法确认这些工具的真实行为。可靠性得分为10，因为Happy path可行但边界情况和错误处理证据不足。
安全与权限 12/20: 源码中未发现明显的恶意行为，但存在TLS指纹模仿和反检测功能，可能在未经许可的情况下规避网站访问控制，存在合规风险。README提供了操作者控制和免责声明，但未展示具体的权限限制或危险操作确认流程，安全得分为12。
维护活跃度 10/20: 仓库有Apache-2.0许可证，近期有活跃提交和版本发布，但开源问题数显示为0，且未见明确的维护者和安全响应渠道。维护得分为10，因为活跃但治理和版本管理存在缺失。
文档质量 15/20: 文档包含安装、快速开始、MCP服务器指南和详细的功能说明，但存在反检测工具的伦理和法律风险未充分披露，且缺少故障排查指南。文档质量得分为15，因为分层文档较完善但仍有不足。
安装易用性 12/20: README提供了pip安装命令和Playwright安装步骤，以及MCP客户端的配置示例，但未提供Docker或虚拟环境说明，Windows平台支持未明确，且未验证安装后的实际运行。安装易用性得分为12。

静态评测 · 未实际运行收录于 2026-08-07

查看 FMRS 评分方法 →

选型与风险

能访问什么访问网络控制浏览器

适合谁

需要鲁棒网络爬取的开发者
在对抗性环境中进行数据采集的研究人员
希望让AI代理自主完成爬取任务的团队

不适合谁

需要合法合规、低风险抓取的开发者
仅处理静态网站且无需反机器人功能的用户
对爬取行为有严格法律限制的场景

所需权限

执行网络请求和抓取公共数据
通过Playwright使用浏览器渲染
使用提供访问代理服务的代理
在本地写入导出的文件

风险与副作用

可能违反网站服务条款或相关法律，如CFAA、GDPR
反机器人功能可能被视为绕过访问控制
代理和代理IP可能被网站封禁
过度爬取可能导致目标服务器负载过高

安装接入

准备工作

运行环境：Python 3.11+

使用pip安装核心：pip install "git+https://github.com/mdowis/anansi"
对基于浏览器的抓取（Cloudflare绕过、JS渲染）：playwright install chromium
对TLS指纹模拟（curl-cffi impersonation）：pip install "anansi-scraper[tls] @ git+https://github.com/mdowis/anansi"
注册MCP：claude mcp add anansi -- anansi-mcp

.mcp.json

{
  "mcpServers": {
    "anansi": {
      "command": "anansi-mcp",
      "args": []
    }
  }
}

以 Claude Code 为例。其他客户端的配置文件位置或字段可能不同（如 VS Code 使用 servers 字段），可用下方配置生成器转换。

.vscode/mcp.json

{
  "servers": {
    "anansi": {
      "command": "anansi-mcp",
      "args": []
    }
  }
}

写入项目的 .vscode/mcp.json（VS Code 使用 servers 字段）。

Terminal

claude mcp add anansi -- anansi-mcp

在终端运行；先把 <…> 占位符换成你自己的值。

生成并校验客户端配置

验证是否装好

安装并注册 anansi-mcp 后，在客户端工具列表中应能看到 fetch、crawl、list_spiders 等17个工具；调用 get_status 应返回爬虫状态信息。

常见排障

安装后无法运行CLI：检查Python版本是否为3.11+，安装依赖
Cloudflare绕过失败：运行playwright install chromium
TLS指纹未生效：安装[tls]额外依赖
MCP连接失败：确保anansi-mcp在PATH中，并检查MCP客户端配置

试试这样问

连接成功后，可以直接对 AI 助手这样说：

用 list_spiders 列出所有已注册的爬虫
抓取 https://shop.example.com/products 页面并用 extract 提取标题和价格
对 example.com 运行一次 crawl，最多100页，然后导出结果
把速率限制设置为每秒2个请求并开启 set_proxy 的代理轮换

工具能力 17

fetch 只读

获取并处理URL，自动处理浏览器升级和反机器人身份。

extract 只读

从给定URL提取结构化数据，使用配置好的选择器。

crawl 只读

在爬虫中爬取一个或多个起始URL，遵循链接和页面内分区。

screenshot 只读

捕获URL或爬虫页面的截图。

run_spider 写入

运行配置好的爬虫并输出已爬取的数据。

list_spiders 只读

列出所有已注册的爬虫及其配置。

get_status 只读

获取当前爬虫运行状态和摘要。

pause 写入

暂停当前运行的爬虫。

展开其余 9 个工具

resume 写入

继续运行已暂停的爬虫。

set_proxy 写入

为后续爬取设置代理配置。

get_stats 只读

获取爬虫统计信息，例如请求计数、缓存命中等。

export_data 写入

导出已爬取的数据为CSV/JSON/数据库文件。

clear_cache 破坏性

清除缓存中未更改的页面条目。

validate_item 只读

根据配置的schema验证一个数据项。

configure_anti_bot 写入

调整反机器人设置，例如供应商级行为和代理评分。

set_rate_limit 写入

设置适应性速率限制参数。

get_logs 只读

检索爬虫日志以进行调试。

使用场景

绕过强反机器人的网站进行数据抓取

爬取频繁改版的网站而不维护选择器

通过自然语言驱动AI代理进行自动化数据采集任务

通过增量爬取减少数据采集时间

支持客户端

Claude Code

Claude Desktop

Cursor

Windsurf

ChatGPT

LangChain

OpenAI Agents SDK

依据项目文档列出，未经本站实测。

详细介绍

Anansi是一款为对抗性网站设计的自修复网络爬虫。它能够自动修复CSS选择器，在需要时切换到浏览器渲染，并通过匹配的TLS指纹、代理人物和供应商感知处理（Cloudflare、Akamai、DataDome）提供一致的身份以避免机器人检测。附带一个MCP服务器，允许任何LLM通过对话驱动完整的爬取过程，支持增量重爬和基于Pydantic schema的数据验证。