适合谁
- 需要鲁棒网络爬取的开发者
- 在对抗性环境中进行数据采集的研究人员
- 希望让AI代理自主完成爬取任务的团队
A
59FMRS · C
Anansi是一款功能强大的自修复爬虫，具备先进的抗机器人功能，适合处理高对抗性站点。其MCP服务器使任何LLM能够驱动爬取，简化了AI代理的数据采集工作，但使用者需承担合规责任。
Anansi是一款为对抗性网站设计的自修复网络爬虫。它能够自动修复CSS选择器，在需要时切换到浏览器渲染，并通过匹配的TLS指纹、代理人物和供应商感知处理（Cloudflare、Akamai、DataDome）提供一致的身份以避免机器人检测。附带一个MCP服务器，允许任何LLM通过对话驱动完整的爬取过程，支持增量重爬和基于Pydantic schema的数据验证。
工具能力
fetch
获取并处理URL，自动处理浏览器升级和反机器人身份。
extract
从给定URL提取结构化数据，使用配置好的选择器。
crawl
在爬虫中爬取一个或多个起始URL，遵循链接和页面内分区。
screenshot
捕获URL或爬虫页面的截图。
run_spider
运行配置好的爬虫并输出已爬取的数据。
list_spiders
列出所有已注册的爬虫及其配置。
get_status
获取当前爬虫运行状态和摘要。
pause
暂停当前运行的爬虫。
resume
继续运行已暂停的爬虫。
set_proxy
为后续爬取设置代理配置。
get_stats
获取爬虫统计信息，例如请求计数、缓存命中等。
export_data
导出已爬取的数据为CSV/JSON/数据库文件。
clear_cache
清除缓存中未更改的页面条目。
validate_item
根据配置的schema验证一个数据项。
configure_anti_bot
调整反机器人设置，例如供应商级行为和代理评分。
set_rate_limit
设置适应性速率限制参数。
get_logs
检索爬虫日志以进行调试。
安装接入
- 使用pip安装核心：pip install "git+https://github.com/mdowis/anansi"
- 对基于浏览器的抓取（Cloudflare绕过、JS渲染）：playwright install chromium
- 对TLS指纹模拟（curl-cffi impersonation）：pip install "anansi-scraper[tls] @ git+https://github.com/mdowis/anansi"
- 注册MCP：claude mcp add anansi -- anansi-mcp
claude_desktop_config.json
{
"mcpServers": {
"anansi": {
"command": "anansi-mcp",
"args": []
}
}
}
选型与风险
不适合谁
- 需要合法合规、低风险抓取的开发者
- 仅处理静态网站且无需反机器人功能的用户
- 对爬取行为有严格法律限制的场景
所需权限
- 执行网络请求和抓取公共数据
- 通过Playwright使用浏览器渲染
- 使用提供访问代理服务的代理
- 在本地写入导出的文件
风险与副作用
- 可能违反网站服务条款或相关法律，如CFAA、GDPR
- 反机器人功能可能被视为绕过访问控制
- 代理和代理IP可能被网站封禁
- 过度爬取可能导致目标服务器负载过高
常见排障
- 安装后无法运行CLI：检查Python版本是否为3.11+，安装依赖
- Cloudflare绕过失败：运行playwright install chromium
- TLS指纹未生效：安装[tls]额外依赖
- MCP连接失败：确保anansi-mcp在PATH中，并检查MCP客户端配置
使用场景
绕过强反机器人的网站进行数据抓取
爬取频繁改版的网站而不维护选择器
通过自然语言驱动AI代理进行自动化数据采集任务
通过增量爬取减少数据采集时间
支持客户端
Claude Code完整支持
Claude Desktop完整支持
Cursor完整支持
Windsurf完整支持
ChatGPT完整支持
LangChain完整支持
OpenAI Agents SDK完整支持