URLpipe — 粘贴URL,拿到 JavaScript 执行后的 Markdown、截图与 Lighthouse 报告

壹贰线报 · 官方定价页核实(核实时点:2026-11)

做监控、做 SEO、做 AI Agent 网页抓取时,最头疼的三件事:

  • SPA/React/Vue 页面 curl 下来是空壳,必须真跑 Chrome 执行 JS才能拿到正文;

  • 想要正文 Markdown 而不是满屏 <div> 标签,还要截图、console 报错、Lighthouse 评分,接5个服务才凑齐;

  • 给 AI 用的话,再叠一层"AI 总结/关键词/元数据",自己搭 Puppeteer 跑一周还容易被封。

URLpipe 一个 HTTPS POST 全搞定:传一个 URL,返回页面 JS 执行后的 Markdown、截图(PNG base64)、元数据、console 错误,以及真正跑 Google Lighthouse 的性能/可访问性/SEO/最佳实践评分。无需本地部署浏览器、无需 SDK、EU 数据中心托管,每月 1000 操作积分,注册就送 API Key 到邮箱,无需信用卡。


📌 上手前要看的 3 个细节

不是更正,只是第一次用的朋友提前知道更顺手。

  1. 1000 操作积分分两类独立计量:4 个 AI 端点(/markdown /meta /summarize /keywords)每月 50 次,4 个纯 Web 端点(/html /screenshot /lighthouse /console)每月 500 次,加起来约 550-1000 操作/月(scrape_url 一次跑多端会按实际扣),两类互不挤占,每月 1 号 UTC 重置;超额返回 HTTP 429,不自动扣费不停服,Dashboard 实时看剩余;

  2. AI vs Web 边界:Markdown 清理(去导航/侧边栏/广告)、智能元数据抽取、AI 总结、关键词提取这4个端走 AI 模型消耗 50 配额;HTML/截图/Lighthouse/Console 这4个走真实 headless Chrome 不跑模型,消耗 500 web 配额;

  3. residential 住宅代理/async Webhook/Lighthouse full audit 属于进阶用法:数据中心出口已经能对付绝大多数站点,对 Cloudflare/DataDome 等强反爬站可开 residential(按页附加费);Lighthouse 等慢操作建议开 sync=false 异步,结果 POST 到你的 Webhook。


🎁 两个隐藏福利(官网文档没在首页突出写)

  1. MCP Server 免费全档可用:https://urlpipe.dev/mcp 用 Bearer token 直接接入 Claude Code / Cursor / ChatGPT / Codex / Cline,提供 14 个工具(fetch_html / fetch_markdown / capture_screenshot / run_lighthouse / capture_console_errors / extract_meta / summarize / extract_keywords / scrape_url 聚合、list_projects / get_result / get_usage 等),Cursor Directory 2026-10 收录、Glama 评分 4.6/5.0,是给 AI 代理"看网页"最直接的方式;

  2. 7天缓存免费复用:max_age=7d(默认)同 URL 7 天内复取结果不扣积分,最长可设 30 天;强制刷新传 max_age=0,适合监控+巡检场景大量省积分。


📊 免费版额度一览

能力

免费档($0/月)

月操作积分

约 1000 操作(50 AI + 500 Web,分项计量)

项目 / API Key

Unlimited(每项目独立Key+独立历史)

端点数量

8 个(4 Web + 4 AI)

Markdown 正文清理

✅ /markdown

元数据智能抽取

✅ /meta(title/desc/author/date/feed/og:image)

AI 摘要

✅ /summarize

关键词提取

✅ /keywords(5–15个,按相关性排序)

HTML(JS执行后)

✅ /html(headless Chrome渲染,跟重定向)

截图 PNG base64

✅ /screenshot(可设 viewport/设备/DPR/暗黑/拦广告)

Lighthouse 审计

✅ /lighthouse(Mobile/Desktop,可选full audit JSON)

Console 错误

✅ /console(errors/warnings/uncaught exceptions)

scrape_url 聚合端点

✅(一次跑多个 operations)

Sync 同步 / Async Webhook

✅ 全支持

MCP Server

✅ 14 工具(Claude/Cursor/ChatGPT 通用)

结果缓存

✅ 默认7天,最长30天,命中免费

请求历史 / Labels 标签

✅ /list_requests,可按 labels 过滤

数据存储位置

✅ EU(GDPR 友好)

信用卡

❌ 不需要


✨ 6 个真好用的能力卡

  • Markdown 真干净:/markdown 用 Readability 类算法自动剥离导航/侧边栏/页脚/广告,返回 LLM-ready 纯 Markdown,不用自己再洗 HTML;

  • 真 headless Chrome:SPA、CSR、React/Vue、客户端渲染页面都能拿到渲染后内容,自动跟随 3xx 重定向;

  • scrape_url 一把梭:一次 POST 指定 operations=["markdown","meta","screenshot","lighthouse"] 四个一起跑,省 4 次 HTTP 往返;

  • Lighthouse 真·Google 原版:不是简易评分,是跑完整 Lighthouse,返回 performance/accessibility/best-practices/SEO/PWA 全分数+建议项,可开 full audit JSON;

  • Console Errors 抓现场:页面报错、warn、未捕获异常、CSP 违规直接返回,预发环境 QA 抓 Bug 神器,比手动开 DevTools 快;

  • Labels 业务标签:请求带 labels={"client":"acme","env":"staging"},后续 /list_requests 可按 label 过滤+账单归因。


⚠️ 三个要避开的坑

  1. Lighthouse 慢,别用 sync:Lighthouse 一次跑 10-30 秒,建议传 sync=false 加 report_to Webhook,否则 HTTP 连接容易超时;

  2. screenshot 改 viewport 会单独算一次:自定义 viewport_width / device_scale_factor / dark_mode / block_ads 会改变页面加载方式,每次参数组合视为独立 page visit 扣 web 配额;

  3. residential 住宅出口有附加费:默认数据中心 IP 免费,遇强反爬站开 residential=true 会按页额外计费,免费额度下建议只在必要时开启。


🎯 适合 / 不适合

适合:

  • AI Agent / RAG 接真实网页(MCP 直连 Cursor/Claude)、SEO 批量扫站(Lighthouse+Meta+Keywords)、预发监控巡检(截图+Console Errors)、新闻/文档聚合(Markdown 清洗)、低成本替代自建 Puppeteer/Playwright 集群;

  • 个人博客/独立开发者/小团队低流量生产,或作为主爬取链路的备份。

不适合:

  • 日均千页以上的大规模爬虫(免费 550 次/月不够,需联系团队 Unlimited 定制)、需要登录态/cookie/表单交互的复杂爬取(URLpipe 是无状态 GET)、国内站点毫秒级监控(服务器在 EU,国内访问 300-600ms 延迟)。


🚀 4 步上手(可直接复制)

  1. 打开 https://urlpipe.dev 填邮箱创建项目,几秒后 API Key 发到邮箱(sk_live_***),无需信用卡;

  2. 用 curl 试一次 Markdown(官方示例):

curl -X POST https://urlpipe.dev/markdown \
  -H "Authorization: Bearer sk_live_你的key" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com"}'

  1. 一把梭聚合调用(一次拿 markdown + 元数据 + 截图 + Lighthouse,async 模式):

curl -X POST https://urlpipe.dev/scrape_url \
  -H "Authorization: Bearer sk_live_你的key" \
  -H "Content-Type: application/json" \
  -d '{
    "project_id": "proj_xxx",
    "url": "https://your-site.com",
    "operations": ["markdown", "meta", "screenshot", "lighthouse"],
    "sync": false,
    "report_to": "https://your-app.com/webhook/urlpipe",
    "labels": {"env": "prod", "client": "壹贰云"},
    "max_age": "2 hours"
  }'
# 立刻返回 {"token":"req_xxx"},跑完POST到webhook

  1. 接 MCP(Cursor / Claude Code),在 MCP 配置加:

{
  "mcpServers": {
    "urlpipe": {
      "type": "http",
      "url": "https://urlpipe.dev/mcp",
      "headers": {"Authorization": "Bearer sk_live_你的key"}
    }
  }
}

重启 Cursor,直接对 Agent 说"帮我看一下 https://xxx.com 的 Lighthouse 评分和 console 报错",自动调用 14 工具。


📊 8 款网页抓取/Markdown/性能审计 API 横向对比

工具

免费额度

JS渲染

Markdown

Lighthouse

截图

MCP

AI总结

数据中心

URLpipe

50 AI + 500 Web/月≈1000

✅真实Chrome

✅

✅真Google

✅PNG

✅14工具

✅meta/summary/keywords

EU

Scrapfly

1000 credits

✅

✅(LLM)

❌

✅

❌

✅Extraction

全球190国

Firecrawl

500 credits/月

✅

✅

❌

✅

✅

✅Map/Extract

US

Jina Reader

免费有限速

✅

✅

❌

✅

✅

❌

全球

Browserless

免费1000次/月

✅

❌

❌

✅PDF

✅

❌

US/EU

ScrapingBee

1000 credits试用

✅

❌

❌

✅

❌

❌

全球

Browserbase

不限免费

✅Session

❌

❌

✅

✅

❌

US

Thundercrawl

1000 pages/月

✅

✅MD

❌

❌

❌

✅

EU

横向对比清单完整版(含价目/反爬能力/MCP工具数)文末互动抽取。


💰 付费档位

档位

价格

说明

Free

$0/永久

50 AI + 500 Web ops/月,Unlimited 项目/Key/MCP,Sync+Async

Unlimited(Custom)

联系团队

无月上限、相同端点/API、直连团队、Priority 支持

URLpipe 目前还在 "Free while we're growing" 阶段——免费档是给真实业务用的不是 demo,超了直接邮件联系开通定制,简单直接。


🎯 活动直达入口(后台回复关键词)

在公众号后台发送以下任意关键词,自动获取「URLpipe 快速上手指引(7 步)」+「简化版清单(免费权益 + 不含项 + 3 条避坑)」两份资料:

  • URLpipe

  • URLpipe免费

  • 网页抓取API

  • URLpipe对比

  • LighthouseAPI

直达链接:https://urlpipe.dev(创建项目→Key 发邮箱→curl 测试→MCP 接入,全流程不到 3 分钟)


你平时用什么方式抓网页给 AI 读?是自写 Puppeteer、用 Jina Reader、Firecrawl 还是已经接上 MCP 了?遇到 SPA 渲染/反爬/Lighthouse 审计最头疼的是哪一环?


🔎 事实核验说明

本文数据来自 urlpipe.dev 官方首页+FAQ+定价页+端点文档+Glama MCP 4.6/5 评分+Cursor Directory 2026-10收录页交叉一致;配额 50 AI + 500 Web/月、8 端点、14 MCP 工具、scrape_url 聚合、max_age 7天默认缓存、EU存储、无信用卡、Unlimited 项目/Key、residential附加费均来自官方原文;核实时点 2026-11。文中价格与规则以官方文档为准。


版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。