V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
pangolin2023
V2EX  ›  推广

[推广] 不用维护爬虫,一行代码抓取 Google AI Overview (SGE) 和亚马逊实时数据

  •  
  •   pangolin2023 · 10 天前 · 319 次点击

    大家好,这是我们要向开发者社区介绍的一款数据采集基础设施工具:Pangolinfo API

    背景与痛点

    随着 Google 全面铺开 AI Overview (SGE),传统的 SERP 抓取逻辑正在失效。DOM 结构动态化、反爬策略升级( Cloudflare/验证码)、加上 AI 生成内容的随机性,让维护一套稳定的自建爬虫成本越来越高。

    对于做跨境电商工具、SEO 分析软件、或者构建 AI Agent 的开发者来说,数据获取( Data Acquisition ) 不应该成为核心业务的绊脚石。

    Pangolinfo 是什么?

    Pangolinfo 是一个面向开发者的数据采集 API 服务。我们封装了底层的无头浏览器集群、代理池维护和验证码对抗逻辑,只向你交付清洗后的结构化 JSON 数据。

    核心能力

    1. AI Mode API:专门针对 Google AI Overview 进行解析,能够完整提取 AI 生成的摘要、引用来源及关联问题。
    2. Amazon Data API:支持亚马逊全站点( US/EU/JP 等)的商品详情、实时库存、BSR 排名、评论和 QA 数据抓取。

    为什么选择 API 而不是自建?

    • 稳定性:我们在服务端处理了指纹伪造和 IP 轮换,保障 99.9% 的请求成功率。
    • 结构化:直接返回 JSON ,无需你自己写正则或 XPath 去解析混乱的 HTML 。
    • 低延迟:针对亚马逊数据优化,平均响应时间压缩在秒级,适合实时比价场景。
    • 兼容性:支持 Screenshot 参数,可同时返回页面截图用于留证。

    接口调用示例

    获取 Google 搜索结果中的 AI Overview 内容:

    curl --request POST \
     --url https://scrapeapi.pangolinfo.com/api/v2/scrape \
     --header 'Authorization: Bearer YOUR_TOKEN' \
     --header 'Content-Type: application/json' \
     --data '{
     "url": "https://www.google.com/search?q=best+mechanical+keyboard",
     "parserName": "googleAISearch",
     "screenshot": false
    }'
    

    返回数据示例(部分)

    {
      "code": 0,
      "message": "ok",
      "data": {
        "ai_overview": 1,
        "json": {
          "type": "organic",
          "items": [
            {
              "type": "ai_overview",
              "content": [
                 "Mechanical keyboards are known for their durability...",
                 "Key features to look for include switch type (linear, tactile, clicky)..."
              ],
              "references": [
                {
                   "title": "Mechanical Keyboard Guide",
                   "url": "https://example.com/guide",
                   "domain": "example.com"
                }
              ]
            }
          ]
        }
      }
    }
    

    适用场景

    • AI Agent 开发:为你的 LLM 提供实时的联网搜索能力( Search Tool ),获取高质量的总结信息。
    • 电商竞对分析:监控竞品的库存水位、价格波动和 Listing 变动。
    • SEO 监控:追踪关键词在 Google AI 搜索结果中的占位情况。

    开发者福利

    目前我们开放了注册赠送活动。

    无需绑定信用卡,文档清晰,欢迎 V2EX 的朋友们试用反馈。如果有特定的数据采集需求,也可以在评论区留言,我们支持定制解析器。

    目前尚无回复
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   922 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 22:06 · PVG 06:06 · LAX 15:06 · JFK 18:06
    ♥ Do have faith in what you're doing.