Home Sign Up Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
lusin
V2EX  ›  程序员

请问大量的数据收集常用的技术有哪些？

  •   
  •   lusin · May 8, 2012 · 3624 views
    This topic created in 5160 days ago, the information mentioned may be changed or developed.
    比如GOOGLE购物频道这样的，一般用什么技术实现呢？
  • Google
  • 技术
  • 频道
    2 replies  •  1970-01-01 08:00:00 +08:00
    sohoer
        1
    sohoer  
       May 8, 2012   ❤️ 1
    就是所谓的垂直搜索吧，
    或者用采集器实现，
    或者自己写
    http://www.searchtb.com/2011/07/%E5%BF%AB%E9%80%9F%E6%9E%84%E5%BB%BA%E5%AE%9E%E6%97%B6%E6%8A%93%E5%8F%96%E9%9B%86%E7%BE%A4.html
    docete
        2
    docete  
       May 8, 2012   ❤️ 1
    你说的是网络爬虫吧。一般会用开源方案做二次开发。scrapy用的人比较多。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4003 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 05:16 · PVG 13:16 · LAX 22:16 · JFK 01:16
    ♥ Do have faith in what you're doing.