有没有一种爬虫服务，只需要我指定网站和规则，就可以定时爬数据，并且可以提供我指定格式的 json api 的
Brucepac · 2018 年 3 月 3 日 · 10256 次点击这是一个创建于 2875 天前的主题，其中的信息可能已经有所发展或是发生改变。
如题，希望各路大佬知道，告知一下。
PS：本人比较喜欢看自然科学相关的文章，经常看环球科学的网站，加上我是做 iOS 开发的，所以我想用 swift 做一个 app 方便看文章。
本来是想自己做全栈的，包括设计和前后端(前后端全用 swift)，但是由于我对爬虫方面的知识不太了解，我想先完成 app，后期再用 Perfect 自己学习写爬虫程序。所以要是有现成的爬虫并且是开源的就最好了😄。
 |
1
loading 2018 年 3 月 3 日 via iPhone  1
幽灵蛛
|
 |
2
malagebidi 2018 年 3 月 3 日
用 huginn+feedly，完全满足需求。
|
 |
3
devjoe 2018 年 3 月 3 日 via iPhone
直接加载整个网页，然后利用 XPath 解析就行
|
 |
4
bogun 2018 年 3 月 3 日 via Android
可以试一下 portia，可视化爬虫
|
 |
5
likuku 2018 年 3 月 3 日
IFTTT ？
|
 |
6
chroming 2018 年 3 月 3 日 via Android 1
可以看下 pyspider
|
 |
7
4BVL25L90W260T9U 2018 年 3 月 3 日 via Android 4
那你就先 mock 一个数据开发呗，做完再说。说不定中途就放弃了
|
 |
8
lScarlet 2018 年 3 月 3 日 via Android
马克
|
 |
9
brotherlegend 2018 年 3 月 3 日 via Android
看大佬们回答
|
 |
10
yuanfnadi 2018 年 3 月 3 日 via iPhone 1
toapi
可以把网站变成 api |
 |
11
silencefent 2018 年 3 月 3 日
神箭手
|
 |
12
giuem 2018 年 3 月 3 日 via iPhone
|
 |
13
safedogcc 2018 年 3 月 3 日 1
这不就是我的 APP [下一栈]( https://nextstack.xyz)
该做的事吗！ 原理也是一样，把网站的 html 或者 rss 或者 json api 转换成固定的 json 数据格式，只不过不用爬虫，直接在客户端进行爬取解析，欢迎体验！ |
 |
14
sparkssssssss 2018 年 3 月 3 日 via iPhone
马克
|
 |
15
zhtttyecho 2018 年 3 月 3 日
马克
|
 |
16
zhesheng 2018 年 3 月 3 日 via Android
马克
|
 |
17
anonnymous 2018 年 3 月 3 日
克马
|
 |
18
Esora 2018 年 3 月 3 日
mark
|
 |
19
leriou 2018 年 3 月 3 日
八爪鱼试试
|
 |
20
sohoer 2018 年 3 月 3 日
可以先试用下 hicrawler.com ，目前支持 json api 或发布到 wordpress
|
 |
22
golmic 2018 年 3 月 3 日 via Android
我可以免费提供数据方面的技术支持。微信 lujqme，可以联系我
|
 |
23
limbo0 2018 年 3 月 3 日 via iPhone
不趁现在学习一波 python 吗
|
 |
24
rootit 2018 年 3 月 3 日
你想的太简单了。。。
|
|
25
safedogcc 2018 年 3 月 4 日 1
@just1 #21
这类是固定的解析模版，比如 v1.4 的简书专题（近日发布），v1.5 的 hexo 博客支持（待发布）以及后续的 wordpress 博客站点等等一些较常用的 cms 系统（因为基本 dom 元素一致，所以解析代码通用）。 当然，你有兴趣可以看看开发文档，你会发现绝大部分的网站都可以进行创作哒！ |
 |
26
xuanyuanaosheng 2018 年 3 月 4 日 via Android
mark
|
 |
27
mlyy 2018 年 3 月 4 日
这里有两层难度
- "指定网站和规则" - "我指定网站和规则" |
 |
28
agdhole 2018 年 3 月 4 日
造数了解一下
|
 |
29
demonchang 2018 年 3 月 4 日 via iPhone
发源地云采集引擎，可以看一下。自带周期更新
|
 |
30
dobelee 2018 年 3 月 4 日 via Android
mark
|
 |
31
gouchaoer 2018 年 3 月 4 日 via Android
正在做相关的东西，我爬虫攻城狮干了几年了
|
 |
32
wwb721 2018 年 3 月 4 日
马克
|
 |
33
idcspy 2018 年 3 月 4 日
造数好像可以。
|
 |
34
Shura 2018 年 3 月 4 日
feed43
|
 |
37
qiqico 2018 年 3 月 4 日
https://www.showapi.com/ent 这个也不错，支持一些自定义规则
|
 |
38
beginor 2018 年 3 月 4 日 via Android
|
 |
39
lisztli 2018 年 3 月 4 日
|
|
40
lisztli 2018 年 3 月 4 日
scrapinghub 和 scrapy 框架直接绑定，有免费配额，可以直接使用。
|
 |
41
zlstll 2018 年 3 月 5 日
mark 一下
|
 |
42
dingdong 2018 年 3 月 5 日
提供这种服务的网站，如果存储了爬虫数据，在国内会面临法律风险吧
|
 |
43
Jaeger 2018 年 3 月 5 日
|
 |
44
midysky 2018 年 3 月 6 日
发源地云采集引擎，专门干这个事的。刚刚已开源。https://github.com/finndy/finndycloud
|
|
45
midysky 2018 年 3 月 6 日
[发源地] 数据源市场有 10 几万个网站的规则。很多开发者发布的免费规则可以使用。
|
 |
46
8bits 2018 年 12 月 15 日
|
Select Language