V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
wlwr
V2EX  ›  分享创造

写了个 RSS 小工具,提供微信公众号 RSS 订阅接口

  •  5
     
  •   wlwr · 2015 年 4 月 27 日 · 17149 次点击
    这是一个创建于 3916 天前的主题,其中的信息可能已经有所发展或是发生改变。

    之前用V2网友提供的微信公众号RSS接口,但最近挂掉了。。索性自己写个小程序,便于维护

    地址: http://rss.wlwr.net

    基于Node.js koajs开发

    第 1 条附言  ·  2015 年 4 月 28 日
    欢迎 Star:https://github.com/wlwr/rss
    58 条回复    2018-06-13 13:43:14 +08:00
    missqso
        1
    missqso  
       2015 年 4 月 27 日
    谢谢
    alsacegustav
        2
    alsacegustav  
       2015 年 4 月 28 日
    好用,文字、图片、格式抓取过来都正常,希望能长期使用,加油
    wlwr
        3
    wlwr  
    OP
       2015 年 4 月 28 日
    @alsacegustav 会长期维护,谢谢支持哈
    wizos
        4
    wizos  
       2015 年 4 月 28 日
    用inoreader时,抓取的内容会直接显示标签……
    m3ng9i
        5
    m3ng9i  
       2015 年 4 月 28 日
    不错。另外有一些符号,比如英文圆括号能不能不要编码成 ( 和 ) 啊?
    m3ng9i
        6
    m3ng9i  
       2015 年 4 月 28 日
    这个地址报错:Internal Server Error
    http://rss.wlwr.net/weixin/oIWsFt_fzFTmSWJ96bXXqFX0yHIQ
    ccbikai
        7
    ccbikai  
    PRO
       2015 年 4 月 28 日
    搜狗有反爬虫,你做处理了吗?
    XnEnokq9vkvVq4
        8
    XnEnokq9vkvVq4  
       2015 年 4 月 28 日   ❤️ 1
    用 inoreader 看时,有些会显示代码。。
    siriusVtoEX
        9
    siriusVtoEX  
       2015 年 4 月 28 日
    @wizos 同样的问题
    wlwr
        10
    wlwr  
    OP
       2015 年 4 月 28 日
    @m3ng9i 刚才 Internal Server Error 的问题处理了
    Winny
        11
    Winny  
       2015 年 4 月 28 日
    太赞了 感谢 @wlwr
    wlwr
        12
    wlwr  
    OP
       2015 年 4 月 28 日
    @ccbikai 现在接口请求量还少,还没做反爬虫处理。。等后面采集频繁,搞一些代理IP做爬虫代理。
    wlwr
        13
    wlwr  
    OP
       2015 年 4 月 28 日
    @wizos @hanqian inoreader的问题,晚上我装个看看。。我用Reeder看是没问题的
    ccbikai
        14
    ccbikai  
    PRO
       2015 年 4 月 28 日
    @ccbikai 不只是 IP ,还有 cookies ,有人 做过 http://bozpy.sinaapp.com/blog/24
    mrjoel
        15
    mrjoel  
       2015 年 4 月 29 日
    额 仔细看了下 是订阅公众号内容。。
    wizos
        16
    wizos  
       2015 年 5 月 1 日
    好像没用了……
    wlwr
        17
    wlwr  
    OP
       2015 年 5 月 1 日
    @wizos 恢复了
    mytion
        18
    mytion  
       2015 年 5 月 2 日
    不错,已经收藏使用,希望长期保持。加油
    m3ng9i
        19
    m3ng9i  
       2015 年 5 月 5 日
    @wlwr 采集异常,无法获取数据
    wlwr
        20
    wlwr  
    OP
       2015 年 5 月 5 日
    @m3ng9i 已恢复。
    m3ng9i
        21
    m3ng9i  
       2015 年 5 月 5 日
    @wlwx 多谢
    zangbob
        22
    zangbob  
       2015 年 5 月 5 日
    @wlwr 感谢楼主的作品,希望能长期运行。

    PS:貌似html代码过滤不干净。。。比如这个: http://rss.wlwr.net/weixin/oIWsFt2w7J2ciAdD722lQRr6_Tec
    wlwr
        23
    wlwr  
    OP
       2015 年 5 月 6 日
    @zangbob html是不做过滤的,尽量保留公众号的文章格式。。强制过滤会导致排版很乱。
    xcz
        24
    xcz  
       2015 年 5 月 18 日 via Android
    这个不做过滤在inoreader里面看见的真的很纠结啊,别的没有测试,楼主用什么RSS阅读器?
    wlwr
        25
    wlwr  
    OP
       2015 年 5 月 19 日
    @xcz 我用 Reeder
    berry10086
        26
    berry10086  
       2015 年 5 月 20 日
    楼主是抓取搜狗的gzhjs这个地址吗
    berry10086
        27
    berry10086  
       2015 年 5 月 20 日
    现在好像又是数据采集异常
    wizos
        28
    wizos  
       2015 年 5 月 22 日
    换用http://weirss.me/吧
    wlwr
        29
    wlwr  
    OP
       2015 年 5 月 23 日   ❤️ 1
    @berry10086 是的,搜狗接口做了加密处理,导致采集失败。问题已修复,可以正常使用了。
    berry10086
        30
    berry10086  
       2015 年 5 月 23 日
    @wlwr 我也试着写了一个,http://weirss.me,抓取是直接用selenium + phantomjs,解析js渲染后的html,不用考虑cookies和接口变化。但是问题是抓取速度太慢,有时会超时
    berry10086
        31
    berry10086  
       2015 年 5 月 23 日
    @wlwr 你的网站抓取非常快
    wlwr
        32
    wlwr  
    OP
       2015 年 5 月 23 日
    @berry10086 当时也有考虑过phantomjs,但等待请求的资源过多,还是选择直接调接口。不过维护成本高些。
    SolLo
        33
    SolLo  
    PRO
       2015 年 5 月 25 日
    只能是订阅号嘛?不知为何搜狗搜不到我想找的服务号啊
    Williamzhang515
        34
    Williamzhang515  
       2015 年 5 月 25 日
    题图似乎无法显示啊
    wlwr
        35
    wlwr  
    OP
       2015 年 5 月 25 日
    @somkanel 搜狗只提供订阅号的数据检索
    wlwr
        36
    wlwr  
    OP
       2015 年 5 月 25 日
    @Williamzhang515 文章封面图的问题修复了,后面订阅的文章会显示封面图
    libraor
        37
    libraor  
       2015 年 5 月 26 日
    @wlwr 采集异常,无法获取数据
    libraor
        38
    libraor  
       2015 年 5 月 26 日
    @wizos 貌似被我玩坏了么。。加进去的都没显示。。
    sinosure
        39
    sinosure  
       2015 年 5 月 27 日
    @wlwr 奇怪,开始能跑,但运行一段时间后就再也不能跑了,始终报错

    listening on port 3000
    <-- GET /
    <-- GET /
    --> GET / 200 337ms -
    --> GET / 200 352ms -
    <-- GET /weixin/oIWsFt0GzJ9B8He5MfCo4DpkeYBg
    <-- GET /favicon.ico
    --> GET /favicon.ico 404 12ms -
    [SyntaxError: Unexpected end of input]
    --> GET /weixin/oIWsFt0GzJ9B8He5MfCo4DpkeYBg 200 3,074ms -
    wlwr
        40
    wlwr  
    OP
       2015 年 5 月 27 日
    @sinosure 前2天搜狗接口做了加密处理,代码有变更,你从GitHub检出最新的代码就可以了
    vchard
        41
    vchard  
       2015 年 5 月 27 日
    这个不错,就是有的文章只有标题没有内容。
    gzany
        42
    gzany  
       2015 年 5 月 27 日
    之前一直在用,很不错!!
    wlwr
        43
    wlwr  
    OP
       2015 年 5 月 27 日
    @vchard 比如哪篇文章? 我排查下是什么问题
    sinosure
        44
    sinosure  
       2015 年 5 月 28 日
    @berry10086 看来还是基于网页的最稳定啊,有考虑开源么
    vchard
        46
    vchard  
       2015 年 5 月 29 日
    无法更新了
    fuckgfw
        47
    fuckgfw  
       2015 年 5 月 29 日
    采集异常,无法获取数据
    berry10086
        48
    berry10086  
       2015 年 5 月 29 日
    @sinosure 会开源的,但是现在还没有完全做好,还有一些问题
    vchard
        49
    vchard  
       2015 年 5 月 29 日
    已经很好了。恢复原装就可以,能更新就行!
    cainiao
        50
    cainiao  
       2015 年 6 月 7 日
    又挂了,无法采集了
    wlwr
        51
    wlwr  
    OP
       2015 年 6 月 7 日
    @cainiao 恢复了。搜狗限制了频率,请求量较多会造成不定时抽风。建议取代码 https://github.com/wlwr/rss 自己搭建一个。
    ulic95
        52
    ulic95  
       2015 年 6 月 18 日
    现在又采集异常了
    wlwr
        53
    wlwr  
    OP
       2015 年 6 月 28 日
    @cainiao @ulic95 抱歉,之前有些忙,已恢复正常。
    WenyiJi
        54
    WenyiJi  
       2015 年 7 月 31 日
    请问lz还在更新这个作品吗?网页打不开了
    globetour
        55
    globetour  
       2016 年 7 月 9 日 via Android
    安装后可以正常用,但是两个小问题。
    1 ,系统后台运行一段时间后自动退出了,不知什么原因。
    2 ,这个能绕过搜狗的反爬机制吗?
    globetour
        56
    globetour  
       2016 年 7 月 9 日
    第 3 个问题
    RSS 里好像是取每次群发的第一篇文章,其余的就没有了。
    knightliao
        57
    knightliao  
       2016 年 12 月 20 日
    目前,微读可以持续提供服务哈

    http://100weidu.com
    knightliao
        58
    knightliao  
       2018 年 6 月 13 日
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2830 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 14:09 · PVG 22:09 · LAX 06:09 · JFK 09:09
    ♥ Do have faith in what you're doing.