V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
WildCat
V2EX  ›  分享创造

Scylla——开源免费的代理 IP 池,更新到 1.1 版本:更好的验证策略、更简单的使用方式、改进的 Web UI

  •  5
     
  •   WildCat · 2018 年 5 月 31 日 · 15589 次点击
    这是一个创建于 2785 天前的主题,其中的信息可能已经有所发展或是发生改变。

    banner

    image image image image

    GitHub: https://github.com/imWildCat/scylla

    几天前发布了 Scylla,感谢大家的帮助,一度冲到 GitHub Trending 前五的位置。

    欢迎在贴中留下您的邮箱,我可以发送你 1.1 版本的 demo 地址(暂时不打算公开发布)。如果您想留邮箱,请注意:

    • 可以使用 base64 编码
    • 在您的回复的第一行或者最后一行写(含有邮箱的那一行请不要写其他东西
    • 也可以用 [at] 或者 # 替代 @

    根据大家的在原帖里的建议,这几天又添加了如下功能(仅选重要的展示):

    1. 改进的 Web UI

    2. HTTP 正向代理服务器

    查看文档:https://scylla.wildcat.io/zh/stable/#http

    3. 验证策略

    查看文档:https://scylla.wildcat.io/zh/stable/#id9

    第 1 条附言  ·  2018 年 5 月 31 日
    已知一个小问题,将在 1.1.2 版本修复( 15 分钟内)
    第 2 条附言  ·  2018 年 5 月 31 日

    最新版的 Docker build 有点问题,如果运行后没有任何 IP,请先用 1.0 版本:

    docker run -d -p 8899:8899 -v /var/www/scylla:/var/www/scylla --name scylla wildcat/scylla:1.0
    

    十分抱歉

    第 3 条附言  ·  2018 年 6 月 1 日
    Docker 问题已经完全修复,非常抱歉!
    170 条回复    2018-09-23 09:54:35 +08:00
    1  2  
    LeungJZ
        1
    LeungJZ  
       2018 年 5 月 31 日 via iPhone   ❤️ 1
    前排资瓷。
    wjm2038
        2
    wjm2038  
       2018 年 5 月 31 日 via Android
    wjm2038#gmail.com
    支持一下
    CodeDrift
        3
    CodeDrift  
       2018 年 5 月 31 日
    MzA5ODcxMjcxQHFxLmNvbQ==
    支持一下 谢谢啦
    moack
        4
    moack  
       2018 年 5 月 31 日
    dHNoZW5nQG1vYWNrLm5ldA==


    谢啦
    imyip
        5
    imyip  
       2018 年 5 月 31 日
    docker 部署失败了?自动退出?
    moming87
        6
    moming87  
       2018 年 5 月 31 日 via Android
    MzMxNTUxQEdtYWlsLmNvbQ==
    体验一下
    WildCat
        7
    WildCat  
    OP
       2018 年 5 月 31 日
    @imyip 已知一个小问题,将在 1.1.2 版本修复( 15 分钟内)
    wwek
        8
    wwek  
       2018 年 5 月 31 日
    @imyip 和你一样
    1507265844
        9
    1507265844  
       2018 年 5 月 31 日 via Android
    d3dlaXl1YW5kaW5nQGdtYWlsLmNvbQ==
    了解一下
    WildCat
        10
    WildCat  
    OP
       2018 年 5 月 31 日
    @wwek 在修复,docker build 太慢了。。。
    finely
        11
    finely  
       2018 年 5 月 31 日
    MjQzNzUwNzgyQHFxLmNvbQ==
    支持楼主
    raychar
        12
    raychar  
       2018 年 5 月 31 日
    cmF5Y2hhckBhbGl5dW4uY29t
    支持楼主
    WildCat
        13
    WildCat  
    OP
       2018 年 5 月 31 日
    @wwek
    @imyip

    已修复!
    leonnadesico
        14
    leonnadesico  
       2018 年 5 月 31 日 via Android
    d2FuZ2p1bjQyNDIxMUAxMjYuY29t
    oIMOo
        15
    oIMOo  
       2018 年 5 月 31 日
    Ym93ZW5hY2hhdCNnbWFpbC5jb20=
    WildCat
        16
    WildCat  
    OP
       2018 年 5 月 31 日   ❤️ 1
    @wwek
    @imyip

    似乎还有点小问题,我找下原因。pyppeteer 这个库太坑 b 了
    Backlitz
        17
    Backlitz  
       2018 年 5 月 31 日 via Android
    enl3OTcxMkBnbWFpbC5jb20=
    感谢楼主
    veau
        18
    veau  
       2018 年 5 月 31 日
    veau#foxmail.com

    感谢楼主
    bSty
        19
    bSty  
       2018 年 5 月 31 日
    dXRlbWl0ZmtAZ21haWwuY29t
    支持一下 感谢
    fzudust
        20
    fzudust  
       2018 年 5 月 31 日 via Android
    zjz02936341#163.com
    支持
    fzudust
        21
    fzudust  
       2018 年 5 月 31 日 via Android
    zjz02936314#163.com
    刚刚邮箱打错了
    maooyer
        22
    maooyer  
       2018 年 5 月 31 日
    bWFvbWFvaGFja0BnbWFpbC5jb20=
    支持支持
    xxhjkl
        23
    xxhjkl  
       2018 年 5 月 31 日
    eHhoamtsMUBnbWFpbC5jb20=
    前排支持,求发
    rails3
        24
    rails3  
       2018 年 5 月 31 日
    MTM0NzIwMEAxNjMuY29t
    1024bytes
        25
    1024bytes  
       2018 年 5 月 31 日
    aXB2NC5rZXZpbkBnbWFpbC5jb20=

    感谢楼主
    Finch
        27
    Finch  
       2018 年 5 月 31 日 via iPhone
    wingoo
        28
    wingoo  
       2018 年 5 月 31 日
    d2luZ29nb29AZ21haWwuY29t

    感谢
    whoami9894
        29
    whoami9894  
       2018 年 5 月 31 日 via Android
    d2hvYW1pOTg5NEBnbWFpbC5jb20=

    感谢
    sgq1128
        30
    sgq1128  
       2018 年 5 月 31 日 via Android
    ODEzODIyNzQ0QHFxLmNvbQ==
    好人一生平安
    crayhuang
        31
    crayhuang  
       2018 年 5 月 31 日
    cray.huang [at] gmail
    warcraft1236
        32
    warcraft1236  
       2018 年 6 月 1 日
    mac 不支持吗?
    WildCat
        33
    WildCat  
    OP
       2018 年 6 月 1 日
    @warcraft1236 支持,Python 3.6.5 在 Mac 上有个 bug,具体看 issues。我就是在 Mac 上开发的
    WildCat
        34
    WildCat  
    OP
       2018 年 6 月 1 日
    @crayhuang 你这个回复真的是气死我了:

    1. 先是研究过滤空格
    2. 然后发现智障 AI 还是不识别你这个回复是邮箱地址
    3. debug 办个小时发现你没写 .com
    ahbing
        35
    ahbing  
       2018 年 6 月 1 日 via Android
    givemearainbowlife#gmail.com
    vipdomain
        36
    vipdomain  
       2018 年 6 月 1 日
    v2 用户名 @vip.qq.com
    thx
    WildCat
        37
    WildCat  
    OP
       2018 年 6 月 1 日   ❤️ 1
    @vipdomain 你这让我程序怎么爬你邮箱啊?天呢我一个一个手工爬么
    crayhuang
        38
    crayhuang  
       2018 年 6 月 1 日 via iPhone
    @WildCat 😂 我错了! 😅 不是故意的
    warcraft1236
        39
    warcraft1236  
       2018 年 6 月 1 日
    @WildCat 可是我 pip install 了之后,启动不起来
    warcraft1236
        40
    warcraft1236  
       2018 年 6 月 1 日
    @WildCat
    报错 log 如下

    2018-06-01 - 02:17:02 DEBUG: create new db connection
    Traceback (most recent call last):
    File "/usr/local/bin/scylla", line 11, in <module>
    sys.exit(app_main())
    File "/usr/local/lib/python3.6/site-packages/scylla/cli.py", line 84, in app_main
    sys.exit(main(sys.argv[1:]))
    File "/usr/local/lib/python3.6/site-packages/scylla/cli.py", line 48, in main
    from scylla.proxy import start_forward_proxy_server_non_blocking
    File "/usr/local/lib/python3.6/site-packages/scylla/proxy/__init__.py", line 1, in <module>
    from .server import start_forward_proxy_server_non_blocking, start_forward_proxy_server
    File "/usr/local/lib/python3.6/site-packages/scylla/proxy/server.py", line 14, in <module>
    httpclient.AsyncHTTPClient.configure("tornado.curl_httpclient.CurlAsyncHTTPClient")
    File "/usr/local/lib/python3.6/site-packages/tornado/httpclient.py", line 302, in configure
    super(AsyncHTTPClient, cls).configure(impl, **kwargs)
    File "/usr/local/lib/python3.6/site-packages/tornado/util.py", line 354, in configure
    impl = import_object(impl)
    File "/usr/local/lib/python3.6/site-packages/tornado/util.py", line 181, in import_object
    obj = __import__('.'.join(parts[:-1]), None, None, [parts[-1]], 0)
    File "/usr/local/lib/python3.6/site-packages/tornado/curl_httpclient.py", line 23, in <module>
    import pycurl # type: ignore
    ImportError: pycurl: libcurl link-time ssl backend (openssl) is different from compile-time ssl backend (none/other)
    WildCat
        41
    WildCat  
    OP
       2018 年 6 月 1 日
    @warcraft1236 你电脑没装 lib-curl-dev,你自己 Google 去吧,不同系统不一样
    HFX3389
        42
    HFX3389  
       2018 年 6 月 1 日
    Y2NjcGNjcEBxcS5jb20=
    感谢楼主
    xiaofengchen
        43
    xiaofengchen  
       2018 年 6 月 1 日 via Android
    eGllX2NhbmdAb3V0bG9vay5jb20
    支持~
    safilar
        44
    safilar  
       2018 年 6 月 1 日
    dTUyMDc1NDFAZ21haWwuY29t
    HuaBeau
        45
    HuaBeau  
       2018 年 6 月 1 日
    NDI5NDYwMTY1QHFxLmNvbQ==

    支持楼主
    80868075
        46
    80868075  
       2018 年 6 月 1 日 via Android
    后排支持楼主
    MzE1NDk4MTYxOUBxcS5jb20=
    safilar
        47
    safilar  
       2018 年 6 月 1 日
    @Scylla 部署好多久会有 IP 进来啊
    safilar
        48
    safilar  
       2018 年 6 月 1 日
    @WildCat 部署好多久会有 IP 进来啊
    fuckshiter
        49
    fuckshiter  
       2018 年 6 月 1 日
    MzMyODk5MTVAcXEuY29t

    非常感谢,支持楼主的
    isin
        50
    isin  
       2018 年 6 月 1 日
    aVFpZmVuZ0BIb3RtYWlsLmNvbQ==
    islee
        51
    islee  
       2018 年 6 月 1 日
    c2xlZS5yZXBhbGNlQGdtYWlsLmNvbQo=
    gcod
        52
    gcod  
       2018 年 6 月 1 日
    emh1Y2VAdnYxMjM0LmNu
    chi1st
        53
    chi1st  
       2018 年 6 月 1 日
    支持支持
    eXVjaDEyMzBAcXEuY29t
    frozenthrone
        54
    frozenthrone  
       2018 年 6 月 1 日
    bW9vbi56anVAZ21haWwuY29t

    thanks
    ch940621
        55
    ch940621  
       2018 年 6 月 1 日
    Y2g5NDA2MjFAcXEuY29t
    资瓷一下
    ucmp0001
        56
    ucmp0001  
       2018 年 6 月 1 日
    支持
    bXIuZnJpZW5kbHlAMTYzLmNvbQ==
    cedared
        57
    cedared  
       2018 年 6 月 1 日
    MzQxNDUwNkBnbWFpbC5jb20=
    lingdong
        58
    lingdong  
       2018 年 6 月 1 日
    bGluZ2Rvbmc3NTg2QGdtYWlsLmNvbQ==
    支持下
    woyao
        59
    woyao  
       2018 年 6 月 1 日
    cndkc3FjOTg1NDBAY2hhY3VvLm5ldA==
    thx
    gmx1234
        60
    gmx1234  
       2018 年 6 月 1 日
    Z214MTIzNEAxMjYuY29t
    支持 谢谢
    freemagico
        61
    freemagico  
       2018 年 6 月 1 日
    dGdseTMwN0BnbWFpbC5jb20=

    赞美楼主
    shore507
        62
    shore507  
       2018 年 6 月 1 日 via Android
    shorecw#gmail.com
    支持支持
    zhangchioulin
        63
    zhangchioulin  
       2018 年 6 月 1 日
    Z21AY29yZWhlbGwuY29t

    蟹蟹
    gqlxj1987
        64
    gqlxj1987  
       2018 年 6 月 1 日
    Z3FseGoxOTg3QGdtYWlsLmNvbQ==

    谢谢
    qshujun
        65
    qshujun  
       2018 年 6 月 1 日 via Android
    cXNodWp1bkBnbWFpbC5jb20=
    多谢,辛苦啦
    hourann
        66
    hourann  
       2018 年 6 月 1 日 via iPhone
    scylla,这个命名是取自越狱吗?
    azhi
        67
    azhi  
       2018 年 6 月 1 日 via Android
    YWlrdXVlckBnbWFpbC5jb20=

    爬点小东西美滋滋
    yujizmq
        68
    yujizmq  
       2018 年 6 月 1 日
    bWlrb3RvLnl1NTFAZ21haWwuY29t
    thx
    mutiple
        69
    mutiple  
       2018 年 6 月 1 日
    emhhbmd4dWFucjExQDEyNi5jb20=
    蟹蟹
    vipwpcom
        70
    vipwpcom  
       2018 年 6 月 1 日
    MjExNTE2MjEyQHFxLmNvbQ==
    支持 谢谢
    alwayshere
        71
    alwayshere  
       2018 年 6 月 1 日
    请问你这个是爬取各大代理网站还是真正的爬取代理 ip 再来验证?
    SPACELAN
        72
    SPACELAN  
       2018 年 6 月 1 日
    bHloYW1uQHFxLmNvbQ==

    谢谢
    yuluofanchen
        73
    yuluofanchen  
       2018 年 6 月 1 日
    bHlubjEyOTk5QDE2My5jb20=

    谢谢~
    kingmo888
        74
    kingmo888  
       2018 年 6 月 1 日
    bHpoLTM5MTZAMTYzLmNvbQ==
    感谢楼主,搭个车!
    Asugar
        75
    Asugar  
       2018 年 6 月 1 日
    d2hvdG9AbXNuLmNvbQ== 谢谢
    Backlitz
        76
    Backlitz  
       2018 年 6 月 1 日 via Android
    zyw9712#gmail.com

    不知道为什么一直没有收到,是不是之前格式错了?
    YY
        77
    YY  
       2018 年 6 月 1 日
    djJleEBtYWlsaW5hdG9yLmNvbQ==

    谢谢
    Bisn
        78
    Bisn  
       2018 年 6 月 1 日
    YmlzbkBxcS5jb20=
    Bisn
        79
    Bisn  
       2018 年 6 月 1 日
    请问怎么和 Scrapy 集成?
    感谢!
    Bisn
        80
    Bisn  
       2018 年 6 月 1 日
    http://api.ipify.org 这个网站估计有限制,经常不成功,返回的 ip 还是原先的
    http://ip.3322.net/ 换成这个网站没问题
    eastrd
        81
    eastrd  
       2018 年 6 月 1 日
    ZTB0M3J4QGdtYWlsLmNvbQ==

    谢谢
    yolan
        82
    yolan  
       2018 年 6 月 1 日
    dHJhc2gyNTgwQDE2My5jb20K
    3q
    taozywu
        83
    taozywu  
       2018 年 6 月 1 日
    taozywu#qq.com
    咫尺一下
    huijian222
        84
    huijian222  
       2018 年 6 月 1 日
    bGFpamluYmFuZzIwMDlAZ21haWwuY29tCg==
    3q
    zxy
        85
    zxy  
       2018 年 6 月 1 日
    aXp4eUBsaXZlLmNvbQ==
    Sin
        86
    Sin  
       2018 年 6 月 1 日
    c2lucnVlQGdtYWlsLmNvbQ==
    mmnnyycc
        87
    mmnnyycc  
       2018 年 6 月 1 日
    MjYzMTMzODQ0MEBxcS5jb20=
    mosliu
        88
    mosliu  
       2018 年 6 月 1 日
    bHgwMzE5QGdtYWlsLmNvbQ==
    谢谢楼主~~
    ilovebaicai
        89
    ilovebaicai  
       2018 年 6 月 1 日
    Y2ZxdHhkMUBnbWFpbC5jb20=
    好人一生平安
    chinayb
        90
    chinayb  
       2018 年 6 月 1 日
    Y24ueWJAZm94bWFpbC5jb20=
    Mrkon
        91
    Mrkon  
       2018 年 6 月 1 日
    MTczMjkyNjE5QHFxLmNvbQ==
    谢谢
    Fechin
        92
    Fechin  
    PRO
       2018 年 6 月 1 日
    bXIuZmVjaGluQGdtYWlsLmNvbQ==
    多谢
    demoxu
        93
    demoxu  
       2018 年 6 月 1 日
    ZGVtb3h1MjAwOUBnbWFpbC5jb20=

    支持一下,多谢
    robinlovemaggie
        94
    robinlovemaggie  
       2018 年 6 月 1 日
    cm9iaW4ud2hrQGdtYWlsLmNvbQ==
    正好需要写一个蕾丝工具,谢谢啦~~
    byron
        95
    byron  
       2018 年 6 月 1 日
    Ynlyb25qaWFAZ21haWwuY29t

    吼啊。
    warcraft1236
        96
    warcraft1236  
       2018 年 6 月 1 日
    @WildCat mac 还需要装这个吗?
    Caratpine
        97
    Caratpine  
       2018 年 6 月 1 日
    做开源不易,支持一下。
    yyminmax
        98
    yyminmax  
       2018 年 6 月 1 日
    bWlubWF4eXlAMTYzLmNvbQo=


    谢谢了~
    liujunsheng
        99
    liujunsheng  
       2018 年 6 月 1 日
    YUBsaXVqdW5zaGVuZy5jb20=
    frankmdong
        100
    frankmdong  
       2018 年 6 月 1 日
    c3VwZXJmcmFua2llNjIxQGdtYWlsLmNvbQ==
    感谢
    1  2  
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   928 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 42ms · UTC 21:21 · PVG 05:21 · LAX 13:21 · JFK 16:21
    ♥ Do have faith in what you're doing.