V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
codeduan
V2EX  ›  Node.js

写了一个中国大陆高校列表爬虫,有需要的可以试下

  •  
  •   codeduan · 2019 年 3 月 27 日 · 6777 次点击
    这是一个创建于 2487 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这几天恰好有个需求用到,就写了个。目前已经包含一份完整 json 了。

    https://github.com/codeudan/crawler-china-mainland-universities

    数据按省份分类,支持本科,专科,民办,独立院校分类。

    18 条回复    2019-04-01 10:08:28 +08:00
    kukumao
        1
    kukumao  
       2019 年 3 月 27 日
    爬到的数据 发个看看
    xiangyuecn
        2
    xiangyuecn  
       2019 年 3 月 27 日
    打破 0 star
    MiRECoFu
        3
    MiRECoFu  
       2019 年 3 月 27 日 via Android
    有各专业高考录取分的爬虫吗
    GaryBI1STP
        4
    GaryBI1STP  
       2019 年 3 月 27 日 via Android
    有重复数据
    Vegetable
        5
    Vegetable  
       2019 年 3 月 27 日
    codeduan
        6
    codeduan  
    OP
       2019 年 3 月 27 日
    仓库的 china_mainland_universities.json 就是刚刚爬的。
    xfspace
        7
    xfspace  
       2019 年 3 月 27 日 via Android
    CHSI 官方权威
    还能抓 211 985 标签
    codeduan
        8
    codeduan  
    OP
       2019 年 3 月 27 日
    @gary36 修正这个 bug 了。
    codeduan
        9
    codeduan  
    OP
       2019 年 3 月 27 日
    @xfspace 多谢提醒。
    codeduan
        10
    codeduan  
    OP
       2019 年 3 月 27 日
    @kukumao china_mainland_universities.json 就是。
    zouyu1412
        11
    zouyu1412  
       2019 年 3 月 27 日
    问个小白问题:是我的 node 版本不对吗 这行 async function main(){ 报错:SyntaxError:Unexpected token function
    codeduan
        12
    codeduan  
    OP
       2019 年 3 月 27 日
    @zouyu1412 你的 node 版本低于 8 吗?
    xzc19970719
        13
    xzc19970719  
       2019 年 3 月 27 日
    为啥网页进你这个帖子 背景就会变黑???
    zgcwkj
        14
    zgcwkj  
       2019 年 3 月 27 日
    @xzc19970719 V2EX 上的模块,有的主题是不一样的
    zouyu1412
        15
    zouyu1412  
       2019 年 3 月 27 日
    @codeduan 嗯 有点低 6.2 应该是版本的原因
    PHPJit
        16
    PHPJit  
       2019 年 3 月 27 日
    参照 5L 的地址,写了一个 php 版本
    https://github.com/teg1c/crawler-china-mainland-universities-by-php
    lizliz
        17
    lizliz  
       2019 年 3 月 28 日
    有没有办法找到学校里的组织架构,求!
    codeduan
        18
    codeduan  
    OP
       2019 年 4 月 1 日
    数据源改成学信网的了。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   981 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 19:03 · PVG 03:03 · LAX 11:03 · JFK 14:03
    ♥ Do have faith in what you're doing.