整个下载器的实现过程其实挺简单的,有兴趣的可以看我之前总结的过程;
关于Linux和MacOS的版本,当时就是冲着Electron跨平台去写的,结果尝试编译了几次都有问题;= =
我本身也不是搞前端的,希望有大佬能出手相助看看是啥个问题;
用Electron-Vue模板重构了一下代码;
现在各个平台都能够正常使用npm run dev本地开发,npm run build编译了;
1
wushigejiajia01 2020 年 12 月 20 日 via Android
可以爬小姐姐吧?
那真是好东西了 |
2
jasonkayzk OP @wushigejiajia01 只要是微博能看到的图片都是可以爬的。但是不能去水印;
|
3
Tyuans 2020 年 12 月 20 日
批量搬运小姐姐图片到外网
|
4
jasonkayzk OP @Tyuans 哈哈,可以可以~
|
5
anxn 2020 年 12 月 20 日 via Android
Linux 能不能也给一份 release,我编译会报错
|
6
whatalittleboy 2020 年 12 月 20 日
体积有点大,解压后 160 MB,但启动速度挺快的👍👍
|
7
s1th 2020 年 12 月 20 日 via iPhone
别光说,小姐姐图片多的微博是哪个
|
8
jasonkayzk OP @whatalittleboy 体积大是因为 Electron 编译之后本身就太大,项目挺简单的也没用啥东西。= =
|
9
liyiecho 2020 年 12 月 20 日 @anxn #5 我用这个爬 https://github.com/dataabc/weiboSpider
|
12
jasonkayzk OP @anxn 我试着编译一下看看= =
|
13
jasonkayzk OP @wangdefu 如果是 py 脚本的话,设置个 crontab 丢到服务器上跑呗;
|
14
shgdym 2020 年 12 月 20 日
py 写的 很简单的一个微博爬虫: https://github.com/shgdym/weiboSpider
|
16
qxsd 2020 年 12 月 20 日 via Android
有可以爬评论图片的吗
|
18
jasonkayzk OP @qxsd 这个也可以爬,只是稍微麻烦一些了;你可以直接 Fork 这个仓库,然后修改鸭!
|
19
crab 2020 年 12 月 20 日
时间范围判断不只要大于等于开始时间,也还要判断一个小于等于结束时间吧。
|
20
renyiqiu 2020 年 12 月 20 日
不错,用起来
|
21
kingcos 2020 年 12 月 20 日
如果是已编辑是不是就爬不到了?
|
22
jasonkayzk OP @kingcos 这个…,我也不玩微博= =,我也不知道啊!你试试 /呆滞
|
23
justfun 2020 年 12 月 20 日
杀鸡焉用宰牛刀 😅😂。正好昨天用 PHP 写了个微博爬虫 备份了下自己微博的数据。体积才不到 20KB
|
24
limuyan44 2020 年 12 月 20 日
几年前的一个深夜为了爬微博搞笑排行榜的下面的表情包写了个,微博展示的图片算是又压了一遍,记得路径改成 large 就好了,后来倒是爬了不少小姐姐。。
|
26
IsA26hN4DcQDS7Z9 2020 年 12 月 20 日
|
27
jasonkayzk OP @justfun hhhh~ 正好前段时间粗略看了下 Electron,就写了一个呗;😅😅
|
28
JCZ2MkKb5S8ZX9pq 2020 年 12 月 20 日
我也造过这个轮子,我记得获取微博的时候是需要登陆过的 cookie 。然后下载图片没问题,但下载视频的地址没搞(入口用的 wap 版)。
另外借楼问一下,之前搞的时候发现过被夹的图片(会变成灰色图),获得 id 之后也能看到原图。但过太久了,忘了怎么搞了。有大神知道嘛? |
29
jasonkayzk OP @JCZ2MkKb5S8ZX9pq 我的这个是不需要 cookie 的,用微博移动版: https://m.weibo.cn/ ,可以看看这个能不能实现= =
|
30
pikaconan 2020 年 12 月 20 日
|
32
5966 2020 年 12 月 20 日 via iPhone
不错,问问,我就想找一个命名规则是根据微博(首句)内容命名的!
|
33
YouLMAO 2020 年 12 月 20 日 via Android
你确定 pussy 是猫咪,还是对你意有所指
|
34
jasonkayzk OP @5966 这个改一下源码就好了,在寻找图片链接的时候,同时判断一下微博的内容是否符合你的要求就行了!
|
35
someonedeng 2020 年 12 月 21 日
@YouLMAO 老蛇皮了
|
36
liumxz 2020 年 12 月 21 日
没下载地址啊
|
37
liumxz 2020 年 12 月 21 日
看到了 我的
|
38
lwlizhe 2020 年 12 月 21 日
呵,一看就是假的,试都不用试
会写程序的会有女朋友?[手动狗头] |
39
jasonkayzk OP @lwlizhe 啪的一下,很快啊!
|
41
skygee 2020 年 12 月 21 日
这个不怕封 ip 吗
|
43
jasonkayzk OP @skygee 如果不是深度使用,以 JS 单线程和设置的延时来看,这点爬虫流量应该算不了什么吧= =;
|
44
night98 2020 年 12 月 21 日
能爬原图吗?还是普通大图?原图大小一般 3-5Mb 大小
|
45
jasonkayzk OP @night98 应该是原图,是请求返回 json 的"large"字段;
|
46
JCZ2MkKb5S8ZX9pq 2020 年 12 月 21 日
|
47
jasonkayzk OP @JCZ2MkKb5S8ZX9pq 暂时没发现频度限制,本来想嵌入一个 go 并发下载的,后来想了想,万一太猛被封 IP 了呢,所以还是用 JS 吧;
|
48
JCZ2MkKb5S8ZX9pq 2020 年 12 月 21 日
@jasonkayzk
我看了看 log,这个 mobile 版的我也抓过。不过去年请求参数限制过一阵子。所以改用 wap+有效 cookie 了。 # 20190717 已失效 改用 token 验证 尚未破解 目前只能获得前 10 条 但是现在请求参数反而简化了。感觉说不定啥时候微博又会变。 |
49
adm7n 2020 年 12 月 21 日
微博有个好友圈功能,只有互相关注了才能看到好友圈内的微博,请问这种情况是否可以下载图片(我的账号有好友圈权限)。
|
50
fl2d 2020 年 12 月 21 日
她可能只是想让你买只猫
|
51
jasonkayzk OP @JCZ2MkKb5S8ZX9pq 哈哈,这个倒是有可能;爬虫这种一直都不稳定;= =
|
52
jasonkayzk OP @adm7n 这个估计不行,得用 cookie 的方式;可以参考其他人发的解决方案;
|
53
jasonkayzk OP @fl2d 养了的,哈哈
|
54
justfun 2020 年 12 月 21 日
|
55
nspih 2020 年 12 月 21 日
年轻人不讲武德,居然来爬、来偷袭我 69 岁老同志的微博。这好吗?这不好。希望你耗子尾汁
|
56
ab 2020 年 12 月 21 日 via iPhone
有点意思啊
|
58
jasonkayzk OP @ab 谢谢夸奖,哈哈
|
59
jasonkayzk OP @nspih 二百多公斤的英国大理石都爬不动我的一个微博;
|
60
JCZ2MkKb5S8ZX9pq 2020 年 12 月 21 日
|
61
justfun 2020 年 12 月 21 日
@JCZ2MkKb5S8ZX9pq PC Web 端 。https://weibo.com/ 到这里登录 。如果是旧版界面的话 右上角头像偏下的位置有一个立即体验新版微博的入口
|
62
jackrebel 2020 年 12 月 21 日
这个是个好玩的东西。
|
63
jasonkayzk OP @jackrebel 哈哈,谢谢夸奖~
|
64
terrywater 2020 年 12 月 21 日
@wushigejiajia01 爬妹子? 好有画面感。上攀双峰,下探双叶。
|
65
terrywater 2020 年 12 月 21 日
@jasonkayzk 你闪了吗?你没有闪!
|
66
qzhai 2020 年 12 月 22 日
MD, 有女票又有猫
|
67
iyg429 2020 年 12 月 24 日 via iPhone
有没有微博视频下载?
|
68
iyg429 2020 年 12 月 24 日 via iPhone
微博好多想看的我连续剧 还是高清的。如果可以选定日期下载好完美
|
69
jasonkayzk OP @iyg429 是可以添加视频下载的,我请求的那个 json 里面有视频的流地址;但是一般视频挺大的我就没有加= =;
|
70
mojimomo 2020 年 12 月 24 日
我批量下了很多图片,但是发现个问题,很多图片下载不完整都是一条条线。是不是下载的模块还需要优化下?
|
71
jasonkayzk OP @mojimomo 可能是因为图片木有下载完;等全部下载完应该就全显示了;如果下了一半,会出现这个问题;
|
72
overthemoon 2020 年 12 月 24 日
收藏了,缺一个叫我帮忙下载微博图片的女朋友
|
73
jasonkayzk OP @overthemoon 哈哈,肯定会有的!
|
74
mojimomo 2020 年 12 月 25 日
|
75
dongxy688 2020 年 12 月 25 日
爬下来放外网卖了
|
76
jasonkayzk OP @dongxy688 别把,是个狼人!
|
77
jasonkayzk OP @mojimomo 多谢夸奖哈,我最近准备回家。回家之后,看看能不能重构一下代码,把这个修复一下;顺便支持跨平台!
|
79
jasonkayzk OP @anxn Linux 版本已经搞定了;
|
80
jasonkayzk OP 用模板重构了代码,加上了 Linux 和 Mac 的 Release ;
|
81
anxn 2021 年 1 月 8 日 via Android
@jasonkayzk 已用上,多谢
|
82
ririliu 2021 年 1 月 25 日
一直会有 js 报错:
Uncaught Exception: Error: read ECONNREST at _errnoException(util.js:1024:11) at TLSWrap.onread(net.js:615:25) |
83
jasonkayzk OP |
84
ririliu 2021 年 1 月 26 日
@jasonkayzk 我用的就是这个版本,报错的图片我查看了下会不完整(下面有一部分是没有内容的),是和网络有关系?不知道能否加个重试的机制,某张图片重试 n 次还失败就跳过,因为现在这样报错每次弹出来我都得点一下,下载才能继续,我下的某个微博比如 2000 多张图片,就得一直守着点了几十次报错的弹窗
|
85
jasonkayzk OP @ririliu 图片下载不完全应该就是网络的原因了,这个问题我也碰到过。这个问题我看一下怎么解决吧。在下一个版本解决了!
|
86
ririliu 2021 年 2 月 1 日
@jasonkayzk 已经更新了吗? releases 里面没看到
|
87
jasonkayzk OP @ririliu 最近没什么时间,在搞毕设…!😓
|
88
moonkiller 2021 年 2 月 13 日
@jasonkayzk 求支持视频😭
|
89
jasonkayzk OP @moonkiller 会考虑添加视频;
|
90
ririliu 2021 年 3 月 8 日
还会更新嘛。。。
|
91
jasonkayzk OP @ririliu 会更新,但是现在在搞毕业论文。估计要等一段时间了。
|
92
ririliu 2021 年 5 月 19 日
@jasonkayzk 呃,我是不是得自己动手改代码了...
|
93
jasonkayzk OP @ririliu #92 不好意思哈,最近都没在搞这个= =,估计还要一段时间。如果你比较急的话可以 Fork 下来自己改~
|
94
ririliu 2021 年 6 月 9 日
@jasonkayzk https://github.com/JasonkayZK/weiboPicDownloader/issues/5, 这个是什么问题呢,运行不起来
|