java使用HttpClient 4.x实现新浪微博的登录

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 4869 天前的主题，其中的信息可能已经有所发展或是发生改变。

最近工作需要爬新浪微博的名人堂微博，先是用新浪提供的sdk做了一套，结果客户的网络环境是要用代理的，这样在调用sdk的时候会报错，报的错和一个网上的贴子基本一样：http://forum.open.weibo.com/read.php?tid=48600。就像这个帖子，到现在没有人说出解决方案。所以现在打算直接使用HttpClient 4.x爬。

希望有经验的说下登录的过程

微博

sdk

新浪

14 条回复 • 1970-01-01 08:00:00 +08:00

twm

2012 年 9 月 17 日

不用新浪api不好弄吧

explon

2012 年 9 月 17 日

不用 SDK 累死你

holmesabc

2012 年 9 月 17 日

自己改一下SDK的源码不好一点

m_z

2012 年 9 月 17 日

@twm 的确

@explon 同感

@holmesabc 有这样想过，只是sdk源码也是用的HttpClient实现的，对代理也是给HttpClient设置了代理。你是怎样的改源码的思路呢？

cooiky

2012 年 9 月 18 日

oauth

sohoer

2012 年 9 月 18 日

绑定登录后的COOKIE，应该就很简单了，

m_z

2012 年 9 月 18 日

@sohoer 意思是拿到手动登录成功的cookie么？

@cooiky 什么思路呢？

cooiky

2012 年 9 月 18 日

open.weibo.com

zoran

2012 年 9 月 18 日

方法一重写sdk里httpclient部分代码老版的httpclient搞不定可以尝试使用httpcomponent替换
方法二有点麻烦抓多抓快了还会被封号封ip 一般是用wap版weibo.cn做入口模拟登陆，然后设置拿到的cookie 一段时间内就不用在登陆。。开抓

m_z

2012 年 9 月 19 日

@zoran 觉得方法一比较靠谱，谢谢~~

hetaoblog

2012 年 9 月 19 日

调用sdk前设置下jvm代理

m_z

2012 年 9 月 19 日

@hetaoblog 这是什么原理啊！？

hetaoblog

2012 年 9 月 19 日

@m_z

http://docs.oracle.com/javase/6/docs/technotes/guides/net/proxies.html

简单的说，如果客户使用http代理，调用sdk前做如下设置应该可以
System.setProperty("http.proxyHost", "webcache.mydomain.com");
System.setPropery("http.proxyPort", "8080");

m_z

2012 年 9 月 19 日

@hetaoblog 长见识了，谢谢！