表情包是大家聊天的时候的必备，之前在知乎上爬取了一些表情包，但是已经用的久了该换新的了，所以我们再通过爬虫技术去微博爬一波表情包吧。
本来这个爬虫是想作为讲python异步爬虫的一个例子的，昨天代码写完测试了一下，结果是我微博账号和ip都直接被封了，然后我去搜了一下别人写的异步爬虫教程，测试用的都是些没啥反爬措施的小网站。于是今天改了下代码，就先整个普普通通的微博小爬虫算了。鉴于之前IP被封，所以这次在在访问微博的时候我加上了代理。关于选择代理也是让人很烦恼的事，网上的代理太多了，靠谱的太少。这里给有代理烦恼的同学推荐亿牛云代理，经过一番测试对比选的最靠谱的代理商。具体的爬虫代码就不一一展示了，这里重点跟大家分享下在使动态转发类型的代理示例。
代码语言：javascript复制// 要访问的目标页面
string targetUrl = "http://httpbin.org/ip";
// 代理服务器(产品官网 www.16yun.cn)
string proxyHost = "http://t.16yun.cn";
string proxyPort = "31111";
// 代理验证信息
string proxyUser = "username";
string proxyPass = "password";
// 设置代理服务器
WebProxy proxy = new WebProxy(string.Format("{0}:{1}", proxyHost, proxyPort), true);
ServicePointManager.Expect100Continue = false;
var request = WebRequest.Create(targetUrl) as HttpWebRequest;
request.AllowAutoRedirect = true;
request.KeepAlive = true;
request.Method = "GET";
request.Proxy = proxy;
//request.Proxy.Credentials = CredentialCache.DefaultCredentials;
request.Proxy.Credentials = new System.Net.NetworkCredential(proxyUser, proxyPass);
// 设置Proxy Tunnel
// Random ran=new Random();
// int tunnel =ran.Next(1,10000);
// request.Headers.Add("Proxy-Tunnel", String.valueOf(tunnel));
//request.Timeout = 20000;
//request.ServicePoint.ConnectionLimit = 512;
//request.UserAgent = "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.82 Safari/537.36";
//request.Headers.Add("Cache-Control", "max-age=0");
//request.Headers.Add("DNT", "1");
//String encoded = System.Convert.ToBase64String(System.Text.Encoding.GetEncoding("ISO-8859-1").GetBytes(proxyUser ":" proxyPass));
//request.Headers.Add("Proxy-Authorization", "Basic " encoded);
using (var response = request.GetResponse() as HttpWebResponse)
using (var sr = new StreamReader(response.GetResponseStream(), Encoding.UTF8))
{
string htmlStr = sr.ReadToEnd();访问微博除了像代理和一些反爬机制需要我们做好以外并没有什么难度，到此这篇关于Python模拟登录微博并爬取表情包的文章就介绍到这了，大家有哪些意见可以发出来一起交流交流。
若有收获，就点个赞吧
