今天刚开始做毕设....好吧，的确有点晚。我的毕设设计需要爬取豆瓣的电影推荐，于是就需要解析爬取下来的html，之前用Python玩过解析，但目前我使用的是C#，我觉得C#不比python差，有微软大大在，这个不需要担心，主要还是生态问题。查了下资料，发现Html Agility Pack是比较好的，当然还有其他的，我就不说了，主要使用它做的。
官网地址(可以自己去下载dll):
http://html-agility-pack.net/select-nodes
参考:Html Agility Pack基础类介绍及运用
代码设计:
代码语言：javascript复制static void complete(object o, AsyncCompletedEventArgs e)
{
// 开始解析html
var doc = new HtmlDocument();
doc.Load( "E:程序文件C#程序代码ValidateConsoleApplication1movie.txt", Encoding.UTF8);
List<string> movie = new List<string>();
//
HtmlNodeCollection nodeCollection = doc.DocumentNode.SelectNodes("//ul/li[ class="title"]");
foreach (HtmlNode n in nodeCollection)
{
Console.WriteLine(n.InnerHtml.Trim());
movie.Add(n.InnerText.Trim());
}
//获取豆瓣最受欢迎影评
HtmlNodeCollection nodeCollection1 = doc.DocumentNode.SelectNodes("//div[ class="review-bd"]/h3");
foreach (HtmlNode n in nodeCollection1)
{
Console.WriteLine(n.InnerHtml.Trim());
movie.Add(n.InnerText.Trim());
}
foreach(var m in movie)
{
Console.WriteLine(m);
}
File.Delete( "E:程序文件C#程序代码ValidateConsoleApplication1movie.txt");
}
static void Main(string[] args)
{
Console.BufferHeight = 10000;
Console.BufferWidth = 10000;
string moviePath = "E:程序文件C#程序代码ValidateConsoleApplication1movie.txt";
WebClient wc = new WebClient();
wc.UseDefaultCredentials = true;
wc.DownloadFileAsync(new Uri("https://movie.douban.com/"), moviePath);
wc.DownloadFileCompleted = new AsyncCompletedEventHandler(complete);
Console.Read();
}对于WebClient文档，请看https://msdn.microsoft.com/zh-cn/library/system.net.webclient(v=vs.110).aspx
