过完年回来，业余时间一直在独立开发一个小程序。主要数据是8000+个视频和10000+篇文章，并且数据会每天自动更新。

nc文件的处理方式比较多，可以用MATLAB、JAVA、C、python或者其他的语言。我这两天折腾用python读取nc文件，查阅很多资料，左拼右凑的终于读出来了。

1，引言《Scrapy的架构初探》一文讲解了Scrapy的架构，本文就实际来安装运行一下Scrapy爬虫。本文以官网的tutorial作为例子，完整的代码可以在github上下载。2，运行环境配置...

目标网站和上一次一样,可参考：http://dingbo.blog.51cto.com/8808323/1597695

上面也是验证Scrapy框架安装成功，因为我们进行了import scrapy没有进行报错。

ScrapySplash 是一个 Scrapy 中支持 JavaScript 渲染的工具，本节来介绍一下它的安装方式。ScrapySplash 的安装分为两部分，一个是是 Splash 服务的安装，安装方式是通过 Docker，安装之后会启动一个 Splash 服务，我们可以通...

首先我是在python3的环境上面完成的。我保留了python2的版本，然后安装python3的版本。然后在安装scrapy的过程中出现的错误，以及切换python版本后出现的错误。一、安装python3...

我们可以通过scrapy命令行工具来控制Scrapy， 这里我们使用了“Scrapy tool”这么一个词，用来区分他们的子命令，那些通常我们称为 “commands”,或者 “Scrapy commands”....

Scrapyrt 为 Scrapy 提供了一个调度的 HTTP 接口，有了它我们不需要再执行 Scrapy 命令而是通过请求一个 HTTP 接口即可调度 Scrapy 任务，Scrapyrt 比 Scrapyd 轻量级，如果不需要分布式多任务的话可以简单使用 Scrapyrt ...

如果想要大规模抓取数据，那么一定会用到分布式爬虫，对于分布式爬虫来说，我们一定需要多台主机，每台主机多个爬虫任务，但是源代码其实只有一份。那么我们需要做的就是将一份代码同时部署到多台主机上来协同运行，那么怎么去部...