本文内容
- 关于Scrapy方法及常见安装问题总结
- 日常一练--Python作业
Scrapy方法及常见安装问题总结
小编学习爬虫的时候，遇到很多Scrapy安装的问题，其实问题方面都差不多，今天小编给大家整理一下Scrapy的安装教程，希望日后其他的小伙伴在安装的时候不再六神无主，具体的教程如下。
Scrapy是Python网络爬虫的一个框架，十分好用，深得大家的青睐，其工作原理，在在此就不赘述了。
1、正常我们在Python库的时候，只需要利用cmd命令打开命令行窗口，然后输入pip install 库，就可以正常安装了，但是在安装Scrapy的时候，输入pip install scrapy之后往往会碰到下图的问题。
2、这个问题的出现，是因为我们缺乏libxml2安装包。现在只要我们安装这个包之后，就可以顺利安装scrapy了。给大家安利一个福利，介绍给大家一个非常实用的Python包网站，这个网站很神奇，里边的Python包专门用于Windows下的安装的，如下图所示。
3、之后在该网站上查找lxml，也可以输入Ctrl f进行查找，找到之后如下图所示。
4、点击“lxml”，找到lxml安装包，如下图所示。找到对应自己Python版本的lxml安装包，小编的电脑是64位的，而且Python版本是Python3.4，所以找到下图红色框框的安装包，点击即可进行下载。同理，其他的Python3.5、Python3.6、Python3.7的安装包根据自己的情况一一对应即可。
5、然后去下载的目录，将lxml进行安装即可，输入安装命令pip install lxml-4.2.1-cp34-cp34m-win_amd64.whl即可。
6、lxml-4.2.1-cp34-cp34m-win_amd64.whl环境安装完成之后，再重新输入pip install scrapy即可顺利安装了，不会再报错了，如下图所示。
7、输入pip list可以查看已经安装的scrapy包，如下图所示。
8、之后我们就可以正常使用scrapy了，可以创建scrapy项目等等。
9、还有一些小伙伴遇到的问题是这个：
raise distutils.errors.DistutilsPlatformError(err)
distutils.errors.DistutilsPlatformError: Microsoft Visual C 14.0 is required. Get it with "Microsoft Visual C Build Tools": Download the Visual C Build Tools (standalone C compiler, libraries and tools)
----------------------------------------
Command "python setup.py egg_info" failed with error code 1
这个是因为本机缺乏visual C 的安装环境，此时只需要下载对应电脑版本的visual C 环境，进行安装之后即可解决问题。
这个安装包比较大，等scrapy安装好之后再删除即可。
10、还有的小伙伴可能会遇到下面的错误提示“Twisted-18.7.0-cp34-cp34m-win_amd64.whl is not a supported wheel on this platform.”，表示该平台不支持这个安装包，如下图所示。
之前的lxml安装包不是直接安装就成功了吗？为何这个安装包会出现这个问题呢？此时，首先需要检查该安装包的Python版本和电脑位数是否和本机都对应上，如果确认没有问题，再继续往下看。
在这里小编给大家介绍一个小技巧，专门用来应对这样的问题的。进入到所下载的安装包，这里以Twisted-18.7.0-cp34-cp34m-win_amd64.whl安装包为例，进入到下载目录下，一般下载之后将其放到虚拟环境的site-packages文件夹下面，尔后将后缀.whl更改为.zip，将后缀.whl更改为.zip，将后缀.whl更改为.zip，重要的事情说三遍，有木有觉得很熟悉？对，它就是个压缩文件，现在将压缩包里边的内容全部解压到当前文件夹，如下图所示。
之后在虚拟环境下输入pip list命令查看安装包，可以看到Twisted安装包已经在里边了，如下图所示。第一个pip list命令的时候尚未解压Twisted安装包，此时并没有Twisted库；第二个pip list命令是在Twisted安装包解压之后执行的，可以看到Twisted库已经在里边了。
Twisted库安装好之后，再安装其他的库，如Scrapy、Pandas等就如鱼得水了。
这里列出了几个Scrapy安装过程中常见的问题及其解决方法，希望对大家日后安装Scrapy的时候有所帮助，可能每个人的平台和环境都不太一样，肯定会碰到其他的安装问题，欢迎大家一起学习交流~~
最后，身体健康，工作顺利~~
Scrapy日常一练--Python作业
- 数字组合
- 四个数字：1、2、3、4，能组成多少个互不相同且无重复数字的三位数？各是多少？
- 完全平方数
- 一个整数，它加上100后是一个完全平方数，再加上168又是一个完全平方数，请问该数是多少？
- 这天第几天
- 输入某年某月某日，判断这一天是这一年的第几天？
- copy
- 将一个列表的数据复制到另一个列表中。
- 养兔子
- 有一对兔子，从出生后第3个月起每个月都生一对兔子，小兔子长到第三个月后每个月又生一对兔子，假如兔子都不死，问每个月的兔子总数为多少？
- 作业不难，需要思考，谷歌对于程序员有一条不成文的规定：任何代码要求20行内搞定，若不行就构造函数.... 所以也请大家在20行内完成练习
