Python网络爬虫（四）- XPath1.XPath2.XPath在python中的应用

2018-08-23 11:47:09 浏览数 (1)

目录：

  • Python网络爬虫（一）- 入门基础
  • Python网络爬虫（二）- urllib爬虫案例
  • Python网络爬虫（三）- 爬虫进阶
  • Python网络爬虫（四）- XPath
  • Python网络爬虫（五）- Requests和Beautiful Soup
  • Python网络爬虫（六）- Scrapy框架
  • Python网络爬虫（七）- 深度爬虫CrawlSpider
  • Python网络爬虫（八） - 利用有道词典实现一个简单翻译程序

1.XPath

XPath 即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。它使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。

XPath语法

2.XPath在python中的应用

  • xpath在Python中有一个第三方库，支持~ lxml 注意：不要直接使用pip install lxml去安装~直接安装很容易安装一个空壳！
  • 安装pip,主要参考博客：
    • python实践系列之（一）安装
    • python︱模块加载(pip安装)以及pycharm安装与报错解决方式
    • 在shell中输入import pip; print(pip.pep425tags.get_supported())可以获取到pip支持的文件名还有版本

  • xpath的安装
代码语言：txt复制
- 通过wheel方式安装
- 下载对应的wheel文件【和Python版本对应的】
- 安装wheel插件 ：`python2 -m pip install wheel` 
- 根据下载的本地文件安装lxml：切换到whl文件所在的路径，进行安装
代码语言：txt复制
- 获取文本内容用 text()
- 获取注释用 comment()
- 获取其它任何属性用@xx，如 
    - @href
    - @src
    - @value

3.XPath中的text()和string()区别

1.XPath中的text()和string()本质区别
  • text()是一个node test，而string()是一个函数，data()是一个函数且可以保留数据类型。此外，还有点号（.）表示当前节点。
2.XML例子：

<book><author>_知几</author></book>

用例

举例

text()

book/author/text()

string()

book/author/string()

data()

book/author/data()

.

book/author/.

3.特殊用例

XML例子：

代码语言：javascript复制
<book>
    <author>python<em>django</em>爬虫</author>
    <pricing>
        <price>20</price>
        <discount>0.8</discount>
    </pricing>
</book>
  • text()
    • 经常在XPath表达式的最后看到text()，它仅仅返回所指元素的文本内容。

let $x := book/author/text() return $x 返回的结果是python 爬虫，其中的django不属于author直接的节点内容。

  • string()
    • string()函数会得到所指元素的所有节点文本内容，这些文本讲会被拼接成一个字符串。

let $x := book/author/string() return $x 返回的内容是python django 爬虫。

  • data()
代码语言：txt复制
- 大多数时候，`data()`函数和`string()`函数通用，而且不建议经常使用`data()`函数，有数据表明，该函数会影响XPath的性能。

let $x := book/pricing/string() return $x 返回的是200.8 let $x := book/pricing/data() return $x 这样将返回分开的20和0.8，他们的类型并不是字符串而是>xs:anyAtomicType，于是就可以使用数学函数做一定操作。 let $x := book/pricing/price/data() let $y := book/pricing/discount/data() return $x*$y 比如上面这个例子，就只能使用data()，不能使用text()或string()，因为XPath不支持字符串做数学运算。

text()**不是函数，XML结构的细微变化，可能会使得结果与预期不符，应该尽量少用，**data()**作为特殊用途的函数，可能会出现性能问题，如无特殊需要尽量不用，**string()**函数可以满足大部分的需求。**

4.爬取诛仙前50章内容

主要分三个步骤：

（1）分析小说网址构成；

（2）获取网页，并分离出小说章节名和章节内容；

（3）写入txt文档。

代码操作：
代码语言：javascript复制
# -*- coding:utf-8 -*-
import urllib,urllib2,re
from lxml import etree

#定义函数，爬取对应的数据
def getText(url,file_name):
    print('开始爬取第%s章的内容'%file_name)
    #伪装请求头
    my_headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36',
    }
    request = urllib2.Request(url,headers=my_headers)
    content = urllib2.urlopen(request).read()
    return content

#定义函数，保存爬取到的数据
def save(content):
    xml = etree.HTML(content)
    datas = xml.xpath('/html/body/div[@id="main"]/h1 | /html/body/div[@id="main"]/p')

    data = datas[2].xpath('string(.)').encode('utf-8')
    name = datas[0].xpath('string(.)')
    print name
    print('第%s章的内容爬取完成' % file_name)
    with open('txt/%s'%name '.txt', 'wb') as f:
        f.write(data)


#定义主程序接口
if __name__ == '__main__':
    x=41277
    while x<x 50:
        url = 'http://www.ty2016.net/net/zhuxian/' str(x) '.html'
        x =1
        file_name = str(x-41278)
        try:
            content = getText(url,file_name)
            save(content)
        except Exception,a:
            print a

从本地可以看到已经爬取到相关内容

注解：Xpath的获取

python 爬虫 scrapy

0 人点赞