“五一”民宿一房难求

这个“五一”假期，如果你想要去附近的乡村民宿躺一下，或者找个风景秀丽的地方露营，那你这时候再行动可能就晚了。放弃假期“来回飞”，成都乡村民宿火起来了。临近“五一”假期，多地散发疫情下，人们纷纷放弃长途旅游，本地周边游成为人们的新选择，于是本地乡村民宿火了起来，预定的人非常多，很多地方都订单满了，并且由于是假期需求量大，乡村民宿价格上涨明显。

今天我们就通过python爬取一下携程的民宿酒店数据，来分析看下大家对民宿的体验评价，都知道携程难爬，为了避免爬取过程中我掉坑里，所以研究下他的反爬机制，并做了反爬策略，基本的爬虫代理IP的添添加，这里需要用到高质量的代理IP，所以选择了由亿牛云提供的爬虫动态转发代理，使用方式比较简单，很适合新手实践项目使用。接下来就是说简单的爬虫实现过程如下：

代码语言：javascript复制

#! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "http://httpbin.org/ip"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://httpbin.org/ip"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text

从获取的数据分析可以看出大家对民宿的整体体验感受都很好，相比酒店民宿价格亲民，可以更直观的体验当地生活，有更多的生活设施可以共用，而且更有人情味，所以下次出游大家可以去体验下民宿。

爬虫 tcp/ip

0 人点赞