python爬取肯德基店面数据

最近，“职业代吃”骤然走红，甚至供不应求。起因源于肯德基近日推出与泡泡玛特联名款盲盒套餐，该套餐主要在一线、二线城市出售，且每个门店套餐名额只有36个。此次套餐供应有限，在供小于求的情况下，其在二手市场上的价格也是水涨船高。肯德基进入中国市场以来，不断推出中国风味食品，包括螺蛳粉、周黑鸭、串串、包子、小龙虾、炸酱面配鸡架、月饼青团和凉茶等都挺受年轻一代人的喜爱的，尽管市场上还没有新势力能撼动肯德基、麦当劳这样的西式快餐的地位，但是他们也需要积极迫切地探索‘年轻化’。所以今天我们通过python大数据获取来看下，肯德基在中国门店信息，使用requests模块对肯德基官网的数据进行爬取，基本的获取代码信息如下：

代码语言：javascript复制

#! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "http://www.kfc.com.cn/kfccda/index.aspx"

    # 要访问的目标HTTPS页面
    # targetUrl = "http://www.kfc.com.cn/kfccda/index.aspx"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text

以上就是Python爬虫如何爬取KFC地址的步骤，主要还加上了代理的使用，大量获取数据的情况下网站是有封ip的可能的。关于爬虫代理的选择和使用有需要的小伙伴可以关注下https://www.16yun.cn/#banner。​若有收获，就点个赞吧

python 网站 爬虫 代理 数据

0 人点赞