python爬虫带你了解油价新走势

5月16日24时，国内新一轮成品油调价窗口将开启。继上轮成品油价格下跌后，机构预计本轮成品油价格或继续下跌，有望迎来年内“最大跌幅”，根据机构测算，全国大部分地区95号汽油有望回归“7元时代”。

关于后续油价走势如何？一些专业人士表示尽管市场对供应的担忧，为油价带来支撑，但是国际原油价格仍有震荡下行压力，油市仍呈现波动性。并且未来国际油价或以震荡为主。根据数据显示中国4月份原油进口量出现下滑，或令需求端受挫，而石油输出国组织及其合作伙伴(OPEC )扩大减产规模，又支撑供应端。原油市场将重新评估供需环境。

我们经常要查看国际燃油价格指数的情况，然后跟公司采购油价的情况做对比，这里我们可以通过python爬虫直接把http://youjia.10260.com/数据爬下来啊。爬下来后还能直接跟公司数据做对比。这是个比较简单的爬虫，反爬措施也不严，这里我们只需要添加爬虫代理就可以进行爬取。关于爬虫代理的使用之前有专门写文章分享过，这里我们选择最简单的动态转发方式，代理和代码示例的来源主要有亿牛云提供，在爬虫业务中高质量代理IP需求的可以直接咨询。下面是爬虫实现的参考示例：

代码语言：javascript复制

    #! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "http://httpbin.org/ip"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://httpbin.org/ip"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text

python 网络爬虫 框架 后端 动态代理

0 人点赞