9块9就能找个女朋友，你还在等什么？

备受关注的第七次人口普查数据近日公布。数据显示，我国男性比女性人口多出3000余万，从性别构成年龄段来看，从20岁到40岁这一主要婚育年龄段来看，男性比女性多出1700多万人。听到这个数据，不知道大家慌不慌，反正我是不慌，毕竟现在的年轻人都追求自由，要什么对象（假装不稀罕）。不得不说，近年来，中国人结婚少了、结婚晚了、离婚多了，社会、经济、环境压的我们喘不过气，而高婚育成本更像一座大山，我们在山前徘徊，踌躇等待。

不管怎么说，社会是大家的，生活（对象）是自己的，没对象的争取不做那1/17000000，有对象的且过切珍惜。520来了，你是哪种过节姿势呢？

没对象的请查收这份孤单指南

1、做个wifi宅，只要还能连上网，你就不是孤独的，也别问宅着是不是孤单，你都问了，我能说什么。

2、做个剁手族，与其说爱上了网购，不如说爱上了孤单。单身狗都是独自快乐的，毕竟挣的钱都能自己花，嘻嘻。

3、做个高端玩家，一群单着的人，却想让大家都不孤单。你可以选择在朋友圈接受狗粮投喂，也可以组一个单身局互诉衷肠，毕竟，嘲笑也要一群人更刺激。

4、做个关灯人，为了不孤单，就要承受更多的孤单。做最后一个离开自习室的人，做最后一个下班的人，做最后一个散场的人。

有对象的请查收这份送礼指南

想知道大家都是怎么送礼的么？云朵君特意施展了python大法，在淘宝上爬取了最受欢迎的情人节礼物，看下大家都是怎么选礼物的。

数据爬取

本次数据爬取是采用使用selenium实现动态渲染页面的爬取。selenium是浏览器自动测试框架，模拟浏览器，驱动浏览器执行特定的动作，并可获取浏览器当前呈现的页面的源代码，可见即可爬。

爬虫中主要是获取商品数据，其主要代码如下。

代码语言：javascript复制

def get_products():
    '''
    提取商品数据
    :return:
    '''
    # page_source获取网页源代码
    html = browser.page_source
    doc = pq(html)
    items = doc('#mainsrp-itemlist .items .item').items()
    for item in items:
        # 数据存入字典
        product = {
            'image': item.find('.pic .img').attr('data-src'),
            'price': item.find('.price').text(),
            'deal': item.find('.deal-cnt').text(),
            'title': item.find('.title').text(),
            'shop': item.find('.shop').text(),
            'location': item.find('.location').text(),
        }
        with open(f'./{text}.txt', 'a',encoding='utf-8') as fin:
            fin.write(f"{json.dumps(product, ensure_ascii=False)}n")
        print(product)

获取到的原始数据是这样的

数据清洗

定义清洗函数

代码语言：javascript复制

def deal_deal(x):
    s = x.split('人付款')[0]
    if not s:
        return 0
    elif s.endswith('万 '):
        return int(float(x.split('万 人付款')[0])*10000)
    elif s.endswith(' '):
        return int(x.split(' 人付款')[0])
    else:
        return int(s)

逐个处理每个列

代码语言：javascript复制

raw_data = pd.DataFrame(data_list)
data = raw_data.iloc[:,1:]
# 单位处理
data['price'] = data['price'].map(lambda x: float(x.split('¥')[1]))
data['deal']  = data['deal'].map(lambda x:deal_deal(x))
data['province'] = data['location'].map(lambda x: x.split()[0])
# 发货地拆分
data['city'] = data['location'].map(lambda x: x.split()[1] if len(x.split()) ==2 else x.split()[0])
# 删除无用的列
data.drop(columns=['location'],inplace=True)
# 重命名
data.columns = ['价格','销量','商品名称','店铺名称','省份','城市']