炎炎夏日，漂流去哪漂？评论情感分析告诉你

前言

炎炎夏日，在这酷暑的天气，玩水，游泳等接触水的活动成了大家都想体验的活动，以此来降低一下温度，小编也准备水上活动，去漂流，但那景点没去过，不知道好不好玩，于是乎，爬取了美团上此漂流景点的评论数据，来分析一下大家的体验是怎么样的，作为一个参考。

小编使用爬虫从美团上采集数据，在对数据中的评论星级，评论时间做一个数据探索，再清洗评论数据，绘制综合评论词云，正负情感词云，最后使用 LDA 主题模型进行评论主题的探索。

数据获取

对数据获取不感兴趣的伙伴可以跳过直接阅读分析部分。

打开美团，搜索漂流，找到要去的目的地，小编是高过河，可见有 1681 条评论：

点进去查看评论，打开开发者工具，翻两页发现是异步加载的，并且可以看到数据源是在哪个包：

查看此包的请求头及参数部分，使用的 get 方法请求，url 中 offset 是控制页数的参数步数为 10，以此可以根据总评论数构造请求链接，请求头中小编是登录的，带上 cookie，其他没什么参数了：

请求的数据返回的是 json 格式，只需要解析直接提取出需要的数据即可，代码：

结果如图：

评价时间与星级分布

评论时间为时间戳的形式，需要转成年月日，按照年时间序列绘制每年评论数走势：

从上图看出此漂流景点的是 16 年在美团上线，评论数逐年增加，可以知道游客是逐年增加的，在20年评论数下降了，因为现在才 7 月份嘛。

再来看一下评论月份和评论星级的分布：

评论月份大多集中在 6-8 月，刚好是夏天最炎热的时候，评分主要集中在 4-5 分之间。

综合评论

评论数据中思考可能有恶意刷评论的用户，评论内容相差无几的，有的评论相似度极高，词语运用存在差异，删除则可能误删，所以只删除完全重复的：

接下来查看有无缺失值，小编查看数据有 1680 条数据，但非空的只有 900 多条，小编排查问题，不是爬虫的问题，查看美团的原始数据发现，后面的评论数据根本就没有，但景点那里却写着1680条评论，实际只有952条评论，所以删除空的：

在评论数据中我们还需要提出多余可能出现的高频字符，和字母数字，字母数字这些没有什么用，由于是情感分析，数据中可能夹杂着‘美团’‘漂流’‘景点’等没用却出现的高频词，需要删除：

接下来需要分词，词性标注，去除停用词，停用词文本小编有给 stoplist.txt，在词性中，词性为 x，代表标点符号，删除，最终结果有四列，第一列为词所在评论id，第二列词语，第三列词性，第四列为各词在对应评论的位置：

提取名词，形容词，目标是对游客体验进行分析，评论中出现明确的名词形容词，才有意义，所以进行词性标注；n 代表名词，adj 代表形容词，先选出名词形容词所在的行，在选择索引，再根据索引从上面合并的结果中选出此条评论的所有词语：

绘制词云查看分词效果：

从图看出评论数据预处理后，分词效果较为符合预期，其中“刺激”“不错”“好玩”等词出现频率较高，由此初步判断游客的体验是不错的。

正负情感

既然分析情感，那得先匹配情感词，我们使用的是情感词表，小编也有给，情感词表是2007年知网发布的’情感分析用词语集‘，主要使用’中文正面评价‘，’中文正面情感‘， ’中文负面情感‘，’中文负面评价‘等词表 ’中文正面评价‘，’中文正面情感‘合并，并给每个词语赋予初始权重为1，作为正面评论情感词表 ’中文负面情感‘，’中文负面评价‘合并，并个每个词语赋予初始权重为-1，作为负面评论情感词表在提供的词表基础上进行优化，添加一些词，匹配情感词代码：