利用Django和scrapy实现电影爱好者论坛，系统Django和scrapy技术，通过scrapy开发实现电源资源采集爬虫程序收集豆瓣电影网站数据，经过数据处理，数据分析，数据去重转换成结构化数据，采用Django技术搭建BS网站系统，对电影资源进行线上网站的推荐技分析可视化。
原文地址
一、程序设计
本次基于地图实现的车位智慧推荐系统APP，主要内容涉及：
主要功能模块：用户注册，用户登录，电源推荐，评分展示，数据分析可视化等
主要包含技术：Django，scrapy爬虫，html，javascript
主要包含算法：数据分析计算等
二、效果实现
系统首页
在这里插入图片描述电源展示
在这里插入图片描述分析统计
在这里插入图片描述其他效果省略
核心代码
代码语言：java复制// 电影评论数据获取
def getComment():
datalist = []
con = sqlite3.connect("movie.db")
cur = con.cursor()
sql = "select * from movie"
data = cur.execute(sql)
for item in data: # 若执行后直接关掉数据库相应的数据也会消失
datalist.append(item)
for movie in datalist:
id, url = movie[0], movie[1]
print(url)
html = askURL(url) # 保存获取到的网页源码
# 2、逐一解析数据
soup = BeautifulSoup(html, "html.parser")
for item in soup.find_all('div', class_="comment"):
data = []
item = str(item)
user = re.findall(findComment, item)[1][1]
text_re = re.findall(findCommentText, item)
if len(text_re) > 0:
text = text_re[0]
else:
continue
data.append(id)
data.append(user) # 影片链接
data.append(text)
try:
sql = "insert into comment(movie_id, user, content) values(%d, '%s', '%s')" % (data[0], data[1], data[2])
# print(sql)
cur.execute(sql)
con.commit()
except:
pass
cur.close()
con.close()
