基于hadoop 大数据分析的的校园图书推荐系统统，系统采用多层MVC软件架构，采用Java springboot框架集成hadoop、hbase实现大批量图书情况下的可视化分析与计算。计算不同图书之间的相似程度，以及通过协同过滤及图书特征提取的方式，实现在用户与图书，用户与用户之间，发现关联性，从而实现校园图书的精准推荐功能等。
原文地址
一、程序设计
本次基于hadoop 大数据分析的的校园图书推荐系统，主要内容涉及：
主要功能模块：书籍聚类图谱，书籍专业统计，书籍文献管理，相似书籍推荐，热门书籍排行，我的借阅，系统管理等等
主要包含技术：java，springboot，mybatis，hadoop，hbase，，网络爬虫，mysql，html，javascript，echarts，vue.js
主要包含算法：数据分析计算等
二、效果实现
书籍聚类
在这里插入图片描述推荐计算
在这里插入图片描述数据分布
在这里插入图片描述
在这里插入图片描述其他效果省略
三、核心代码
1.书籍推荐
本系统书籍推荐计算模块，主要采用mysql与hadoop，hbase结合处理的方式进行处理。首先仅有网络爬虫采用到的书籍内容，进行正则及程序代码处理后，写入到mysql中，然后通过Ik分词器对书籍内容进行分词提取，采用SVM对书籍内容提取特征，并将提取到的关键词及特征写入mysql数据中。
然后利用关键词及书籍特征与书籍之间建立反向映射关系，将书籍数据及映射关系，写入hadoop，hbase中，后续系统内部的书籍内容推荐计算通过hbase进行二级映射查询实现。
代码语言：java复制public static double getSimilarity(String doc1, String doc2) {
if (doc1 != null && doc1.trim().length() > 0 && doc2 != null && doc2.trim().length() > 0) {
Map<Integer, int[]> AlgorithmMap = new HashMap<Integer, int[]>();
//将两个字符串中的中文字符以及出现的总数封装到，AlgorithmMap中
for (int i = 0; i < doc1.length(); i ) {
char d1 = doc1.charAt(i);
if (isHanZi(d1)) {//标点和数字不处理
int charIndex = getGB2312Id(d1);//保存字符对应的GB2312编码
if (charIndex != -1) {
int[] fq = AlgorithmMap.get(charIndex);
if (fq != null && fq.length == 2) {
fq[0] ;//已有该字符，加1
} else {
fq = new int[2];
fq[0] = 1;
fq[1] = 0;
AlgorithmMap.put(charIndex, fq);//新增字符入map
}
}
}
}
for (int i = 0; i < doc2.length(); i ) {
char d2 = doc2.charAt(i);
if (isHanZi(d2)) {
int charIndex = getGB2312Id(d2);
if (charIndex != -1) {
int[] fq = AlgorithmMap.get(charIndex);
if (fq != null && fq.length == 2) {
fq[1] ;
} else {
fq = new int[2];
fq[0] = 0;
fq[1] = 1;
AlgorithmMap.put(charIndex, fq);
}
}
}
}
Iterator<Integer> iterator = AlgorithmMap.keySet().iterator();
double sqdoc1 = 0;
double sqdoc2 = 0;
double denominator = 0;
while (iterator.hasNext()) {
int[] c = AlgorithmMap.get(iterator.next());
denominator = c[0] * c[1];
sqdoc1 = c[0] * c[0];
sqdoc2 = c[1] * c[1];
}
double v = denominator / Math.sqrt(sqdoc1 * sqdoc2);//余弦计算
v = Double.isNaN(v) ? 0d : v;
return v;
} else {
throw new NullPointerException(" the Document is null or have not cahrs!!");
}
}
public static boolean isHanZi(char ch) {
// 判断是否汉字
return (ch >= 0x4E00 && ch <= 0x9FA5);
/*if (ch >= 0x4E00 && ch <= 0x9FA5) {//汉字
return true;
}else{
String str = "" ch;
boolean isNum = str.matches("[0-9] ");
return isNum;
}*/
/*if(Character.isLetterOrDigit(ch)){
String str = "" ch;
if (str.matches("[0-9a-zA-Z\u4e00-\u9fa5] ")){//非乱码
return true;
}else return false;
}else return false;*/
}
/**
* 根据输入的Unicode字符，获取它的GB2312编码或者ascii编码，
*
* @param ch 输入的GB2312中文字符或者ASCII字符(128个)
* @return ch在GB2312中的位置，-1表示该字符不认识
*/
public static short getGB2312Id(char ch) {
try {
byte[] buffer = Character.toString(ch).getBytes("GB2312");
if (buffer.length != 2) {
// 正常情况下buffer应该是两个字节，否则说明ch不属于GB2312编码，故返回'?'，此时说明不认识该字符
return -1;
}
int b0 = (int) (buffer[0] & 0x0FF) - 161; // 编码从A1开始，因此减去0xA1=161
int b1 = (int) (buffer[1] & 0x0FF) - 161;
return (short) (b0 * 94 b1);// 第一个字符和最后一个字符没有汉字，因此每个区只收16*6-2=94个汉字
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
}
return -1;
}
