一.Solr概述与安装
1.Solr简介
Solr是一个开源搜索平台，用于构建搜索应用程序。 它建立在Lucene(全文搜索引擎)之上。 Solr是企业级的，快速的和高度可扩展的。Solr可以和Hadoop(http://www.yiibai.com/hadoop/)一起使用。由于Hadoop处理大量数据，Solr帮助我们从这么大的源中找到所需的信息。不仅限于搜索，Solr也可以用于存储目的。像其他NoSQL数据库一样，它是一种非关系数据存储和处理技术。总之，Solr是一个可扩展的，可部署，搜索/存储引擎，优化搜索大量以文本为中心的数据。
2.Linux下Solr的安装
1：把Tomcat安装包导入Linux系统，解压 Tomcat并重命名tomcat-solr
2：导入solr的Linux安装包到Linux服务器，解压 solr-4.10.3.tgz.tgz。
命令：tar -zxvf solr-4.10.3.tgz.tgz
3：把 solr 下的example/webapps/solr.war部署到 Tomcat-solrwebapps下(去掉版本号)。
命令：cp solr-4.10.3/example/webapps/solr.war tomcat-solr/webapps/
4：使用命令解压：unzip -oq solr.war -d solr
5：把solr下example/lib/ext 目录下的所有的 jar 包，添加到 solr 的工程中(WEB-INFlib目录下)。
命令：cp solr-4.10.3/example/lib/ext/* tomcat-solr/webapps/solr/WEB-INF/lib/
6：创建一个索引仓库。solr 下的/example/solr 目录就是一个索引仓库。复制此目录【solr】到任意磁盘即可完 成自定义索引仓库创建。
命令：cp -r solr-4.10.3/example/solr . (把solr索引库仓库文件夹拷贝当前目录; . 表示当前目录)
7：关联tomcat服务器中 solr项目 和 索引仓库solr。修改Tomcat/bin/catalina.sh文件指定索引仓库路径即可
代码语言：javascript复制 //在Tomcat/bin/catalina.sh第二行指定索引仓库路径即可
export JAVA_OPTS="-Dsolr.solr.home=/usr/local/dintalk/singleSolr/solr"8：启动 Tomcat
http://IP:8080/solr/
9.加载contrib,dist依赖类库
把solr-4.10.3/contrib,dist 文件夹拷贝 索引仓库目录下（和索引库在同一级目录）
命令：cp -r solr-4.10.3/contrib/ solr-4.10.3/dist/ solr
配置solr索引库中核心配置文件：solrConfig.xml 加载contrib，dist依赖jar包
3.中文分析器IK Analyzer的安装
IK Analyzer 是一个开源的，基亍 java 语言开发的轻量级的中文分词工具包。最初，它是以开源项目Luence 为应用主体的，结合词典分词和文法分析算法的中文分词组件。从 3.0 版本开始，IK 发展为面向 Java 的公用分词组件，独立亍 Lucene 项目，同时提供了对 Lucene 的默认优化实现。在 2012 版本中，IK 实现了简单的分词歧义排除算法，标志着 IK 分词器从单纯的词典分词向模拟语义分词衍化。
3.1IK Analyzer配置
1、把IKAnalyzer2012FF_u1.jar 添加到 solr 工程的 lib 目录下
2、创建WEB-INF/classes（手动创建）文件夹 把扩展词典、停用词词典、配置文件放到 solr 工程的 WEB- INF/classes 目录下：
3、修改 索引库 的 schema.xml 文件，配置一个 FieldType，使用 IKAnalyzer。
代码语言：javascript复制<fieldType name="text_ik" class="solr.TextField">
<analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>
</fieldType>4.业务域配置
域相当于数据库的表字段，用户存放数据，因此用户根据业务需要去定义相关的Field（域），一般来说，每一种对应着一种数据，用户对同一种数据进行相同的操作。
域的常用属性：
- name：指定域的名称
- type：指定域的类型
- indexed：是否索引
- stored：是否存储
- required：是否必须
- multiValued：是否多值
4.1普通域
修改solrhome的schema.xml 文件 设置业务系统 Field :
代码语言：javascript复制<!-- 域的配置 :普通域 -->
<!--name:字段名称 type:字段类型 stored:是否存储分词前内容(复制域选择false)
required:是否必填 indexed：索引(是否进行查询) -->
<field name="item_goodsid" type="long" indexed="true" stored="true"/>
<field name="item_title" type="text_ik" indexed="true" stored="true"/>
<field name="item_price" type="double" indexed="true" stored="true"/>
<field name="item_image" type="string" indexed="false" stored="true" />
<field name="item_category" type="string" indexed="true" stored="true" />
<field name="item_seller" type="text_ik" indexed="true" stored="true" />
<field name="item_brand" type="string" indexed="true" stored="true" />4.2复制域
复制域的作用在于将某一个Field中的数据复制到另一个域中 :
代码语言：javascript复制<!-- 域的配置 :复制域 -->
<!--multiValued 是否有多值 stored="false" 不需要存储 -->
<field name="item_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/>
<copyField source="item_title" dest="item_keywords"/>
<copyField source="item_category" dest="item_keywords"/>
<copyField source="item_seller" dest="item_keywords"/>
<copyField source="item_brand" dest="item_keywords"/>4.3动态域
当我们需要动态扩充字段时，我们需要使用动态域。所以我们需要使用动态域来实现。需要实现的效果示例如下 :
代码语言：javascript复制<!-- 域的配置:动态域 -->
<!--因为数据中的item_spec_后面的内容不固定所以用*号代替(即动态查询条件匹配) -->
<dynamicField name="item_spec_*" type="string" indexed="true" stored="true" />
二.Spring Data Solr
如何将Solr的应用集成到Spring中？Spring Data Solr就是为了方便Solr的开发所研制的一个框架，其底层是对SolrJ（官方API）的封装。
1.Spring Data Solr 使用步骤
第一步:导入相关坐标
代码语言：javascript复制<!-- SpringDataSolr的坐标 -->
<dependency>
<groupId>org.springframework.data</groupId>
<artifactId>spring-data-solr</artifactId>
<version>1.5.5.RELEASE</version>
</dependency>第二步:resources下编写配置文件(applicationContext-solr.xml)
代码语言：javascript复制<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:solr="http://www.springframework.org/schema/data/solr"
xsi:schemaLocation="http://www.springframework.org/schema/data/solr
http://www.springframework.org/schema/data/solr/spring-solr-1.0.xsd
http://www.springframework.org/schema/beans
http://www.springframework.org/schema/beans/spring-beans.xsd">
<!-- 0.配置包扫描(注解)
<context:component-scan base-package="cn.dintalk.solrutil"></context:component-scan>
-->
<!-- 1.solr服务器地址 -->
<solr:solr-server id="solrServer" url="http://127.0.0.1:8080/solr"/>
<!-- 2.solr模板，使用solr模板可对索引库进行CRUD的操作 -->
<bean id="solrTemplate" class="org.springframework.data.solr.core.SolrTemplate">
<constructor-arg ref="solrServer"/>
</bean>
</beans>第三步:为操作的实体类添加@Filed注解
代码语言：javascript复制public class TbItem implements Serializable{
// id 和solr中的主键名称一致可以不用写
@Field
private Long id;
@Field("item_title")
private String title;
@Field("item_image")
private String image;
...第四步:基本的CRUD
代码语言：javascript复制/**
* 测试Solr的简单操作
* @author Mr.song
* @date 2019/06/13 16:55
*/
@RunWith(SpringJUnit4ClassRunner.class)
@ContextConfiguration("classpath:applicationContext-solr.xml")
public class SolrTest {
@Autowired
private SolrTemplate solrTemplate;
@Test //增加item
public void testAddItemToSolrHome(){
TbItem item = new TbItem();
item.setId(1L);
item.setTitle("测试Title");
item.setImage("这是图片");
solrTemplate.saveBean(item);
//增删改需要提交
solrTemplate.commit();
}
//重新赋值便是更新
@Test //根据主键查询
public void testQueryById(){
TbItem item = solrTemplate.getById(1L, TbItem.class);
System.out.println(item.getTitle());
}
@Test //条件查询
public void testQuery(){
//查询所有, *:* 前面是字段 后面是条件
SimpleQuery simpleQuery = new SimpleQuery("*:*");
//设置分页
simpleQuery.setOffset(5);//开始索引
simpleQuery.setRows(5);//每页记录数
//拼接条件
Criteria criteria = new Criteria("item_title");
criteria = criteria.contains("苹果");
simpleQuery.addCriteria(criteria);
ScoredPage<TbItem> items = solrTemplate.queryForPage(simpleQuery, TbItem.class);
for (TbItem item : items) {
System.out.println(item.getTitle());
}
}
@Test //删除item(根据主键删除)
public void testDelItem(){
solrTemplate.deleteById("1");
solrTemplate.commit();
}
@Test //清空
public void delSolrHome(){
SimpleQuery query = new SimpleQuery("*:*");
solrTemplate.delete(query);
solrTemplate.commit();
}
}三.SpringDataSolr的常用API示例
代码语言：javascript复制/**
* @author Mr.song
* @date 2019/06/13 18:22
*/
@Service
public class ItemSearchServiceImpl implements ItemSearchService {
@Autowired
private TbItemMapper itemMapper;
@Autowired
private SolrTemplate solrTemplate;
/**
* 根据关键字查询solr索引库
* @param searchMap 前端的查询条件,封装为Map
* @return 查询的结果,不封装为实体,返回Map效果一样
*/
@Override
public Map search(Map searchMap) {
//1.关键字查询
String keywords = searchMap.get("keywords").toString();
//2.封装查询条件(高亮查询)
SimpleHighlightQuery simpleHighlightQuery = new SimpleHighlightQuery();
if (keywords != null) {
//这是查询的域
Criteria criteria = new Criteria("item_keywords");
criteria = criteria.contains(keywords);
simpleHighlightQuery.addCriteria(criteria);
}
//1.高亮查询的高亮设置(即查询关键字的高亮显示)
HighlightOptions options = new HighlightOptions();
//设置高亮的头部和尾部
options.setSimplePrefix("<em style='color:red'>");
options.setSimplePostfix("</em>");
//设置高亮的域名字,设置查询的选项
options.addField("item_title");
simpleHighlightQuery.setHighlightOptions(options);
//2.过滤查询条件=====分类相关
String categoryStr = (String) searchMap.get("category");
if (categoryStr != null){
//2.1按照传入的分类字符串进行查询,创建过滤查询对象
SimpleFilterQuery filterQuery = new SimpleFilterQuery();
//2.2创建条件,设置域的名称
Criteria criteria = new Criteria("item_category");
//2.3设置匹配字符串
criteria = criteria.contains(categoryStr);
//2.4过滤查询添加条件
filterQuery.addCriteria(criteria);
//2.5查询添加过滤查询
simpleHighlightQuery.addFilterQuery(filterQuery);
System.out.println("分类过滤查询:" categoryStr);
}
//3.过滤查询条件=====品牌相关
String brand = (String) searchMap.get("brand");
if (brand != null){
SimpleFilterQuery filterQuery = new SimpleFilterQuery();
Criteria criteria = new Criteria("item_brand");
criteria = criteria.contains(brand);
filterQuery.addCriteria(criteria);
simpleHighlightQuery.addFilterQuery(filterQuery);
System.out.println("品牌过滤查询:" brand);
}
//4.过滤查询条件=====规格相关
Map<String,String> specMap = (Map) searchMap.get("spec");
if (specMap != null){
for (String s : specMap.keySet()) {
SimpleFilterQuery filterQuery = new SimpleFilterQuery();
Criteria criteria = new Criteria("item_spec_" s);
criteria = criteria.contains(specMap.get(s));
filterQuery.addCriteria(criteria);
simpleHighlightQuery.addFilterQuery(filterQuery);
System.out.println("规格滤查询:" s);
}
}
//4.过滤条件查询=====价格相关
String price = (String) searchMap.get("price");//0-199
if (price != null){
//1500-2000
String[] prices = price.split("-");
//过滤条件增加起始价格
SimpleFilterQuery filterQuery1 = new SimpleFilterQuery();
Criteria criteria1 = new Criteria("item_price");
criteria1 = criteria1.greaterThanEqual(prices[0]); //大于等于起始价格
filterQuery1.addCriteria(criteria1);
simpleHighlightQuery.addFilterQuery(filterQuery1);
//过滤条件增加结束价格
if(!"*".equals(prices[1])){ //防止3000元以上的*号
SimpleFilterQuery filterQuery2 = new SimpleFilterQuery();
Criteria criteria2 = new Criteria("item_price");
criteria2 = criteria2.lessThanEqual(prices[1]); //小于等于结束价格
filterQuery2.addCriteria(criteria2);
simpleHighlightQuery.addFilterQuery(filterQuery2);
}
System.out.println("价格过滤查询:" price);
}
//5.价格升降序=======价格升降序,前端设置默认是desc
String sort = (String) searchMap.get("sort");
//定义排序对象
Sort orders = null;
if ("DESC".equalsIgnoreCase(sort)){
//降序查询 :参数1-指定升降序 参数2-指定域
orders = new Sort(Sort.Direction.DESC,"item_price");
System.out.println("价格降序过滤查询:" sort);
}else {
orders = new Sort(Sort.Direction.ASC,"item_price");
System.out.println("价格升序过滤查询:" sort);
}
//为查询添加排序
simpleHighlightQuery.addSort(orders);
//6.分页相关
Integer pageSize = (Integer) searchMap.get("pageSize");
Integer pageNo = (Integer) searchMap.get("pageNo");
//设置分页参数 :起始索引和每页条数
simpleHighlightQuery.setOffset((pageNo-1)*pageSize);
simpleHighlightQuery.setRows(pageSize);
//查询
HighlightPage<TbItem> tbItems = solrTemplate.
queryForHighlightPage(simpleHighlightQuery, TbItem.class);
//将高亮设置后的属性赋值给查出的内容
List<TbItem> contents = tbItems.getContent();
for (TbItem content : contents) {
List<HighlightEntry.Highlight> highlights = tbItems.getHighlights(content);
if (highlights.size()>0){//防止数组空内容
List<String> snipplets = highlights.get(0).getSnipplets();
if (snipplets.size()>0){//防止空内容
content.setTitle(snipplets.get(0));
}
}
}
//构建返回的map对象
Map returnMap = new HashMap();
returnMap.put("rows", contents);
//分页需要总记录数
returnMap.put("total",tbItems.getNumberOfElements());
return returnMap;
}
/**
* 根据商品的id(spu)将商品(sku)导入到solr索引库中
* @param ids 商品的id数组(spu)
*/
@Override
public void importItemsByGoodsId(Long[] ids) {
//goods的所有ids,查询其列表导入到solr索引库
TbItemExample example = new TbItemExample();
example.createCriteria().andGoodsIdIn(Arrays.asList(ids));
List<TbItem> tbItems = itemMapper.selectByExample(example);
//将数据存入solr索引库
solrTemplate.saveBeans(tbItems);
solrTemplate.commit();
System.out.println("solr库导入了商品：" tbItems.size() "个");
}
/**
* 根据商品的id(spu)将商品(sku)从solr索引库中删除
* @param ids 商品的id数组(spu)
*/
@Override
public void delItemsByGoodsId(Long[] ids) {
//id是goods的id
TbItemExample example = new TbItemExample();
example.createCriteria().andGoodsIdIn(Arrays.asList(ids));
List<TbItem> tbItems = itemMapper.selectByExample(example);
//循环删除sku(solr索引库中的)
for (TbItem tbItem : tbItems) {
solrTemplate.deleteById(tbItem.getId().toString());
}
solrTemplate.commit();
System.out.println("solr库删除了商品：" tbItems.size() "个");
}
}
