了解Solr_ 字节宝

Solr 简介

采用Java开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。

Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http G Solret操作提出查找请求，并得到XML格式的返回结果。

Solr 与 Lucene 的关系

Lucene是一套信息检索工具包，但并不包含搜索引擎系统，它包含了索引结构、读写索引工具、相关性工具、排序等功能，因此在使用Lucene时你仍需要关注搜索引擎系统，例如数据获取、解析、分词等方面的东西。

首先Solr是基于Lucene做的， Solr的目标是打造一款企业级的搜索引擎系统，因此它更接近于我们认识到的搜索引擎系统，它是一个搜索引擎服务，通过各种API可以让你的应用使用搜索服务，而不需要将搜索逻辑耦合在应用中。而且Solr可以根据配置文件定义数据解析的方式，更像是一个搜索框架，它也支持主从、热换库等操作。还添加了高亮、facet等搜索引擎常见功能的支持

Solr 的搭建运行

1、解压solr-4.6.0.zip到你想到存放的路径，比如：e:/solr

2、cmd打开命令行窗口，进入E:/solr/example目录

3、执行命令：java -jar start.jar

4、通过第三步以后，系统会启动solr自带的jetty服务器，通过 http://localhost:8983/solr/便可访问solr。

此时，solr已成功启动

solrj 的使用

代码语言：javascript复制

package cn.itcast.dao;

import java.io.IOException;
import java.util.List;
import java.util.Map;

import org.apache.solr.client.solrj.SolrQuery;
import org.apache.solr.client.solrj.SolrServer;
import org.apache.solr.client.solrj.SolrServerException;
import org.apache.solr.client.solrj.impl.HttpSolrServer;
import org.apache.solr.client.solrj.response.QueryResponse;
import org.apache.solr.common.SolrDocument;
import org.apache.solr.common.SolrDocumentList;
import org.apache.solr.common.SolrInputDocument;
import org.apache.solr.common.params.SolrParams;
import org.junit.Test;

import cn.itcast.bean.Product;

/**
 * 使用solrJ 向solr 提交请求，增删改查，
 * solrJ 底层页是发送http 协议...
 * @author Administrator
 *
 */
public class SolrJDao {
    
    public void addIndex(Product product) throws SolrServerException, IOException
    {
        //第一步，我需要跟solr 服务器建立起一个连接..
        String urlString = "http://localhost:8983/solr";
        SolrServer solr = new HttpSolrServer(urlString);
        
//        //在solr 当中有一些默认的字段，这个字段在配置文件里面...
//        SolrInputDocument doc=new SolrInputDocument();
//        schema.xml 用来定义索引的结构，用来定义document 结构... 
        solr.addBean(product);
        solr.commit();
    }
    
    @Test
    public void adddynamicField() throws SolrServerException, IOException
    {
        //第一步，我需要跟solr 服务器建立起一个连接..
        String urlString = "http://localhost:8983/solr";
        SolrServer solr = new HttpSolrServer(urlString);
        
        //在solr 当中有一些默认的字段，这个字段在配置文件里面...
        SolrInputDocument doc=new SolrInputDocument();
        doc.addField("id", "ccccccc");
        
        doc.addField("name", "8888888");
//        schema.xml 用来定义索引的结构，用来定义document 结构... 
        doc.addField("desc_s", "wwwww");
        doc.addField("price", 1f);
        solr.add(doc);
        solr.commit();
    }
    
    
    public void updateIndex() throws IOException, SolrServerException{
        //第一步，我需要跟solr 服务器建立起一个连接..
        String urlString = "http://localhost:8983/solr";
        SolrServer solr = new HttpSolrServer(urlString);
        Product product=new Product();
        product.setId(2);
        product.setName("毛衣的毛衣黑色毛衣");
        product.setDesc("横挑眉毛竖挑眼，完全没缺点..");
        product.setPrice(9f);
        solr.addBean(product);
        solr.commit();
        
    }


    public void delIndex(String id) throws SolrServerException, IOException{
        String urlString = "http://localhost:8983/solr";
        SolrServer solr = new HttpSolrServer(urlString);
        solr.deleteById(id);
        solr.commit();
    }
    
    
    public void findIndex() throws SolrServerException{
        String urlString = "http://localhost:8983/solr";
        SolrServer solr = new HttpSolrServer(urlString);
        //查询条件...
        SolrQuery solrParams=new SolrQuery();
        solrParams.setStart(0);
        solrParams.setRows(10);
        
        //name:苹果  根据description：苹果
        solrParams.setQuery("name:苹果");
//        solrParams.setQuery("description:苹果");
        //首先，我需要开启高亮...
        solrParams.setHighlight(true);
        solrParams.setHighlightSimplePre("<font color='red'>");
        solrParams.setHighlightSimplePost("</font>");
        
        //我需要那些字段进行高亮显示..
        solrParams.setParam("hl.fl", "name,description");
        
        //返回结果集，结果包含没有高亮的结果，高亮的结果..
        QueryResponse queryResponse=solr.query(solrParams);
        SolrDocumentList solrDocumentList=queryResponse.getResults();
        //返回高亮过后的结果...
        /**
         * 假设我要迭代这样的一个map
         * 我必须两个map 对应的这个key 代表的是撒..
         * 
         * 1:第一个map 代表的每条记录的id
         * 2:第二个map 的可以 代表的我要高亮的字段..
         * 
         * 
         */
        Map<String,Map<String, List<String>>>  listMap=queryResponse.getHighlighting();
        
        for(SolrDocument solrdocument:solrDocumentList){
            System.out.println("===" solrdocument.toString());
            Map<String, List<String>> fieldsMap=listMap.get(solrdocument.get("id"));
            List<String> highname=fieldsMap.get("name");
            List<String> highdesc=fieldsMap.get("description");
            System.out.println("highname======" highname);
            System.out.println("highdesc=====" highdesc);
        }
    }

}

代码语言：javascript复制

package cn.itcast.bean;

import org.apache.solr.client.solrj.beans.Field;

public class Product {
    
    @Field(value="id")
    private int id;
    
    public int getId() {
        return id;
    }

    public void setId(int id) {
        this.id = id;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getDesc() {
        return desc;
    }

    public void setDesc(String desc) {
        this.desc = desc;
    }

    public float getPrice() {
        return price;
    }

    public void setPrice(float price) {
        this.price = price;
    }
    @Field(value="name")
    private String name;
    @Field(value="description")
    private String desc;
    @Field(value="price")
    private float  price;
    
    

}

代码语言：javascript复制

package cn.itcast.junit;

import java.io.IOException;

import org.apache.solr.client.solrj.SolrServerException;
import org.junit.Test;

import cn.itcast.bean.Product;
import cn.itcast.dao.SolrJDao;

public class JunitTest {
    private SolrJDao solrJDao=new SolrJDao();
    @Test
    public void testAdd() throws SolrServerException, IOException{
        for(int i=1;i<=2;i  ){
            Product product=new Product();
            product.setId(i);
            product.setName("苹果（Apple）iPhone 5c 16G版 3G手机（白色）电信版");
            product.setDesc("选择“购机送费版”北京用户享全新4G合约套餐资费全网最低！");
            product.setPrice(9f);
            solrJDao.addIndex(product);
        }
        
    }
    @Test
    public void testdel() throws SolrServerException, IOException{
        
        solrJDao.delIndex("1");
    }
    @Test
    public void testupdate() throws IOException, SolrServerException{
        solrJDao.updateIndex();
    }
    @Test
    public void testfind() throws SolrServerException{
        solrJDao.findIndex();
    }
    
}

shema.xml 的介绍

schema.xml配置文件是用于定义index索引库的结构，有点类似于数据表表的定义。

当我们打开schema.xml配置文件时，也许会被里面密密麻麻的代码所吓倒，其实不必惊慌，里面其实就两个东西filed和fieldType。

1、field–类似于数据表的字段

属性介绍：（1）、name：字段名称（2）、type：字段类型（此处type不是java类型，而是下面定义的fieldType）（3）、indexed：是否索引？true--solr会对这个字段进行索引，只有经过索引的字段才能被搜索、排序等；false--不索引（4）、stored：是否存储？true--存储，当我们需要在页面显示此字段时，应设为true，否则false。（5）、required：是否必须？true--此字段为必需，如果此字段的内容为空，会报异常；false--不是必需（6）、multiValued：此字段是否可以保存多个值？（7）、omitNorms：是否对此字段进行解析？有时候我们想通过某个字段的完全匹配来查询信息，那么设置 indexed="true"、omitNorms="true"。（8）、default：设置默认值

2、fieldType–字段类型

属性说明：（1）、name：类型名称，<field>中的type引用的就是这个name （2）、class：solr自定义的类型（3）、<analyzer type="index">定义建立索引时使用的分词器及过滤器（4）、<analyzer type="query">定义搜索时所使用的分词器及过滤器（5）、 <tokenizer/>定义分词器（6）、<filter/>定义过滤器

3、uniqueKey

<uniqueKey>id</uniqueKey> 类似于数据表数据的id，solr索引库中最好定义一个用于标示document唯一性的字段，此字段主要用于删除document。

4、<copyField/>

<copyField source=”cat” dest=”text”/> 实际项目中为了方便查询，我们会把多个需要查询的字段合并到一个字段里，方便查询。

举例：

产品搜索，关键词不应该只匹配产品标题，还应该匹配产品关键词及产品简介等，那么在建立索引库时，可以把标题、产品关键词、简介放到一个叫text的字段中，搜索时直接搜text字段。

5、

动态的字段，使用java代码增加索引时可以动态的增加索引的name值，例如desc_i，具体使用在上面代码中adddynamicField()方法已有体现

solrconfig介绍

对于solr4.x的每个core有两个很重要的配置文件：solrconfig.xml和schema.xml，下面我们来了解solrconfig.xml配置文件。

具体很详细的内容请细读solrcofig.xml配置文件中的英文说明。

1、

“solr.”--代表solr home，即core所在的目录，如：/example/solr/collection1

2、

<luceneMatchVersion>LUCENE_42</luceneMatchVersion>

告诉solr底层使用的是lucene4.2

3、

solr引用的jar包，以“solr.”为基准，当dir对应的目录不存在时，solr会忽略此<lib>

4、

配置data目录的存放位置，data目录中存放了index和log文件。默认为solr home下面的data文件夹

5、

<lockType>${solr.lock.type:native}</lockType> 设置索引库的锁方式，主要有三种：（1）、single：适用于只读的索引库，即索引库是定死的，不会再更改（2）、native：使用本地操作系统的文件锁方式，不能用于多个solr服务共用同一个索引库。Solr3.6 及后期版本使用的默认锁机制。（3）、simple：使用简单的文件锁机制

6、更新处理器

<updateLog> <str name="dir">${solr.ulog.dir:}</str> </updateLog> 设置索引库更新日志，默认路径为solr home下面的data/tlog。随着索引库的频繁更新，tlog文件会越来越大，所以建议提交索引时采用硬提交方式<autoCommit>，即批量提交。

<autoCommit> <maxTime>15000</maxTime> <maxDocs>10000</maxDocs> <openSearcher>false</openSearcher> </autoCommit> 自动硬提交方式: maxTime：设置多长时间提交一次 maxDocs：设置达到多少文档提交一次 openSearcher：文档提交后是否开启新的searcher，如果false，文档只是提交到index索引库，搜索结果中搜不到此次提交的文档；如果true，既提交到index索引库，也能在搜索结果中搜到此次提交的内容。

7、

设置boolean 查询中，最大条件数。在范围搜索或者前缀搜索时，会产生大量的 boolean 条件，如果条件数达到这个数值时，将抛出异常，限制这个条件数，可以防止条件过多查询等待时间过长。

8、solr查询缓存机制

为了提升查询效率，solr提供了很多方法。缓存在 Solr 中充当了一个非常重要的角色，Solr 中主要有这三种缓存：

<maxWarmingSearchers>2</maxWarmingSearchers> Filter cache（过滤器缓存），用于保存过滤器（fq 参数）和层面搜索的结果 Document cache（文档缓存），用于保存 lucene 文档存储的字段 Query result（查询缓存），用于保存查询的结果

还有第四种缓存，lucene 内部的缓存，不过该缓存外部无法控制到。通过这 3 种缓存，可以对 solr 的搜索实例进行调优。调整这些缓存，需要根据索引库中文档的数量，每次查询结果的条数等。在调整参数前，需要事先得到 solr 示例中的以下信息：

索引中文档的数量每秒钟搜索的次数过滤器的数量一次查询返回最大的文档数量不同查询和不同排序的个数

这些数量可以在 solr admin 页面的日志模块找到。假设以上的值分别为：

索引中文档的数量：1000000 每秒钟搜索的次数：100 过滤器的数量：200 一次查询返回最大的文档数量：100 不同查询和不同排序的个数：500

然后可以开始修改 solrconfig.xml 中缓存的配置了，第一个是过滤器缓存： 1 <filterCache class="solr.FastLRUCache" size="200" initialSize="200" autowarmCount="100"/>

第二个是查询结果缓存： 1 <queryResultCache class="solr.FastLRUCache" size="500" initialSize="500" autowarmCount="250"/>

第三个是文档缓存： 1 <documentCache class="solr.FastLRUCache" size="11000" initialSize="11000" />

这几个配置是基于以上的几个假设的值进行调优的

9、solr请求处理器

为了提供了类似webservice的功能，可以通过http请求solr搜索。

<requestHandler name="/select" class="solr.SearchHandler">  <lst name="defaults"> <str name="echoParams">explicit</str> <int name="rows">10</int> <str name="wt">json</str> <str name="df">text</str> </lst> </requestHandler>

lucene/solr xml 编程算法搜索引擎缓存

0 人点赞

了解Solr

Solr 简 介

Solr 与 Lucene 的关系

Solr 的搭建运行

solrj 的使用

shema.xml 的介绍

solrconfig介绍

Solr 简介