django - 中文分词搜索

2019年3月23日 ⋅ 浏览量: 28

全文检索不同于特定字段的模糊查询，使用全文检索的效率更高，并且能够对于中文进行分词处理 haystack：全文检索的框架，支持whoosh、solr、Xapian、Elasticsearc四种全文检索引擎，点击查看官方网站 whoosh：纯Python编写的全文搜索引擎，虽然性能比不上sphinx、xapian、Elasticsearc等，但是无二进制包，程序不会莫名其妙的崩溃，对于小型的站点，whoosh已经足够使用 whoosh文档 jieba：一款免费的中文分词包，如果觉得不好用可以使用一些收费产品 jieba文档

安装模块

代码语言：javascript复制

pip  install -i http://mirrors.aliyun.com/pypi/simple  --trusted-host mirrors.aliyun.com  jieba  haystack django-haystack

添加方法

代码语言：javascript复制

cd /data/LJblog/env_django/lib/python3.7/site-packages/haystack/backends
cp whoosh_backend.py whoosh_cn_backend.py

添加内容

whoosh_cn_backend.py

代码语言：javascript复制

import jieba
from whoosh.analysis import Tokenizer, Token


class ChineseTokenizer(Tokenizer):
    def __call__(self, value, positions=False, chars=False,
                 keeporiginal=False, removestops=True,
                 start_pos=0, start_char=0, mode='', **kwargs):
        t = Token(positions, chars, removestops=removestops, mode=mode, **kwargs)
        seglist = jieba.cut(value, cut_all=True)
        for w in seglist:
            t.original = t.text = w
            t.boost = 1.0
            if positions:
                t.pos = start_pos   value.find(w)
            if chars:
                t.startchar = start_char   value.find(w)
                t.endchar = start_char   value.find(w)   len(w)
            yield t


def ChineseAnalyzer():
    return ChineseTokenizer()

替换调用方法

whoosh_cn_backend.py

代码语言：javascript复制

 analyzer=StemmingAnalyzer()
  改为
 analyzer=ChineseAnalyzer()

主配置修改

LJblog/mysite/settings.py

代码语言：javascript复制

INSTALLED_APPS = (
    ...
    'haystack',
)


#更改分词引擎
HAYSTACK_CONNECTIONS = {
    'default': {
        #使用whoosh引擎
        'ENGINE': 'haystack.backends.whoosh_cn_backend.WhooshEngine',
        #索引文件路径
        'PATH': os.path.join(BASE_DIR, 'whoosh_index'),
    }
}
#当添加、修改、删除数据时，自动生成索引
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'

博客app下创建

blog/search_indexes.py

代码语言：javascript复制

from haystack import indexes


from .models import Article # 指定对于某个类的某些数据建立索引

class PostIndex(indexes.SearchIndex, indexes.Indexable):
    text = indexes.CharField(document=True, use_template=True)

    # # 进行索引字段
    # title = indexes.CharField(model_attr='title')
    # body = indexes.CharField(model_attr='body')


    def get_model(self):
        return Article # 搜索的模型类

    def index_queryset(self, using=None):
        return self.get_model().objects.all()

blog/custom_search.py #自定义扩展返回

代码语言：javascript复制

from haystack.views import SearchView # haystack视图
from django.utils.safestring import mark_safe # html样式




#搜索引擎 全站搜索
class MySearchIndex(SearchView):

    template = 'search/search.html'
    #我们通过重写extra_context 来定义我们自己的变量，
    #通过看源码，extra_context 默认返回的是空，然后再get_context方法里面，把extra_context
    #返回的内容加到我们self.context字典里
    def extra_context(self):
        context = super(MySearchIndex,self).extra_context()
        # search_Article = Article.objects.select_related('body').order_by('-dynamic_search').all()[:6]

        # tag_all = [tag for tag in Tag.objects.all()]  # 添加博客自定义tags

        if self.request.user.is_authenticated:  # 认证
            user_login = True

        if not self.request.GET.get('q'):

            error_msg = "请输入关键词"
            context =  {'error_msg': error_msg}



        elif self.request.user.is_authenticated:
            context = locals()


        else:
            error_msg = mark_safe('''<div class="alert alert-info">
                             <button type="button" class="close" data-dismiss="alert">×</button>
                            <h4>
                                提示!
                            </h4> <strong>搜索失败!</strong> 请先登录 ...
                        </div>''')
            context = {'error_msg': error_msg}
        return  context

urlconfig

代码语言：javascript复制

re_path('^search/', custom_search.MySearchIndex(), name='haystack_search'),

初始化索引数据

代码语言：javascript复制

python manage.py rebuild_index

搜索

搜索内容: nginx 部署 生成url: https://attacker.club/search/?q=nginx 部署

python 全文检索中文分词 nginx php

0 人点赞