网络爬虫是一种自动获取网页内容的程序或技术。它就像一只“小蜘蛛”，在互联网上爬行，抓取各种信息。 想象一下，网络就像一张大网，上面有无数的网页，而爬虫就是在这张网上穿梭的“小虫子”。它可以根据预设的规则和目标，自...

网络爬虫 为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫（general purpose w...

在人工智能盛起的当下，前有ChatGPT珠玉在前，后有Sora（聊聊火出圈的世界AI大模型——Sora）横空出世的消息铺天盖地，笔者作为一名资深数据科学从业者，也进行了很多的探索。最近梳理了一些关于Advanced RAG和ReRank相关的资料，...

RAG 评测数据集建设尚处于初期阶段，缺乏针对特定领域和场景的专业数据集。市面上常见的 MS-Marco 和 BEIR 数据集覆盖范围有限，且在实际使用场景中效果可能与评测表现不符。目前最权威的检索榜单是 HuggingFace MTEB，今...

robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是...

算法实现: 基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG) 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合 对于未登录词，采用了基于汉字成词能力的HMM模型，使...

来了来了，消息队列系列总算来咯。对于搜索引擎相关的知识大家消化的怎么样呀？其实对于搜索引擎来说，我们学习的内容还是挺全面的，也算是比较深入了。而对于消息队列来说，我不准备写得太深入，因为对于这个东西，实战并不算多，主...

Xapian 是一个开源搜索引擎库，使用 C++ 编写，并提供绑定(bindings )以允许从多种编程语言使用。它是一个高度适应性的工具包，允许开发人员轻松地将高级索引和搜索功能添加到自己的应用程序中。Xapian 支持多种加权模型和...

搜索引擎优化（SEO）是通过优化网站内容和结构，提高网站在搜索引擎中的排名，从而增加网站流量和曝光度的技术和方法。SEO的目标是使网站在搜索引擎结果页面中获得更高这个过程包括吸引更多访问者的关键词优化、内容优化、技...