通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。...

通常做网站的目标就是让搜索引擎收录，扩大推广面，但是如果你的网站涉及个人隐私或者机密性非公开的网页而需要禁止搜索引擎收录抓取的话，该如何操作呢？比如淘宝网就是禁止搜索引擎收录的一个例子，本文将教你几种做法来实现...

网站运营人员对于死链这个概念一定不陌生，网站的一些数据删除或页面改版等都容易制造死链，影响用户体验不说，过多的死链还会影响到网站的整体权重或排名。...

随着互联网时代的到来，很多企业也跟随大流积极的进行网站建设，但是由于大部分企业老板或是负责人对于网站建设这方面还不熟悉，只是随便找一家网络公司去建设一个网站。而某些网络公司也不负责任，将网站按要求用模板套出来...

对于我们从事SEO 优化的站长来说，忽略内容优化这个重要因素，可能就是一种损失。而经过多年 SEO 优化的网站，不管是从内容的优质性，权威性，专业性来说，都有可能会被第三方欣赏看中，收购你的网站并且带来可观的收益。...

大多数人，对于搜索引擎，也只是会个关键字搜索而已。其实，除了大家都会的关键字搜索之外，搜索引擎还提供了非常丰富的使用技巧给用户，但是绝大多数用户都不知道搜索引擎除了关键字搜索，还有其他的搜索技巧。现在是大数据时代...

1. 企业生产的用户数据： 大型互联网公司有海量用户，所以他们积累数据有天然的优势。有数据意识的中小型企业，也开始积累的数据。 2. 数据管理咨询公司： 通常这样的公司有很庞大的数据采集团队，一般会通过市场调研、问卷调...

项目中我们总是用 Kibana 界面来搜索测试或生产环境下的日志，来看下有没有异常信息。Kibana 就是 我们常说的 ELK 中的 K。

先吐槽下，国内的互联网越来越不互联了，比如手机端看全文必须下载APP，有些产品（比如闲鱼）甚至没有网页端，robot.txt禁止搜索引擎抓取，把一个个APP的内容封闭起来，于是我们手机上安装的APP越来越多。...

据路透社报道，两位知情人士指出，中国准备对Alphabet旗下谷歌发起反垄断调查，调查有关谷歌利用安卓移动操作系统的优势妨碍竞争之指控。