因近期小组的一个项目有文本挖掘的需求，需要用到Word2Vec的文本特征抽取，为了进行技术预演需要我们提前对模型进行训练。而只要涉及数据挖掘相关的模型，数据集是不必可少的。中文文本挖掘领域，百科词条涵盖面广，而且内容比...

前言：　　时下互联网第一波的浪潮已消逝，随着而来的基于万千数据的物联网时代，因而数据成为企业的重要战略资源之一。基于数据抓取技术，本文介绍了java相关抓取工具，并附上demo源码供感兴趣的朋友测试！...

RCurl工具包的作者是由Duncan Temple Lang现任加州大学 U.C. Davis分校副教授。他曾致力于借助统计整合进行信息技术的探索。使用者通过RCurl可以轻易访问网页，进行相关数据的抓取以及下载，为数据分析提供原始素材...

手机抓包是一名测试工程师常备的技能，比如我想查看一个接口请求的参数、返回值，还有移动设备上的http请求、https请求，这一次的背景是我们想要在app端和小程序端抓取一些视频，这里用腾讯视频作为例子，使用mac系统的Charles...

众所周知，使用robots.txt文件可以对爬虫能否爬页面进行声明，但是这只是一个“君子协定”，有人遵守也有人不遵守，所以还需要对页面进行一个声明，加入meta代码...

前言 网络上存在各种各样的爬虫与蜘蛛，有的是对网站有帮助的，譬如说：百度(Baiduspider)、谷歌(Googlebot)、Bing(bingbot)等等，但是也有一些纯粹是垃圾爬虫，不但本身对网站毫无帮助，还大幅损耗服务器资源，如：BLEXBot、AhrefsB...

最近发现自己之前爬的某个网站更换了新的网页设计，于是重写了爬虫，在测试的时候突然被封了 IP，虽然说一般网站都不是永久封 IP，但是等不了的我还是尝试用 IP 池来突破该网站的反爬。...

4.哪里不会搜哪里！哪里报错改哪里！相信你遇到的99%的问题都能从网上找到相似的问题，你需要做的就是写代码！搜问题！调BUG！你搜不到解决办法的情况下，80%的情况是你搜索的姿势不对，另外20%可能需要你自己动动脑子，换个思路去做。...

如今，随着网络的快速发展，很多的人对代理IP都已经有了很深入的了解，那么有很多的朋友在使用代理IP的时候也会遇到各种各样的问题，下面就带大家来详细了解下代理IP的使用技巧。...

Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试....