不到两个月，2018年春节要来了。
“今年我得早下手，抢张回家的低价机票。”在北京打工的小王对科技日报记者说，由于老家在云南，春节机票太贵，他都选择坐两天两夜的火车回去，长途跋涉，苦不堪言。
然而，就在小王摩拳擦掌，准备使出“洪荒之力”抢张便宜机票时，看到网上曝出这样一则消息：航空公司放出的低价机票，80%以上被票务公司的“爬虫”抢走，普通用户很少能买到。
小王傻眼了，“爬虫”究竟是什么鬼？它又是怎么抢机票的？难道就没有办法治理吗？
借助超链接信息抓取网页
“‘爬虫’技术是实现网页信息采集的关键技术之一，通俗来说，‘爬虫’就是一段用来批量、自动化采集网站数据的程序，几乎不需要人工干预。”北京理工大学网络科学与技术研究院副教授闫怀志告诉科技日报记者。
闫怀志介绍，“爬虫”又称网页“蜘蛛”、网络机器人，它是一种按照一定规则自动抓取网页信息的程序或者脚本，通常驻留在服务器上。在Web网页中，既包含可供用户阅读的文字、图片等信息，还包含一些超链接信息。网络“爬虫”正是借助这些超链接信息来不断抓取网络上的其他网页。
“这种信息采集过程很像一个爬虫或蜘蛛在网络上漫游，网络‘爬虫’或网页‘蜘蛛’因此得名。”闫怀志说，“爬虫”最早应用在搜索引擎领域，比如谷歌、百度、搜狗等搜索引擎工具每天需要抓取互联网上数百亿的网页，它们需要借助庞大的“爬虫”集群来实现搜索功能。
当前，“爬虫”已被广泛用于电子商务、互联网金融等诸多领域。比如，“爬虫”可以抓取航空公司官网的机票价格，发现低价或紧俏机票后，“爬虫”可以利用虚假客源的真实身份信息实现抢先预订。再有，很多互联网浏览器都推出了自己的抢票插件，以高订票成功率来推广浏览器。
根据抓取任务和目标的不同，网络“爬虫”可大致分为批量型、增量型和垂直型。批量型“爬虫”的抓取范围和目标较为明确，可以是网页的设定数量，也可以是消耗时间的设定。增量型“爬虫”主要用于持续抓取更新的网页，以适应网页的不断变化。垂直型“爬虫”主要是用于特定主题内容或特定行业的网页。
“爬虫”究竟是如何抢票的
此前，在线票务服务公司携程的“反爬虫”专家在技术分享中透露，某网站的一个页面，每分钟的浏览量是1.2万，真实用户只有500个，“爬虫”流量占比为95.8%。
采访中，很多业内人士也表示，即使在“爬虫”活动的淡季，虚假流量也占到订票网站总流量的50%，高峰期更是在90%以上。
那么，“爬虫”究竟是如何实现抢票的呢？对此，闫怀志解释，主要是机票代理公司利用“爬虫”技术，不断抓取航空公司售票官网网页信息，如果发现该航空公司有低价票放出，“爬虫”即刻利用虚假客源身份进行批量预定但不实际支付，以达到抢占低价票源的目的。由于“爬虫”的效率远远超过正常的手动操作，导致通过正常操作几乎无法抢到票。
随后，机票代理公司会通过其自身销售渠道(包括公司网站、在线旅行社、客户电话订购等)找到真正的客源，在航空公司允许的账期内，退订此前使用虚假客源身份预定的低价票，然后使用真实身份信息进行订购，最后实现该低价票的加价转售。
如果未在航空公司规定的账期内找到真正客源，机票代理公司会在订单失效前再追加虚假身份订单，继续“霸占”该低价票，如此反复，直至找到真正客源售出为止。
“上面的操作流程就构成了完整的机票销售链条。在这个过程中，航空公司售票系统允许在账期内反复订、退票的规定为机票代理公司利用‘爬虫’抢票并加价获利提供便利。这种抢票方式，被称为技术‘黄牛’。”闫怀志强调。
的确，有业内人士表示，这些“爬虫”流量消耗了大量的机器资源，却不产生任何消费，这是每个公司最痛恨的东西。但是，因为怕误伤真实用户，各家公司的“反爬虫”策略做得非常谨慎。
采用一定手段 “爬虫”可防可控
任何事情都有两面，“爬虫”技术也不例外。
在闫怀志看来，“爬虫”既可为正常的数据批量获取提供有效的技术手段，也可被恶意使用以获取不当利益。如果“爬虫”技术被不正当利用，就会带来一定的危害。
首先，威胁数据安全。航空公司售票网站数据被恶意爬取，数据可能会被机票代理公司恶意利用，而且还存在被同业竞争对手获取的风险。
其次，导致系统性能下降，影响用户体验。“爬虫”大量的抓取请求会导致航空公司售票网站服务器资源负载上升、性能下降，网站响应变慢甚至无法提供服务，对用户搜索和交易体验造成负面影响。但由于存在巨大的灰色利益空间，同时“反爬虫”技术在与“爬虫”对抗中作用有限，使得这种显失公平的“作弊”方式成为扰乱机票市场秩序的技术“顽疾”。
“从技术角度来看，阻击‘爬虫’可以通过网站流量统计系统和服务器访问日志分析系统。”闫怀志说，通过流量统计和日志分析，如果发现单个IP访问、单个session访问、User-Agent信息超出设定的正常频度阈值，则判定该访问为恶意“爬虫”所为，将该“爬虫”的IP列入黑名单以拒绝其后续访问。
再就是设置各种访问验证环节。比如，在可疑IP访问时，返回验证页面，要求访问者通过填写验证码、选取验证图片或者字符等方式实现验证。如果是恶意“爬虫”爬取，显然很难完成上述验证操作，进而可以封锁该“爬虫”的访问，防止其恶意爬取信息。
互联网空间不能有“灰色地带”
当前，云计算、大数据等为代表的新一代信息技术处在高速发展阶段。
“上述新技术如果被非法或者不当应用，则会产生严重的危害。互联网空间安全需要建立健全完善的保护体系，绝不能‘裸奔’。”闫怀志说。
2017年6月1日，我国《网络安全法》正式实施，明确了各方在网络安全保障中的权利与责任。这是中国网络空间治理和法制建设从量变到质变的重要里程碑，这部法律作为依法治网、化解网络风险的法律重器，成为我国互联网在法治轨道上健康运行的重要保障。
然而，目前对于高科技“黄牛”倒票行为，尚未有明确规定，使得恶意爬取信息并不当获利行为处在法律法规监管的“灰色地带”。
闫怀志介绍，国际上，针对“爬虫”应用，专门制订了Robots协议(即“爬虫”协议、网络机器人协议等)。该协议全称为“网络爬虫排除标准”，网站可通过该协议告知“爬虫”可以爬取哪些页面及其信息，不能爬取哪些页面及其信息。该协议作为网站和“爬虫”的沟通方式，用来规范“爬虫”行为，限制不正当竞争。
作为国际互联网界通行的道德规范，该协议的原则是：“爬虫”及搜索技术应服务于人类，同时尊重信息提供者的意愿，并维护其隐私权；网站有义务保护其使用者的个人信息和隐私不被侵犯。这就规定了爬取者和被爬取者双方的权利和义务。
一位不愿具名的法律专家也表示，“反爬虫”不仅要依靠技术防范和业界自律，还应该通过完善管理和法律法规手段来约束这种行为，尤其是法律手段才能彰显惩治力和震慑力。航空公司也要完善账期管理，不给“爬虫”抢票提供机会。
不到两个月，2018年春节要来了。
“今年我得早下手，抢张回家的低价机票。”在北京打工的小王对科技日报记者说，由于老家在云南，春节机票太贵，他都选择坐两天两夜的火车回去，长途跋涉，苦不堪言。
然而，就在小王摩拳擦掌，准备使出“洪荒之力”抢张便宜机票时，看到网上曝出这样一则消息：航空公司放出的低价机票，80%以上被票务公司的“爬虫”抢走，普通用户很少能买到。
小王傻眼了，“爬虫”究竟是什么鬼？它又是怎么抢机票的？难道就没有办法治理吗？
借助超链接信息抓取网页
“‘爬虫’技术是实现网页信息采集的关键技术之一，通俗来说，‘爬虫’就是一段用来批量、自动化采集网站数据的程序，几乎不需要人工干预。”北京理工大学网络科学与技术研究院副教授闫怀志告诉科技日报记者。
闫怀志介绍，“爬虫”又称网页“蜘蛛”、网络机器人，它是一种按照一定规则自动抓取网页信息的程序或者脚本，通常驻留在服务器上。在Web网页中，既包含可供用户阅读的文字、图片等信息，还包含一些超链接信息。网络“爬虫”正是借助这些超链接信息来不断抓取网络上的其他网页。
“这种信息采集过程很像一个爬虫或蜘蛛在网络上漫游，网络‘爬虫’或网页‘蜘蛛’因此得名。”闫怀志说，“爬虫”最早应用在搜索引擎领域，比如谷歌、百度、搜狗等搜索引擎工具每天需要抓取互联网上数百亿的网页，它们需要借助庞大的“爬虫”集群来实现搜索功能。
当前，“爬虫”已被广泛用于电子商务、互联网金融等诸多领域。比如，“爬虫”可以抓取航空公司官网的机票价格，发现低价或紧俏机票后，“爬虫”可以利用虚假客源的真实身份信息实现抢先预订。再有，很多互联网浏览器都推出了自己的抢票插件，以高订票成功率来推广浏览器。
根据抓取任务和目标的不同，网络“爬虫”可大致分为批量型、增量型和垂直型。批量型“爬虫”的抓取范围和目标较为明确，可以是网页的设定数量，也可以是消耗时间的设定。增量型“爬虫”主要用于持续抓取更新的网页，以适应网页的不断变化。垂直型“爬虫”主要是用于特定主题内容或特定行业的网页。
“爬虫”究竟是如何抢票的
此前，在线票务服务公司携程的“反爬虫”专家在技术分享中透露，某网站的一个页面，每分钟的浏览量是1.2万，真实用户只有500个，“爬虫”流量占比为95.8%。
采访中，很多业内人士也表示，即使在“爬虫”活动的淡季，虚假流量也占到订票网站总流量的50%，高峰期更是在90%以上。
那么，“爬虫”究竟是如何实现抢票的呢？对此，闫怀志解释，主要是机票代理公司利用“爬虫”技术，不断抓取航空公司售票官网网页信息，如果发现该航空公司有低价票放出，“爬虫”即刻利用虚假客源身份进行批量预定但不实际支付，以达到抢占低价票源的目的。由于“爬虫”的效率远远超过正常的手动操作，导致通过正常操作几乎无法抢到票。
随后，机票代理公司会通过其自身销售渠道(包括公司网站、在线旅行社、客户电话订购等)找到真正的客源，在航空公司允许的账期内，退订此前使用虚假客源身份预定的低价票，然后使用真实身份信息进行订购，最后实现该低价票的加价转售。
如果未在航空公司规定的账期内找到真正客源，机票代理公司会在订单失效前再追加虚假身份订单，继续“霸占”该低价票，如此反复，直至找到真正客源售出为止。
“上面的操作流程就构成了完整的机票销售链条。在这个过程中，航空公司售票系统允许在账期内反复订、退票的规定为机票代理公司利用‘爬虫’抢票并加价获利提供便利。这种抢票方式，被称为技术‘黄牛’。”闫怀志强调。
的确，有业内人士表示，这些“爬虫”流量消耗了大量的机器资源，却不产生任何消费，这是每个公司最痛恨的东西。但是，因为怕误伤真实用户，各家公司的“反爬虫”策略做得非常谨慎。
采用一定手段 “爬虫”可防可控
任何事情都有两面，“爬虫”技术也不例外。
在闫怀志看来，“爬虫”既可为正常的数据批量获取提供有效的技术手段，也可被恶意使用以获取不当利益。如果“爬虫”技术被不正当利用，就会带来一定的危害。
首先，威胁数据安全。航空公司售票网站数据被恶意爬取，数据可能会被机票代理公司恶意利用，而且还存在被同业竞争对手获取的风险。
其次，导致系统性能下降，影响用户体验。“爬虫”大量的抓取请求会导致航空公司售票网站服务器资源负载上升、性能下降，网站响应变慢甚至无法提供服务，对用户搜索和交易体验造成负面影响。但由于存在巨大的灰色利益空间，同时“反爬虫”技术在与“爬虫”对抗中作用有限，使得这种显失公平的“作弊”方式成为扰乱机票市场秩序的技术“顽疾”。
“从技术角度来看，阻击‘爬虫’可以通过网站流量统计系统和服务器访问日志分析系统。”闫怀志说，通过流量统计和日志分析，如果发现单个IP访问、单个session访问、User-Agent信息超出设定的正常频度阈值，则判定该访问为恶意“爬虫”所为，将该“爬虫”的IP列入黑名单以拒绝其后续访问。
再就是设置各种访问验证环节。比如，在可疑IP访问时，返回验证页面，要求访问者通过填写验证码、选取验证图片或者字符等方式实现验证。如果是恶意“爬虫”爬取，显然很难完成上述验证操作，进而可以封锁该“爬虫”的访问，防止其恶意爬取信息。
互联网空间不能有“灰色地带”
当前，云计算、大数据等为代表的新一代信息技术处在高速发展阶段。
“上述新技术如果被非法或者不当应用，则会产生严重的危害。互联网空间安全需要建立健全完善的保护体系，绝不能‘裸奔’。”闫怀志说。
2017年6月1日，我国《网络安全法》正式实施，明确了各方在网络安全保障中的权利与责任。这是中国网络空间治理和法制建设从量变到质变的重要里程碑，这部法律作为依法治网、化解网络风险的法律重器，成为我国互联网在法治轨道上健康运行的重要保障。
然而，目前对于高科技“黄牛”倒票行为，尚未有明确规定，使得恶意爬取信息并不当获利行为处在法律法规监管的“灰色地带”。
闫怀志介绍，国际上，针对“爬虫”应用，专门制订了Robots协议(即“爬虫”协议、网络机器人协议等)。该协议全称为“网络爬虫排除标准”，网站可通过该协议告知“爬虫”可以爬取哪些页面及其信息，不能爬取哪些页面及其信息。该协议作为网站和“爬虫”的沟通方式，用来规范“爬虫”行为，限制不正当竞争。
作为国际互联网界通行的道德规范，该协议的原则是：“爬虫”及搜索技术应服务于人类，同时尊重信息提供者的意愿，并维护其隐私权；网站有义务保护其使用者的个人信息和隐私不被侵犯。这就规定了爬取者和被爬取者双方的权利和义务。
一位不愿具名的法律专家也表示，“反爬虫”不仅要依靠技术防范和业界自律，还应该通过完善管理和法律法规手段来约束这种行为，尤其是法律手段才能彰显惩治力和震慑力。航空公司也要完善账期管理，不给“爬虫”抢票提供机会。
