引 言
随数字经济时代到来，数据资源日益成为重要的生产要素和社会财富。网络爬虫作为数据资源取得与利用的高效生产力工具，在广受关注并带来优质数据服务的同时，违规使用现象大量存在，严重损害他人合法权益、市场竞争秩序和网络信息系统安全。2017年，曾号称“数据第一股”的北京数据堂公司因利用网络爬虫违规获取、倒卖个人信息数据，其首席运营官被依法判处有期徒刑三年，成为大数据爬虫公司中第一个入刑案例。2020年7月，央视“315晚会”曝光手机APP第三方插件SDK乱象，指出部分SDK会在用户不知情的情况下超出其声明权限范围收集用户个人信息。该事件导致舆论一片哗然，网络爬虫违规现象引发大众高度关注。
近年来，国家层面有了一系列新动态，试图以顶层设计厘清数据权属关系、构建数据安全基础规范。例如，国家网信办2019年5月公布《数据安全管理办法(征求意见稿)》规定网络运营者采取自动化手段访问收集网站数据，不得妨碍网站正常运行；2020年7月公开征求意见的《中华人民共和国数据安全法（草案）》（以下简称《数据安全法》）要求必须以合法正当方式收集数据，交易时数据提供方承担来源说明义务，数据处理服务经营者应依法取得许可或备案。这些标准的设立，对杜绝网络爬虫不规范使用作出了有益探索，但仍不能满足针对网络爬虫的监管、制约需要。对此有学者提出，网络爬虫的司法规制应追溯至部门法数据权利体系，并构建一个充分平衡数据主体、数据网站和网络爬虫利益的操作规则。本文分析即建立在此种观点之上，将体系化思考作为网络爬虫问题有效鉴别与切实解决的路径，并试图以完善立法为根基，建构一个系统完备、分层递进的“行、民、刑”法律规制体系。
一、构筑网络爬虫立法保障的实践呼唤
伴随互联网迅猛发展，面对指数级增长的信息，原有低效的数据获取方式极为不便，爬虫技术应运而生。网络爬虫作为一项数据提取技术，其本身符合“技术中立”特性，但不当使用却可能在带来便利和效益的同时，面临相应法律风险，其中的法律问题值得窥探。
（一）网络爬虫应用日益广泛
1.网络爬虫的机体架构。网络爬虫（Web Crawler），也被称为网络蜘蛛或网络机器人，本质上是一种自动高效提取目标数据的程序或脚本，可按照指令通过遍历网络内容的方式，从数据库、数据网站、手机APP等对象中检索、搜集、提取所需的数据。与网络爬虫紧密联系的另一概念是爬虫协议（robots协议），是指互联网站所有者使用robots.txt文件，向网络机器人给出网站指令的协议。该robots.txt文件告知爬虫软件本站点中哪部分内容不允许被抓取，哪些可以抓取。其本质上是受访网站所有者与网络爬虫使用者之间的一种沟通方式，但不具有强制约束性。以是否违背被爬取者意愿进行区分，网络爬虫可以分为善意爬虫和恶意爬虫。善意爬虫符合robots协议的规范行为，爬取网络上的公开信息、经授权信息或对象网站中允许访问的内容；而恶意爬虫除爬取公开信息和允许访问内容以外，还会爬取robots协议中不允许访问的内容，更有甚者故意采取技术手段强行突破网站设置的限制，暴力爬取网站后台数据甚至用户个人信息等内容。
2.网络爬虫的应用场景。据统计，爬虫流量已占据互联网流量的半壁江山，而恶意爬虫数量与善意爬虫数量基本持平。网络爬虫最早作为通用搜索引擎应用到具体场景中，如最为大众所熟知的谷歌、百度、360搜索等皆以此为基础。在淘宝、微博、微信公众号等互联网内容提供方所运营的网站或手机APP中，也会利用网络爬虫设置独立的垂直搜索引擎，便于用户站内信息检索。总的来说，通用搜索引擎这类网络爬虫属于善意爬虫，它们严格遵守robots协议内容，能够增强整个互联网的信息匹配效率。伴随数据需求的增长和数字经济的发展，网络爬虫逐渐从搜索引擎领域向其他领域扩展，比如爬取目标数据进行统计、通过爬虫抢购商品、整合平台信息进行对比以及爬取个人信息等等。以大量存在的恶意爬虫为例，据腾讯安全云鼎实验室发布的2018上半年安全专题报告《互联网恶意爬虫分析》显示，恶意爬虫流量最为集中的目标行业为出行类、社交类和电商类，这三类行业占恶意爬虫总流量的52.65%（见图1）。值得注意的是，其中有4.91%的爬虫流量偏好政府部门信息。可见，相比刚刚兴起时集中于搜索引擎的使用，网络爬虫的应用领域越来越广，恶意爬虫的危害亦越来越大。
（二）网络爬虫违法行为愈发凸显
网络爬虫以其高效、便捷、经济的特点在获得广泛应用的同时，常因游走于法律灰色地带而饱受诟病，违法犯罪事件亦屡见不鲜。
1.网络爬虫常游走于法律边缘。立法缺失、监管失位及
使用者法律意识淡薄，使得网络爬虫领域整体违规风险较大。就现行规范来看，目前仅有中国互联网协会召集12家互联网企业签署发布的2012年《互联网搜索引擎服务自律公约》这一行业规约对网络爬虫进行了简要定义，将robots协议这一行业惯例上升为行业自律公约，并对违反公约内容的行为后果及处理方式进行了倡导性约定。在更为上位的法律法规及其他规范性文件中未进行明确规定，缺乏统一的技术规范指导和法律规则指引，容易出现行政违法、民事侵权甚至刑事犯罪行为，且不易准确甄别、判断。在监管方面，监管主体的知识储备和监管手段均难以匹配监管需求，客观上纵容了网络爬虫违规行为。从使用主体来看，法律意识普遍淡薄，对于各类信息爬取手段是否违法的界限并不清楚，加大了违规风险。对网络爬虫的使用功能、应用方式和涉及领域进行观察，其可能涉及的行政违法、民事侵权、刑事犯罪行为主要包括：（1）侵犯肖像权、隐私权、知识产权（包括著作权、商业秘密）及个人信息权益；（2）涉及广告法意义上的虚假宣传、破坏竞争秩序、损害经营者利益和消费者利益等不正当竞争行为；（3）涉及侵犯公民个人信息、非法侵入计算机信息系统、非法获取计算机信息系统数据方面的刑事犯罪。
2.网络爬虫违法事件层出不穷。近年来，关于网络爬虫恶意侵入网络系统、爬取个人隐私导致信息泄露、利用爬虫不正当竞争等事件屡见不鲜，网络爬虫已大量沦为违法犯罪工具，原本认为的中性技术已被深深烙上了邪恶的印记。工信部信息通信管理局于2020年7月24日发布《关于侵害用户权益行为的APP通报（2020年第三批）》，通报了存在问题的58款APP，而这些APP存在的主要问题是私自收集个人信息。通过检索中国裁判文书网发现，网络爬虫在2015年以来的司法案例中逐渐增多。从百度与奇虎公司不正当竞争纠纷案到易天新动与奢玩科技公司侵害作品信息网络传播权纠纷案再到黄后荣、翁秀豪被控非法获取计算机信息系统数据罪案，网络爬虫的身影越来越多的出现在民商事侵权纠纷和刑事犯罪案件中。网络爬虫违规行为的激增，损害了他人合法权益，扰乱了正常的网络秩序、社会秩序，甚至危害到国家网络信息安全。
（三）网络爬虫立法保障的正当性分析
科技是把双刃剑，如若使用不当会产生诸多危害，甚至阻碍社会发展进步；但如果使用得当，便能促进经济发展、造福人类社会。作为信息技术转型升级过程中孕育出的网络爬虫技术，自然也有此双重特性。2020年7月22日，最高人民法院联合国家发改委共同发布《关于为新时代加快完善社会主义市场经济体制提供司法服务和保障的意见》，明确要求完善数据保护法律制度。网络爬虫行为关乎数据安全，需要给予足够的立法保障。质言之，通过完善立法，提升行政监管能级，优化司法裁判标准，为爬虫使用者构建稳定的预期，促使网络爬虫规范使用，从而给社会发展、经济发展带来便利、高效的信息生产力工具，无需忧虑恶意爬虫的侵扰。例如，《互联网搜索引擎服务自律公约》、谷米公司诉元光公司不正当竞争纠纷案、大众点评诉百度公司不正当竞争纠纷案等等，这些行业规约和司法判例对规范网络爬虫行为起到了一定的指引、规范作用。通过构筑立法保障，建立科学有效的法律规制体系，确保网络爬虫在数据领域的合规应用，能够促进数据生态系统的良好运转和数字经济的有序发展。
二、网络爬虫法律规制的实践检视
网络爬虫领域立法供给不足问题严峻，行政监管不力、司法治理疲软问题相伴而生。
（一）网络爬虫的相关法律规范阙如
1.有关网络爬虫的立法缺失。相较于步入数字经济时代后互联网的飞速发展，我国立法滞后于经济社会发展现状，其滞后性集中表现在许多与互联网相关的领域尚未形成明确的法律监管体系。就网络爬虫而言，较之于广泛的应用领域和产生的大量违法问题，有关网络爬虫的立法严重缺失。行政领域中，《中华人民共和国网络安全法》（以下简称《网络安全法》）《中华人民共和国数据安全法》（以下简称《数据安全法》）等构建的行政法规范体系中仅有个别条款从数据安全方面间接涉及网络爬虫，缺少监管主体、监管程序、监管措施等方面的专门规定。民商事领域中，现行法律规范对网络爬虫并无专门规定，仅《中华人民共和国民法典》（以下简称《民法典》）对数据这一概念有所涉及。在纠纷处理中，只能套用一般的民商事法律规定进行处理，且出现了现有规定无法满足裁判需求的情况。例如，《中华人民共和国反不正当竞争法》（以下简称《反不正当竞争法》）第二章中所列举11种具体情形无法囊括网络爬虫行为，导致司法判决援引法条时往往只能将目光投向第一章第二条，存在“向一般条款逃逸”之嫌。刑事领域中，《中华人民共和国刑法》（以下简称《刑法》）有关计算机信息系统犯罪、侵犯著作权犯罪、侵犯公民个人信息犯罪及相关司法解释形成的规范体系对数据表征的各类权利保护较为全面，在规制恶意爬虫对刑事法益的侵害方面收效明显。然而，目前司法解释对非法获取数据及侵犯公民个人信息等网络爬虫所涉常见罪名规定的认定标准数额普遍较低，极大降低了入罪门槛。再加之其证明标准易于达成，因而在司法实务中易于采用，使民法、行政法的适用空间日趋逼仄。另外，相比恶意爬虫带来的严重危害，刑罚制裁力度略显薄弱，与“罪刑相适应”原则相佐。例如，非法获取计算机信息系统数据罪的最高刑期仅为七年，无法对大规模违法爬取并造成严重后果的行为进行严厉惩治。又如，拒不履行信息网络安全管理义务罪的最高刑期为三年，入罪主体仅限于网络服务提供者，面对层出不穷的大规模数据泄露事件，并不能起到足够的震慑作用。
2.立法缺失折射出架构问题。透过立法缺失表象，发现立法架构方面存在低阶、模糊、细碎、片面等问题。一是相关规定低阶化。除《网络安全法》这一约束、监管网络行为的专门法律以外，其余与网络爬虫有关的现行规定基本属于层级较低的部门规章，甚至是更低层级的政策文件、无强制力的行业规约等。二是相关规定模糊化。相关条文多属于一般原则条款，缺乏落地的实施细则，给网络爬虫后续监管和规制带来了极大困惑。三是相关规定碎片化。从整体来看，相关规定过于零散，均散见于部分与网络数据管控相关的规范性文件中，并无针对网络爬虫的集中性规定。四是相关规定片面化。除了对个人信息保护等重点领域规定较为完善外，整体上看对于网络爬虫的规定覆盖率依然较低。尤其是一些模棱两可的网络爬虫应用行为处于法律的灰色地带，难以对其进行法律定性，因此无法对全部恶意爬虫进行有效约束。值得一提的是，国家逐渐意识到保护个人信息的重要性，先后出台了《关于办理侵犯公民个人信息刑事案件适用法律若干问题的解释》《个人信息安全规范》等多项网络领域保护个人信息的法律法规、国家标准，并着力推动我国《数据安全法》《个人信息保护法》的立法加速。即将实施的我国《民法典》也在总则编第五章、人格权编第六章专门对公民个人信息保护作出了规定。这些努力遏制了网络爬虫对个人信息的侵犯，但个别重点领域的高压整治对网络爬虫带来的约束力是远远不够的。从整体上看，立法缺失纵容了网络爬虫的不规范行为，使得网络爬虫应用总体上未得到有效的制度管控和约束。
（二）网络爬虫的行政监管尚不匹需
恶意爬虫横行于世，而行政监管却存在主体权责不清、监管对象失衡、惩治力度不足等多项问题。当下而言，针对网络爬虫的行政监管主体不够明晰。《数据安全法》第六条、第七条规定了国安、公安、网信办等部门及工业、电信、教育、金融、自然资源、卫生健康、国防科工等行业主管部门的数据安全监管职责。网络爬虫可能涉足的领域过于广泛，从通用搜索到个人隐私，从知识产权到司法数据，从商务交易到政务信息，由此带来各领域监管主体不一、权责模糊的问题。各监管主体对网络爬虫的重视程度有别，采取的监管措施、监管程序、追责方式不同，造成了多头监管、政出多门的情形，导致监管难以协调统一。
在监管对象方面，存在“头痛医头、脚痛医脚”的问题，往往顾此失彼。由于恶意爬虫侵权问题愈发严重，工信部今年以来开展了多次APP专项治理活动，并上线运行全国APP技术检测平台管理系统，但该系统覆盖面狭窄，仅局限于40万款常见APP，检测对象数量整体占比较低。并且，数据安全监管重点局限于APP领域，对于小程序这一使用面极广的领域，基本处于监管盲区，纵容了恶意爬虫的滋生。
此外，对于恶意爬虫的惩治力度明显不足。例如，对于违规搜集个人信息的APP，在通知整改后拒不整改的，仅做下架处理，并无实质性惩处后果。又如，对于因使用网络爬虫违反《网络安全法》而给予罚款的主体，罚款金额普遍较低，导致违法成本较低。追根溯源，行政监管不力本质上是行政规范支撑不足造成，当然也有部分行政执法人员认识不足、执法权能有限的问题，突出表现在法律认知跟不上、监管技术较为薄弱。网络爬虫技术更迭较快，监管爬虫的主体能力、技术手段亟待提档升级。
（三）网络爬虫的司法惩治整体疲软
在中国裁判文书网以“爬虫”为关键词进行搜索，共计检索到相关裁判文书447份（截至2020年9月10日），除开二审裁判文书，并剔除与网络爬虫完全无关的案件及审理重点不涉及网络爬虫的案件，剩余民事、刑事案件一审裁判文书共175份，其中民事一审案件129件，刑事一审案件46件。除依法不公开的裁判文书以外，以上数据能较为真实地反映网络爬虫司法裁判现状。相对于恶意爬虫庞大的使用量级来说，承担民事责任和受到刑事制裁的案件比例畸低，与现实中大量存在的网络爬虫侵权现象极不匹配。
究其原因，司法惩治疲软很大程度是由于民事、刑事法律法规缺位造成。对网络爬虫有较强针对性的规制手段集中于《刑法》关于侵犯个人信息犯罪及计算机信息系统犯罪相关条文中，但对于使用网络爬虫涉嫌犯罪时如何与相关罪名进行具体衔接，仍需对主客观认定标准进一步细化。而关于网络爬虫造成的民事侵权责任，现行法律法规暂未作出针对性规定。目前大部分恶意爬虫侵权行为是通过适用《反不正当竞争法》对所涉不正当竞争行为进行规制或适用《中华人民共和国著作权法》（以下简称《著作权法》）对知识产权的法益保护进行司法追责与救济。但问题在于，这种事后追责可能无法弥补诸多无可挽回的损失，例如对个人隐私或商业秘密的侵犯甚至大规模信息泄露事件等等。对于数据权益（甚至可以定义为“数据权利”）的保护进路不明，是其无法得到充分而周延的民事保护的主要原因。
透视根本，立法缺失导致受侵害方遭遇恶意爬虫时不能得到足够明确、清晰的指引，法官在审理案件、评断责任并进行司法救济时，面对无法补救的损失也会生出某种“无力感”。当然，与此同时还可能存在一定的主观障碍，例如部分司法工作人员对于以网络爬虫为代表的互联网新生事物思想认识不足、知识储备有限，难以满足依法规制、打击恶意爬虫行为的客观需要。
三、网络爬虫立法保障的域外借镜
（一）欧盟《一般数据保护条例》带来的重要启示
2018年5月，经过长达四年的商讨，欧盟《一般数据保护条例》（General Data Protection Regulation，简称GDPR）这一号称“史上信息保护最严禁令”正式生效。该条例作为欧盟范围内保护公民个人隐私与数据信息的法规，将个人信息的保护与监管推向了一个新的高度，而关于网络爬虫的规制问题也能从中得到启发与借鉴。GDPR开篇即在第四条分26项对“个人数据”“处理”“用户画像”“匿名化”“同意”“数据泄露”等关键术语定义进行了充分明确，为该条例界定了清晰的内涵与外延。我国目前尚未在一部统一标准、兼顾各方的上位法中对此类关键概念予以明确，或将在进一步的行政监管以及司法规制活动中面临解释难题。关于权属问题，GDPR在维护传统权利观念和信息安全的同时，对数据主体享有的各项权利和权益进行了明确。包括确认知情权、访问权、纠正权，增设可携带权、删除权（被遗忘权）、免受数据画像影响的权利等等，明确提出数据主体获得许可并提供查询、更改和删除保存信息的要求，顺应了数字经济生态的新发展。值得一提的是，GDPR第四十二条、第四十三条对数据控制和处理的认证及认证机构作出了专门规定。鼓励在考虑中小型经济体的基础上，建立数据保护认证机制、数据保护印章和标记，以证明控制者和处理者的处理操作符合该条例，并以自愿为原则，具体作出认证程序、认证时效、认证撤销等规定。认证不啻于一种有效的事前监管手段，值得仔细考量实用价值并有针对性地进行借鉴。
在执法实际落地中，GDPR赋予数据主体各项权能过于强大，也给监管机构带来了困扰。譬如GDPR第七十七条赋予了数据主体向监管机构进行申诉的权利，只要数据主体认为对其个人数据的处理违反相关规定就可以向数据保护机构进行投诉。在欧盟理事会近日发布的《关于GDPR适用的立场与发现》中，奥地利、保加利亚以及德国均指出“过低的投诉门槛和大量重复投诉已经严重妨碍了监管部门的正常运作。”此外，还面临中小经济体的特殊考虑未落到实处、域外适用无法执行、司法系统是否一体适用等问题。随着GDPR的颁布，其制度内容已经固化，但与之相对的是以惊人速度不断奔涌向前的数字技术水平。法律适用应当为数字技术发展在一定程度上“留白”，而不能以法律框架限制其创新活力与创造能力。
（二）美国网络爬虫相关判例带来的规则指引
作为英美法系法律渊源之一，判例法在美国法院的司法实践中发挥着重要作用。根据判例法制度，法院以遵循先例为原则，在网络爬虫相关案件中不断发展完善针对数据权属和网络爬虫行为的法律规则，众多判例对我国的数据爬虫纠纷司法实践具有一定的借鉴意义。早在2000年的Ebay v. BE一案中，围绕数据权属及网络爬虫行为的法律争议就已经开始展开。Ebay公司在其网站的robots协议中明确规定“禁止未经书面许可使用任何机器人、蜘蛛或其他自动装置，或手动控制复制我们的网页或所包含的内容”，BE公司违反robots协议对该网站内容进行了爬虫爬取。Ebay起初口头允许BE进行90天的爬行，且希望在此期间达成正式许可，但最终双方磋商失败。此后，BE继续爬行Ebay的网站，由此Ebay向法院提起诉讼。法院最终支持了Ebay提出的“非法侵入”控告，认为BE未经授权的爬虫行为侵犯了原告的占有权益，从而导致原告受到损害。在Field v. Google案中，法院也坚持了以robots协议设置与否来判断是否构成“非法侵入”的裁判路径，认为Blake A. Field未在其网站设置robots协议，即视为“默示允许”通用搜索引擎建立索引并缓存部分数据，因此Google公司的抓取和合理使用并不违法。
在2017年HiQ v. LinkedIn一案中，法官表明了不同的裁判思路。该案中，HiQ公司对LinkedIn公司的商务社交网站进行了数据爬取，但法院认为由于LinkedIn网站上的数据是公开数据，即使违反网站设置的robots协议对公开数据进行爬取，这种爬虫行为也不违反法律。同时法院发出临时禁令，要求LinkedIn移除任何妨碍HiQ获取其公开数据的反爬虫措施。2019年，联邦第九巡回上诉法院维持了该项临时禁令，并且认定“根据《联邦计算机欺诈和滥用法》的规定，当计算机网络一般允许公众访问其数据时，用户访问该公共可用数据将不构成‘未经授权’的访问。”从Ebay v. BE案到Field v. Google案再到HiQ v. LinkedIn案，体现了美国法院法官对于平衡互联互通的数据共享模式和保护个人与平台的数据权利之间的观点衍变，这一系列判例所表达的规则价值也为我国的审判实践活动提供了镜鉴。
四、网络爬虫立法保障的路径选择
数据在数字经济社会中的地位不断凸显，爬虫技术的更多应用场景被逐一发掘，恶意爬虫的法律规制路径亟待明晰。本章从法益侵害程度的梯度递进出发，以完备立法并最终落实为依归，着力构建行政监管、民事追责及刑罚制裁“三位一体”法律规制体系。
（一）深化行政立法，构建行政监管的规范依据
对负有监管职责的相关部门，应给予足够的立法支撑和明晰的规则指引，以解决行政规范供给不足的问题。对恶意爬虫的违法行为，在赋予相关部门行政执法权的同时，各部门间权责界限需进一步明晰。既要防止实际管理中出现职责不清的监管盲区或多头监管引发的相互推诿塞责，也要防止出现违背“一事不再罚”的行政处罚原则情况，变“九龙治水”为“攥指成拳”。笔者建议，从法律层面明确专门的数据保护监管行政主体，行使对于数据生成、流通及安全保障等的总体管理职责，如由国家网信办或工信部牵头成立专门的数据管理办公室，统筹协调各部门开展数据合规工作。
关于监管流程和措施的升级改造，在事前监管方面，可借鉴欧盟《一般数据保护条例》的认证制度，对规模以上的数据信息控制者和处理者进行主体认证，以实现有效监管。考虑到安全与效率的平衡问题，可在对数据进行分类的基础上建立“白名单”制度，就零星数据、公开数据和非个人敏感数据、非重要数据作出场景化、差异化规定。而对于重要数据或隐私数据的爬取，事前应向网络安全主管部门备案。在事中监管方面，让数据信息管理者和控制者承担数据保护义务和数据泄露通知义务，尽可能强化防护、及早止损。并且，通过立法赋予监管部门网络技术执法权，使得网络技术执法更具正当性、合法性。应进一步完善网络爬虫的监管技术，加强网络执法能力建设，对于发现存在违法行为的爬虫，可由监管部门通过反爬技术，在保存证据的前提下将其驱除，甚至将网络爬虫盗取的数据格式化，避免造成二次伤害。在事后监管方面，赋予行政执法手段的多样性，明确规定监管部门可以针对相关责任主体进行罚款、停业整顿、吊销许可、没收违法所得等行政处罚，并畅通涉及刑事犯罪行为时向公安机关进行移送的路径。建立网络爬虫“黑名单”制度，根据爬虫软件违规行为严重程度，实行定期禁入或永久禁入。另外，以行政行为规范后端数据交易市场，确保交易数据获取渠道合法、权利清晰无争议，从而倒逼前端数据收集行为更加规范有序。
（二）优化民事立法，构建权利保障的制度应对
如前所述，虽然《民法典》对数据和个人信息的保护有所涉及，但目前仅将数据和个人信息看作“民事权益”，是否上升为权利有待于法律的另行规定。数据作为一项新兴生产要素，对其提供强力保护已刻不容缓，需在基本法层面将数据权作为一项民事权利予以明确，但个人信息权益是否需要上升到权利保护高度有待进一步探讨。目前对侵犯涉及隐私权的行为，民事法律规范提供了较强的保护力度，如《民法典》第一千零三十三条第（五）项禁止未经法律规定或权利人明确同意的“处理他人的私密信息”行为。然而，对于隐私权以外的个人信息保护力度相对较弱，如第一千零三十五条第（一）项“征得该自然人或者其监护人同意”，此处从隐私权的“明确同意”降格为“同意”，可以理解为包括默示同意，其法律保护力度有所降低。由于网络爬虫爬取的个人信息数据，通过搜集、整理、筛选、加工后，在一定程度上能够勾勒出较为清晰的用户画像，甚至还原个人不愿为他人知晓的生活细节，达到实质等同“处理他人的私密信息”程度，也会涉及侵犯他人隐私。对此可以考虑借鉴欧盟《一般数据保护条例》的做法，在《数据安全法》中为数据主体设置被遗忘权及免受数据画像影响权，让用户在日常数据使用中有向恶意画像说“不”的权利。
通过立法将robots协议法律化也不失为一种有效的规制进路。我国《民法典》第十条确立了习惯的补充性法源地位，robots协议作为一种国际性通用规则，属于行业惯例及普遍遵守的商业道德，对此不妨从“商事习惯”的角度进行观察。通过在民商事法律规范中确认其“习惯法”地位，使其成为具有法律约束力的协议，一旦违反该协议，就可通过合同违约的方式予以惩治。从另一角度理解，网站设置robots协议的行为也可被视为一种要约的意思表示，访问者在“点击生效”或“浏览生效”后即视为对该要约的承诺，从而根据契约关系产生了法律约束力。此外，对于网络爬虫侵犯民事权利的具体情形，可采用逐一列举的方式予以明确，避免出现对一些行为难以定性的情况。例如，明确将具有竞争关系的平台使用网络爬虫爬取其他平台用户生成信息的“搭便车”行为规定为不正当竞争行为。又如，以最高人民法院指导性案例或公报案例的形式对具体个案中的典型行为予以明示，为司法实践提供指引，并可在适当情形下将相关裁判观点上升为立法观点。
（三）细化刑事立法，构建刑罚制裁的轨制保障
随着某一行为法益侵害范围的扩大和程度的加深，其归责方法通常体现为由行政法到民商法最后到刑法的“行-民-刑”规制逻辑。然而近年随着数据安全理念的不断强化，我国对网络爬虫的司法规制也日趋严厉，甚至在司法适用上逐步异化为“先刑后民”的顺序。究其原因，一方面是由于刑法相较于行政法、民法而言，立法更为完善，所保护法益的范围也更加周延；另一方面则是由于网络爬虫侵权过程在数据处理的各个环节都有可能发生，在应对数据爬取后的泄露、滥用等产生的下游犯罪和衍生性、继发性损害时传统民法规制方法和一般的行政手段捉襟见肘。但由此也引发违反刑法谦抑原则的质疑。对此，应进一步完善刑事立法，以归复“先民后刑”的规制逻辑为导向对相关司法解释进行更新，明确入罪的形式要件，适当提高刑事入罪标准。
在对形式要件进行规范分析基础上，进一步细化量刑标准，针对侵犯不同法益的行为场景提供多层次的刑事规制路径。为避免过细的量刑标准引发司法适用困惑，还需在此基础上积极推进类案强制检索的应用，统一刑事裁判尺度。另外，面对日益严重的恶意爬虫侵权现状，可适当提高制裁力度。比如，将非法获取计算机信息系统数据罪的最高刑期调整为十年，将拒不履行信息网络安全管理义务罪的最高刑期调整为七年，并将入罪主体从网络服务提供者扩大到具有法定数据保管义务的主体。
（四）强化法治意识，构建法律适用的主体依归
“徒法不足以自行”，法律的生命价值在于实施，而法律的实施则需要具体人员的落实。在拥有完备立法技术与法律法规体系的基础上，还需进一步加强宣传教育，增强网络安全意识，全面提高网络从业人员、行政执法人员和司法工作人员对网络爬虫的认知与应对能力。一方面，加强对互联网相关从业主体的法律意识宣导。通过互联网行业协会，定期组织涉网法律知识培训，宣讲典型案例、普及法律知识，强化网络从业者的守法底线意识。既能促使网络爬虫使用者依法依规使用爬虫技术，提高数据资源处理合规率，避免因不当使用行为而招致风险；同时也促使网络经营者提高对网络爬虫的警惕意识，加强反爬技术升级改造，充分运用法律手段和技术手段保障自身合法权益。另，可探索结合《App违法违规收集使用个人信息行为认定方法》《个人信息安全规范》等标准规范，由网信办牵头拟定《网络爬虫行为自评估指南》，指导相关从业主体开展网络爬虫行为自查，从源头进行防范。另一方面，增强相关职能部门人员的执法、司法能力。可以通过业务培训和自我学习相结合的方式，提升行政执法人员、司法审判人员对网络爬虫本身和相关法律法规的认知。使其在充分了解网络爬虫内涵、特点和恶意爬虫危害性的基础上，自觉增强对相关法律和网络知识的学习，从而具备打击利用网络爬虫从事违法、犯罪行为的能力。
结 语
网络爬虫技术作为一把“双刃剑”，在提高数据获取效率、造就互联网行业繁荣景象的同时，对数据的恶意抓取行为也面临多方诘难。诚然，就目前观察而言，网络爬虫滥用情况严峻，数据安全现状令人堪忧，规范网络爬虫行为刻不容缓。相关主管部门对此业已提高警惕，近来连续出台多项规定予以规制。相信通过对网络爬虫生态系统立法保障的升级改造，定能营造一个规范、安全、有序的数据使用环境，从而保护相关主体的合法权益，筑牢安全网络环境，为我国数字经济健康发展保驾护航。
