robots协议这样写，保住网站竞争优势

　　为了维系企业核心竞争力，
　　这样写robots协议，
　　既能保住企业的市场竞争地位，
　　也不构成不正当竞争。
　　01hr典型案例
　　大帅公司发现小帅公司网站的robots。txt。文件中，将大帅公司的网络机器人设置为不受欢迎者，使得大帅公司的网络机器人无法从小帅公司网站爬取数据。
　　大帅公司表示，双方作为自愿加入《互联网搜索引擎服务自律公约》的互联网从业单位，应当自觉遵从开放、平等、协作、分享的互联网精神，设置robots协议应遵循公平、开放和促进信息自由流动的原则，不得随意限制搜索引擎抓取数据，不得利用robots协议进行不正当竞争行为。
　　大帅公司认为，小帅公司网站利用robots协议限制大帅公司网站抓取数据的行为，构成不正当竞争，于是向法院提起了诉讼。
　　经过法院审理，依法作出判决：小帅公司不构成不正当竞争，驳回了原告大帅公司的诉讼请求。
　　02hr焦点问题
　　小帅公司为什么不构成不正当竞争呢？
　　随着搜索技术和网络应用的发展，网络机器人的适用场景不断扩展，从通用搜索引擎领域，扩展到非搜索引擎的其他各种场景。搜索引擎是给被搜网站带来流量和利益，而非搜索引擎的网络机器人往往不是给被搜网站带来流量，反而可能带走被搜网站的流量。简单来讲，搜索引擎对公众利益有利，非搜索引擎对平台自身有利。
　　法院认为，大帅公司提到的《互联网搜索引擎服务自律公约》，仅可作为搜索引擎服务行业的商业道德，而不能成为互联网行业通行的商业道德，即通过robots协议对网络机器人进行限制并不当然违背互联网行业的商业道德。
　　本案中，小帅公司网站并不提供搜索引擎服务，而是一种类似微头条的非搜索引擎应用场景。因此，小帅公司网站可以设置robots协议限制部分网站抓取数据，小帅公司的这一行为并不违背互联网行业的商业道德，不构成不正当竞争。
　　03hr律师建议
　　在互联网经济时代，数据日益成为企业重要的生产要素，数据资源的获取与利用是极为重要的一种资源配置。互联网服务提供者对数据的收集、整理等工作付出了相应的人力、物力、财力和时间等经营成本，通过robots协议，限制自己网站的数据被第三方抓取，在某种意义上已经成为维系企业核心竞争力、维系市场有序竞争的一种手段。
　　尽管robots协议客观上可能造成对某个或某些经营者的歧视，但在不损害消费者利益、不损害公共利益、不损害竞争秩序的情况下，应当允许互联网服务提供者通过robots协议对其他网络机器人的抓取行为进行限制，这是互联网服务提供者享有经营自主权的一种体现。
　　END