人人都要懂得网站爬虫知识，你知道多少呢？

　　什么是爬虫呢？
　　网络爬虫是一种按照一定的规则，自动地抓取互联网信息的程序或者脚本。[2] 可以理解为一个自动访问网页并进行相关操作的小机器人。本质上就是实现高效、自动地进行网络信息的读取、收集等行为。爬虫程序最早是1994年休斯敦大学的Eichmann开发的RBSE。著名的谷歌公司使用的Google Crawler是当时还是斯坦福大学生Brin和Page在1998年用Python开发的。 背景：数据之争：网络爬虫涉及的法律问题
　　使用爬虫技术可能带来的法律风险主要来自几方面：
　　（1）违反被爬取方的意愿，例如规避网站设置的反爬虫措施、强行突破其反爬措施；
　　（2）爬虫的使用造成了干扰了被访问网站正常运行的实际后果；
　　（3）爬虫抓取到受法律保护的特定类型的信息。其中，第（3）类风险主要来自于通过规避爬虫措施抓取到了互联网上未被公开的信息。
　　1、问：爬虫违法吗？
　　答：遵守robots 协议的就不违法了 。2、问：怎么查看网站robots 协议呢？
　　答：查询网站域名加/robots.txt 的链接下的文件。
　　比如 抖音：https://www.douyin.com/robots.txt。3、问：robots.txt文件怎么看懂呢？
　　User-Agent: 以下规则适用的机器人（例如＂Googlebot＂等）
　　Disallow: 您希望阻止机器人访问的页面（根据需要，禁止多行）
　　阻止整个网站： Disallow: /
　　阻止一个目录及其中的一切： Disallow: /private_directory/
　　阻止页面： Disallow: /private_file.html
　　要阻止一个页面和（或）一个名为private的目录： Disallow: /private
　　Allow: 不需要阻止机器人访问的页面
　　Noindex: 您希望搜索引擎阻止和不要索引的页面（或者如果先前已建立索引，则将其解除索引）。支持Google，不支持雅虎和实时搜索（Live Search），其他搜索未知。
　　例如：为了允许机器人对所有http页面进行索引 ：
　　User-agent: *
　　Disallow:4、爬虫文件是怎么生效的呢？
　　答：每当他们访问网站时，都会检查robots.txt文件。一旦将robots.txt文件的规则上传到站点的根目录并且机器人进入站点，则robots.txt文件中的规则将会生效。访问的频率根据流行度，权限以及内容更新频率的不同，机器人蜘蛛网的频率有所不同。有些网站每天可能会被抓取多次，而其他网站可能每周只能爬行几次。
　　5、目前先进的爬虫技术有哪些？
　　抓取延迟：
　　某些网站可能会遇到大量流量，并希望将搜索引擎蜘蛛减慢，以允许更多的服务器资源来满足常规流量的需求。抓取延迟是Yahoo，Live Search和Ask所认可的特殊指令，指示抓取工具在抓取页面之间等待的秒数： User-agent: msnbot Crawl-delay: 5
　　模式匹配
　　模式匹配现在似乎可用于：Google，Yahoo和Live Search。模式匹配的价值相当可观。让我们先看一下最基本的模式匹配，使用星号通配符。阻止访问以＂private＂开头的所有子目录： User-agent: Googlebot Disallow: /private*/
　　您可以使用美元符号（$）匹配字符串的末尾。例如，阻止以.asp结尾的URL： User-agent: Googlebot Disallow: /*.asp$
　　与在Perl和其他地方的正则表达式中发现的更先进的模式匹配不同，问号没有特殊的权力。所以，阻止对包含问号（？）的所有URL的访问，只需使用问号（不需要＂转义＂或者使用反斜杠）： User-agent: * Disallow: /*?*
　　阻止机器人抓取特定文件类型的所有文件（例如.gif）： User-agent: * Disallow: /*.gif$
　　假设您的站点仅使用查询字符串部分的URL（＂？＂），仅用于会话ID，并且您要排除包含动态参数的所有URL，以确保机器人不会抓取重复的页面。但是您可能希望包含以＂？＂结尾的任何URL。以下是如何实现的： User-agent: Slurp Disallow: /*? # 阻止包含 a 的URL Allow: /*?$ # 允许所有以 a 结尾的URL
　　允许指令：
　　就像听起来一样，它与Disallow指令相反，它提供了专门调用可能被抓取的目录或页面的能力。这在大部分或者整个场地被禁止之后可能是有益的。
　　要允许Googlebot只进入＂google＂目录： User-agent: Googlebot Disallow: / Allow: /google/
　　Noindex指令：
　　该指令提供了从搜索结果中消除无代号无标题列表的优点，但仅限于Google。用Matt Cutts的话说：Google允许在robots.txt中使用NOINDEX指令，它将完全从Google删除所有匹配的站点URL。（这种行为可能会根据这个政策讨论而改变，当然这也是为什么我们还没有谈论过这个问题。）
　　网站地图：
　　XML网站地图文件可以告诉搜索引擎您网站上的所有页面，并且可选地提供有关这些页面的信息，例如哪些是最重要的以及更改频率。它充当一个自动发现机制，让蜘蛛找到XML站点地图文件。您可以通过在robots.txt文件中添加以下行来告诉Google和其他搜索引擎您的Sitemap：Sitemap: sitemap_location
　　sitemap_location是Sitemap的完整网址。此指令与 User-agent 与此无关，因此放在任何地方并不重要，不过一般是放在最后。所有主要的搜索引擎都支持Auto-Discovery Sitemap协议，包括Google，Yahoo，Live Search和Ask。 总结来说
　　1、我们要合理在网站允许范围内采集网页数据
　　参考robot.txt的爬虫协议。
　　2、其次要符合网站的爬虫频次限制。
　　有个标识是，不能让采集网站失去正常访问的功能。比如正常访客进入网站出现卡顿、白屏、服务器资源消耗严重等。
　　最后，希望大家合法合理地使用爬虫技术。
　　参考：http://www.webkaka.com/tutorial/zhanzhang/2017/061771/
　　参考：https://www.jiemian.com/article/2172053.html