Scrapy框架初始目录说明和配置分析，示例

　　#头条创作挑战赛#
　　Scrapy 初始目录说明
　　Scrapy 在抓取网页数据方面是非常强大的。不仅仅是因为其天生异步，而且它里面的逻辑性 也非常紧密。当用户读其源码时，会对它有更深的认识，运用起来更能得心应手。俗话说得好： 知己知彼，方能百战百胜。当一个 Scrapy 项目被成功创建时，会自动生成一些文件。例如，创建 一个 TestDemo 项目，在其项目下会出现对应的文件目录，如下图所示。
　　scrapy.cfg：爬虫项目的配置文件。双击＂TestDemo＂文件夹，展开其下的文件，如下图所示。
　　Scrapy 的 TestDemo 目录中各个文件的作用，如下表所示。
　　根据上表需要补充说明如下两点：
　　（1）下载中间件是介于 Scrapy 的 request/response 处理的钩子框架，是用于全局修改 Scrapy。request 和 response 的一个轻量、底层的系统。要使用下载中间件，就需要激活，要激活下载中间 件组件，将其加入 DOWNLOADER_MIDDLEWARES 设置中，需在 settings.py 中配置。当然，也 可以自己编写中间件，只要在 settings.py 中把其中的注释（#）去掉即可。
　　（2）同样地，要使用 Pipeline，也需要在 settings.py 中启用，把其中的注释（#）去掉即可。
　　Scrapy 的 settings.py 配置分析及示例
　　Scrapy 的 settings.py 配置分析如下表所示。
　　可以根据上表列出的配置项，并结合实际情况，配置出自己所需的爬虫配置。在此举例说明， 就会更直观。
　　例如，笔者设计的爬虫希望实现以下内容：
　　（1）遵循爬虫协议。
　　（2）支持 Cookie。
　　（3）一次最大发送 18 个请求。
　　（4）开启限速功能，爬取速度为 5 秒爬一次。
　　（5）启用缓存，将已经发送的请求或相应的数据保存到缓存中，以便以后使用。
　　对应上面的需求，笔者在 settings.py 中配置如下。
　　① ROBOTSTXT_OBEY = True。
　　② COOKIES_ENABLED = True。
　　③ CONCURRENT_REQUESTS = 18。
　　④ AUTOTHROTTLE_ENABLED = True。
　　⑤ AUTOTHROTTLE_START_DELAY = 5。
　　⑥ HTTPCACHE_ENABLED = True