Python爬虫超详细讲解（零基础入门，老年人都看得懂）

　　前 言
　　python的应用方向有很多，如数据分析、人工智能、爬虫等等，爬虫作为其中的一个重要应用，发挥着独特作用。
　　你一定很想知道，爬虫到底是什么？为什么最近这么火，好多人都在学，今天我们就来聊聊爬虫相关的知识。
　　下面是爬虫的一张薪资表，哈哈，学好爬虫不仅可以开拓视野，重要的是轻松赚钱呀~在北上广这种大城市，爬虫工程师的薪资区间在20k—40K之间不等呢~
　　一、爬虫的概念
　　爬虫，大家可以理解为是在网络上爬行的一只蜘蛛，互联网就是一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛，如果它遇到自己的猎物（所需要的资源），那么蜘蛛就会将其抓取下来。
　　二、python和爬虫的关系及原理
　　举个例子，比如蜘蛛在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据。
　　爬虫可以抓取某个网站或者某个应用的内容，提取有用的价值。也可以模拟用户在浏览器或者App应用上的操作，实现自动化的程序。
　　如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
　　Python爬虫开发工程师,从网站某一个页面(通常是首页)开始，读取网页的内容，找到该网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页所需的数据和内容都抓取完为止。
　　因为python易于配置的特性，对字符的处理也非常灵活，加上python有丰富的网络抓取模块，所以两者经常联系在一起
　　1.爬数据，进行市场调研和商业分析
　　2.作为机器学习、数据挖掘的原始数据
　　3.爬取优质资源：文本图片以及视频
　　三、爬虫的实际应用
　　来看看学完爬虫的同学们都怎么说
　　[熊猫]＂在北京租房，中介只给了我一小部分房价和数据，自己完全被蒙在鼓里。于是花了几个小时写了个爬虫，爬下了北京所有小区的信息以及所有小区的历史成交记录，终于租到了最划算的房子＂
　　[熊猫]＂突然发现某视频网站的会员马上就要过期了，于是赶紧写个爬虫，把没看完的教学视频全下载下来了＂
　　[熊猫]＂我用爬虫怕了我爱白菜网、什么值得买、买手党、没得比、慢慢买、等网站的折扣信息，避免错过一些很划算的商品＂
　　除了同学们的真实案例，还有投票神器、预测（股市预测、票房预测）、社交关系网络、等等一系列。
　　爬取大众点评、美团网等餐饮类网站各个门店的用户消费和评价。可以用来分析某个餐饮品牌近年来的发展趋势。
　　某电商类网站爬取竞品网站从而分析其用户行为，做竞品分析，预测自己的发展方向。
　　四、各大公司都需要爬虫工程师来做什么
　　大家还记得当初非常火爆的马蜂窝事件嘛，就是使用Python做的数据分析挖出来的。
　　各大微信公众号自媒体，比如某公众号，爬取网上所有有关某明星的数据和内容，从而写出更有说服力的文章。
　　于是他们决定训练一个模型去搞清楚餐饮中的水军情况，又很不巧马蜂窝当时铺天盖地的广告，哥几个就决定从马蜂窝下手看看数据如何~
　　五、爬虫的未来职业发展
　　世界上80%的爬虫是基于Python开发的，学好爬虫技能，可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。
　　这是一个进入人工智能行业最快的路径，即使不进入人工智能行业，对任何一个行业来说，想要获取大量信息的办法，爬虫绝对是最佳途径。
　　那么有了爬虫，安全不就不保了嘛，所以大家到后年还有很多需要学习的，比如反爬虫，反反爬，反反反爬…
　　对学历背景的要求：统招本科以上学历即可，主要是对技术能力的要求
　　不打算就业的同学也可以通过爬虫做很多有趣的事情，比如投票神器、点赞神器、抢票、预测等工作，都可以用爬虫来完成。
　　完成后面正式课程+爬虫初级工程师课程，就可达到此要求。
　　比如想把知乎上某个问题的高赞答案都抓取到本地保存，或者搜集众多航班中最便宜的，或者四六级考试高频单词，节省大量人力物力。
　　无论从事什么行业，大家只要把爬虫活学活用，就能帮你解决很多其他人无法解决的问题，知识改变命运，相信你可以的~
　　[给力]下面是一些兼职的单子，学好爬虫全都能接~
　　[给力]Python编程入门比较容易，适合以下几类人学习：
　　①刚毕业的大学生，就业迷茫，期待学一门有前景的技术。
　　②没有编程基础，但逻辑思维能力强，想通过一门技术获得工作能力。
　　③跨专业转行，非计算机行业迫切转行，学一门高薪技术。
　　④数学/统计学/物理专业的编程爱好者，这类人学习Python，也会出类拔萃。
　　现在不止程序员学python，运营/产品/金融/财会/行政甚至客服行业，如果你会Python，至少可以释放你80%的重复劳动，让你拥有更多专注去提升自己，让自己在职场有不可替代的技能，因为各行各业都无法避免有重复性工作。而python，就是解决重复性繁琐工作的有力武器。
　　无论你是从事运营、策划、销售、HR、金融从业者、电商从业者、创业者.....说白了，一切想提高工作效率的人，都有必要学这门课！
　　这个时代，是一个互联网技术的时代。单纯的一技之长，已经不足以跟上这个时代的发展分享结束，可以继续撸代码啦~
　　如果你5分钟能完成8小时的工作量，5分钟能获取别人3天的信息量，这就相当于你坐飞机，别人还在翻山越岭慢慢地走。职场的车道上，你走得也定然比别人快了[奋斗][奋斗][奋斗]