爬虫写得好，牢房吃得饱！大数据公司都瑟瑟发抖中

　　最近，朝阳警方发现直播间＂爬虫＂，23名嫌疑人全部被抓获。
　　内容简短，大概意思是警方收到某直播平台报案，说某直播平台的流量发现有不定时＂激增＂，后经过和警方联手合作，最后都指向了一家科技公司，最终警方见这家数据公司的所有员工抓获。
　　这在互联网圈中引起了震动，各种讨论层出不穷。基于这些年大数据公司不断被抓获，圈内的段子也不断。
　　【爬虫写得好，牢房吃得饱】
　　【爬虫写得溜，牢底坐得穿】
　　【同学，学python写爬虫么，坐牢的那种】
　　【21天从入门到坐牢】
　　【爬虫写得好，牢饭吃得早】
　　估计，现在各个大数据公司也都在瑟瑟发抖中，有的已经连夜转型了，有的删了历史数据，有的头上悬着一把达克摩斯之剑冒险前行。什么是爬虫？用来干什么的？
　　网络爬虫，也叫网络蜘蛛(spider)，简答来说，就是根据一定的规则，自动浏览网络，并收集信息的程序系统。
　　那爬虫是用来干什么的呢？为什么大数据公司都瑟瑟发抖？
　　首先，我有一个想法(坐牢的那种)。现在直播带货这么火爆，那些主播带货带得好，什么商品是比较好卖的，现在全平台哪些品类是卖得最火爆的，我的产品匹配是的哪些用户人群？如果能把这些数据点找出来，不就是运营神器，财富密码，流量的受益者么。
　　于是，我要做一个平台，能全维度实时直播监控，发掘爆款商品，智能匹配带货达人，可查看主播真实销售额,让直播商家找主播不亏钱。再加上主播和商品排行版，涨粉排行版，爆品筛选，实现高效转换和数据查看。【完美】
　　我们在开直播的时候，数据是公开的。
　　我难道做个excel表格，一个一个去看去记录么？这不可能的，怎么可能，先不说海量的数据，这数据还有时效性，还有一些数据是需要清洗和计算的。显然用人统计是不现实的，因为效率极其低极其低。
　　这个时候就是要爬虫出来干活了，爬虫可以模拟人的浏览，并把这些数据抓取下来入库，这样不就有了海量的数据源了么，然后再根据数据源清洗，逻辑运算，得到一大波有用的数据维度。
　　然后再把这些数据维度做成一个大数据平台，就可以开始卖会员，卖账户了。目前市面上这种直播类的大数据公司平台差不多有50来家。现在基本做自媒体，做直播的品牌方，商家，基本人手一个这种账户。用户需求和市场空间有了，这项目可真刑。动手开始写爬虫，从入门到进去的那种。
　　我们说的大数据分析平台，所以呢，是先有大数据，才能分析和训练AI模型。那么数据从哪里来呢？一个是自己平台的数据，就像抖音，头条官方，每天都在产生数据，有充足的数据源；第二是官方授权，将他的海量数据授权给你。显然，第一种只有头部企业能做到，第二种的话难度很高。那么，也不是没办法，数据反正是公开的，那么我就爬，用爬虫爬。因为数据是公开，我只是用爬虫增加效率而已。现在基本上大部分大数据公司大家都不干净，要不，去哪里去搞这么海量的数据来支撑分析。
　　前几年大家都这么做，好像也没发现啥问题。但是，这几年，各大公司的举报，还有爬虫越来越普及，个人隐私逐渐完善，越来越多用爬虫抓取各种数据的科技公司被一锅端抓获了，大家开始瑟瑟发抖，也不知道哪一天就轮到自己了。
　　为什么抓
　　大白话是搞技术的，一直觉得技术无罪。而且爬虫嘛，这东西，本来就是公开的，我就是用机器提高效率，跟我用个小本本记录下数据归纳总结没区别。其实互联网圈内很多人都是这么认为的，所以之前也都一直没有放在心上，在爬虫和反爬技术上玩得不亦乐乎。
　　直到，这几年一直不断地抓人，一锅端，现在，大家都不敢动爬虫这玩意了。为什么写爬虫会被＂抓获＂呢？
　　重点来了
　　1.爬虫程序规避网站经营者设置的反爬虫措施或者破解服务器防抓取措施，非法获取相关信息，情节严重的，有可能构成＂非法获取计算机信息系统数据罪＂。
　　2.爬虫程序干扰被访问的网站或系统正常运营，后果严重的，触犯刑法，构成＂破坏计算机信息系统罪＂
　　3.爬虫采集的信息属于公民个人信息的，有可能构成非法获取公民个人信息的违法行为，情节严重的，有可能构成＂侵犯公民个人信息罪＂。
　　这里就不过度解读了，毕竟大数据是一个利益巨大的行业，其中参与者和利益所得者有各种角色，按照上面说的点来说，一个不开心就可以了。毕竟，现在是数字化的时代，谁拥有数据，谁就领先别人一些，而另一边，有千方百计地保护自己的数据是自己的数据，以便…这其中的故事就有点精彩了。
　　大白话想说的是：
　　同学，想不用996，007，每天早睡早起，坚持锻炼，吃得饱饱的，还有免费教育片看的生活和工作么，来来来，学学写个爬虫，21天从入门到进去的那种。