什么是大数据?大数据能做什么?
8月8日 枯心人投稿 本篇文章主要为我们介绍了大数据的概念、发展以及相关应用。
“BigDataisliketeenagesex:Everyonetalksaboutit,nobodyreallyknowshowtodoit,everyonethinkseveryoneelseisdoingit,soeveryoneclaimstheyaredoingittoo。”
2013年被称为大数据元年,各行各业都逐渐开启大数据应用时代。直至现在,大数据依然为人所津津乐道。
何为大数据?
1PB够大吗?
如果你没有直观印象,可以联想一下你的电脑硬盘容量,标配是500G1TB,大部分人用了一两年,可能这部分容量都没用完。而1PB1024TB1048576GB。
在实际中,一个小有名气的游戏一天的数据量就在数十TB左右,甚至更多。
如果你以为PB单位已经是最大了?那就大错特错了!!!!
在PB之上,还有EB(Exabyte百亿亿字节艾字节),ZB(Zettabyte十万亿亿字节泽字节),YB(Yottabyte一亿亿亿字节尧字节),而这些单位也只是为了方便统计海量数据所给出的当前单位,在未来还可能出现更大的单位。
因特尔公司首席执行官BrianKrzanich表示,2020年互联网用户每天将产生1。5GB的数据。
HIS数据预测,到2025年,全球互联网(IoT)连接设备的总安装量预计将达到754。4亿,这部分设备每天产生的数据量可想而知。
按照前面的数据关系,得出1ZB大概是1。1万亿GB,等同于全世界沙子数量总和。
从上图中不难看出,互联网数据每年都在爆炸式增长。当然,大数据并不只是数据量大而已,它还有其他更深的含义。
对于大数据,麦肯锡全球研究所给出的定义是:
”一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。“
大数据具有五大特点,称为5V。
1。多样(Variety)
大数据的多样性是指数据的种类和来源是多样化的,数据可以是结构化的、半结构化的以及非结构化的,数据的呈现形式包括但不仅限于文本,图像,视频,HTML页面等等。
2。大量(Volume)
大数据的大量性是指数据量的大小,这个就是上面笔者介绍的内容,不再赘述。
3。高速(Velocity)
大数据的高速性是指数据增长快速,处理快速,每一天,各行各业的数据都在呈现指数性爆炸增长。在许多场景下,数据都具有时效性,如搜索引擎要在几秒中内呈现出用户所需数据。企业或系统在面对快速增长的海量数据时,必须要高速处理,快速响应。
4。低价值密度(Value)
大数据的低价值密度性是指在海量的数据源中,真正有价值的数据少之又少,许多数据可能是错误的,是不完整的,是无法利用的。总体而言,有价值的数据占据数据总量的密度极低,提炼数据好比浪里淘沙。
5。真实性(Veracity)
大数据的真实性是指数据的准确度和可信赖度,代表数据的质量。
数据一直都在,变革的是方式
大数据的意义不仅仅在于生产和掌握庞大的数据信息,更重要的是对有价值的数据进行专业化处理。
人类从来不缺数据,缺的是对数据进行深度价值挖掘与利用。可以说,从人类社会有了文字以来,数据就开始存在了,现在亦是如此。这其中唯一改变的是数据从产生,到记录,再到使用这整个流程的形式。
1。数据生产
在人类社会的早期,民以食为天,数据的产生大多与商品,食物,土地等挂钩。旧石器时代的部落人民在树枝或骨头上刻下凹痕来记录日常的交易活动或物品供应。
为了衡量商品长度,中国人发明了尺、里、寸、丈、步、仞等长度单位;为了衡量重量,发明了升、斗,斛等重量单位。
在互联网时代,数据的生产变得更为容易。美国互联网数据中心曾指出,互联网上的数据每年都将增长50,每两年便将翻一倍,而目前世界上90以上的数据是最近几年才产生的。
每人每天都会产生海量数据,如视频数据,电商数据,社交数据等等。
全球每60秒产生的数据
2。数据记录
千年之前,人们用龟甲石鼓、简牍绢帛到造纸术成熟后的刻本等一切触手可及的器物来作为数据的载体。
千年之后,人们用图书,报纸,硬盘,光盘,存储器等各种更为灵活,简便的方式记录数据。
3。数据利用
古人利用利用甲骨文占卜判断凶吉,利用占星术预测朝代兴衰;利用蚂蚁搬家,燕子低飞,蚯蚓出洞来预测天气。
互联网时代,企业或产品利用电商数据为用户推荐商品,利用社交数据做广告营销等等。
在大数据概念兴起之前,大部分企业并没有注意到数据的宝贵价值,只是在纯粹的生产和记录数据。更有甚者视海量数据为累赘,因为数据的存储与管理需要耗费企业大量的成本,极少有企业能把数据作为一种资源,嗅到大数据背后的价值,从而加以利用。就算到现在,数据资源的整合利用能力依然是考验每个企业的一大难点。
大数据应用
大数据作为一个能够改变产业应用的技术,只有切实落地才能带来真正的价值。
其实大数据的应用范围非常广,不单单限于互联网行业,在其他诸如金融,制造业,交通物流方面也都有非常大的应用价值。
1。大数据让借贷款更加放心
在金融行业中,以借贷款为例。在贷款前,贷款借出方会先利用大数据对借款人进行贷前审核,以此来保障贷后的还款率。
借出方从各个渠道合法收集借款人的标签信息,如学历,职业,薪资状况,历史借还款情况等(据说一个用户的标签维度可以达到7000个)。海量数据被放入反欺诈模型,还款能力模型,身份验证模型等数个中做训练,最终得出是否通过本次贷款申请,贷款的额度,贷款人的还款意愿等评估信息。
借款人数据收集的越多,标签维度越细,数据越真实,则审核效果越全面。
2。大数据让广告营销更高效
广告作为互联网行业最常见的变现手段之一,大数据赋能广告营销,让广告从惹人恼转变为广告即内容,广告即服务。
曾几何时,你会发现日常生活中看到的广告居然那么懂你。点开淘宝,你最爱的商品被推荐在Banner首页;打开微信朋友圈,映入眼帘的是你正想要做的汽车保养;打开百度搜索,你前两天看的别墅信息赫然出现。
这一切的实现都得益于大数据赋能广告。
在广告投放前期,通过大数据手段大量的整合、分析数据,包括用户的浏览习惯、消费行为、浏览记录、对广告的点击数量等,并从中挖掘出有效的信息;构建全面的用户画像,结合广告业务,精准定位目标用户,保证广告定向投放。
大数据构建用户画像
在广告投放的中后期,通过实时数据反馈,结合用户所处地域,时间的变化,动态优化广告素材,调整广告的呈现方式与广告的展览位置,让同一个用户在不同的场景下享受不一样的广告服务,实现一人千面,增加广告营销效果,提升广告主KPI。
3。大数据赋能零售
新零售时代,客户的需求无时无刻不在变化,大数据赋能零售,让零售在人,货,场上进行变革。
零售商可以借助大数据对未来市场需求进行预测,抢先一步对库存进行管理。在流量高发的前期,及时补足库存,提升商品供应率;在流量散去的前期,及时去库存,避免库存积压。
借助大数据分析用户地域分布情况,商店流量,消费者习惯等那个,在合适的地区开设商店,建造仓库。在物流发货时,从数据出发,合理规划运输路劲,降低运输成本。
利用数据还可以统一上下游供应链交互,解决数据不对成问题,减小牛鞭效应,提升供应链中每个环节的利用效率。
总结
数据一直都在,大数据变革的只是方式。大数据并不神秘,神秘的是对未知数据的探索与利用。
投诉 评论 如何用产品思维去衡量一个新行业?我们应该如何利用产品的思维去认识一个新行业,衡量它是值得我们花时间去参与的?假设所有的努力都能开花结果,同样是100倍的获利,先找出10倍增长市场,再付出10倍努力,和直……
支付宝刷脸付新增美颜功能后,使用量为何翻倍?最近,支付宝推出了一项刷脸美颜的功能,并不断推动了刷脸付的使用率。因此,也有很多疑惑,为什么美颜功能能给使用率带来这么大的变化呢。让我们来看看作者的分析吧。近日,新浪科技……
干货分享:国内冷链物流行业深度分析冷链物流究竟是什么?当前存在哪些问题或者机会?未来的发展趋势会是怎么样?近几年以来,国内冷链物流开始逐渐进入广大用户的视野,伴随着冷链物流热度的持续高涨,不少巨头公司在冷……
什么是大数据?大数据能做什么?本篇文章主要为我们介绍了大数据的概念、发展以及相关应用。“BigDataisliketeenagesex:Everyonetalksaboutit,nobodyreall……
线上公开课秋招想拿产品offer,你能做什么准备?六月七月不努力,八月九月徒伤悲。秋招的大门缓缓拉开,想求职产品经理的你准备好了吗?秋招是规模最大、行业最全、时间最长的校园招聘。对于有志成为互联网产品经理的在校大学生而言……
两个实用的分析方法,窥视“为什么这样做”本文结合实际案例给大家介绍了“差异化分析”与“得失分析”,一起来文中看看前段时间,有朋友发了一张信用卡的短信截图给我,成功引起了我的兴趣,这是一个很适合用来讲解曝光价值的……
6年百度搜索算法,盘点与解读本文笔者将带领大家对6年来百度在搜索算法上所做的事情做一个盘点,并对其进行解读分析,提出规范搜索生态的一些建议。自2013年开始,百度陆陆续续的公布了13个算法,48篇公……
【天天问每周精选】第80期:只有15秒的抖音视频,真的利大于最早,抖音的视频时长只有15秒,后来陆续开放到1分钟、5分钟。最近抖音又内测15分钟视频,遭到不少人吐槽这还能叫短视频吗。这个设计时是如何考量的,好处坏处是什么呢?我们在天天问……
初创SaaS公司,需要了解的产品定价策略产品定价是毋庸置疑非常重要的一环,而影响产品定价的因素有很多,例如:目标用户与竞争对手、公司的阶段性目标及产品价值、定价模型要灵活、合理。大佬才有话语权,小弟往往是夹缝生……
如果陆金所撤了,网贷行业还撑得住么?陆金所退出的传闻愈演愈烈,这一现象背后的原因很是值得思考,比如退出为真的话,理由是什么;会对平安造成多大损失;网贷行业的未来如何市场龙头,名头大,责任也大。市场情绪乐观时……
揭开智慧校园的神秘面纱:概念与背景篇本文笔者将从宏观层面来与大家讲述智慧校园的概念定义、发展背景、面临的挑战,以及总体的建设架构,enjoy笔者查阅了诸多资料,发现关于“智慧校园”方面的内容少之又少。相信也……
看了3天诈骗团伙内训资料,我流下一身冷汗和自叹不如的泪本文给大家展示一个3天诈骗团伙内训资料,里面的套路和沟通方式都是我们自叹不如的!“您能帮帮我吗?”一觉醒来,我发现昨夜凌晨又有人私信求助。由于兴趣使然,我偶尔……
在线教育产品打造良好的口碑,有何妙招?在线教育产品获取流量的成本不断地上升,导致很多的人在获取流量上想了很多办法,但是大部分人忽略了一件事“口碑”其实是最好获取流量的方式。而在线教育产品去打造好的口碑,有什么好的方……
移动支付大航海才刚刚开始中国在移动支付方面可以说是“后发先至”,使大多数人直接跳过信用卡支付的阶段。但在欧美国家,信用卡支付体系已经十分成熟,移动支付很难撼动它的位置取而代之。所以,就连支付宝、微信这……
动漫版宫心计:快看漫画VS动漫之家在市场的发展变化下,以动漫之家为代表的动漫平台逐渐跟不上市场发展速度,前行速度逐渐慢下来;与之相对应的是以快看漫画为代表的新秀们在动漫市场上则是越来越吃香。那么,在以动漫之家为……
欧美地区开始“全民冥想”:数字心理健康市场的大门正在开启正念是一个心理学名词,这个概念最初源于佛教禅修,是从坐禅、冥想、参悟等发展而来,指的是有目的的、有意识的,关注、觉察当下的一切,而对当下的一切又都不作任何判断、任何分析、任何反……
企业应用历程回顾及未来展望本篇文章对企业应用过去的发展历程进行了一个总结,同时对未来该行业的发展和新技术的落地进行了展望,希望能给大家带来启发。笔者曾就职于世界上最大的企业软件公司,经历了从传统软……
创新型金融产品“续期宝”互联网平台建设系列(十)全文包含五部分:淘宝平台演化之初、续期之痛、金融产品创新、客户分群推荐基金、智能匹配,最后两项是关于第三项的迭代升级。在正式分享续期宝之前,先通过比较典型的淘宝平台演化案……
1年进账15亿,故宫超级IP养成记对于整个文化创意产业来说,故宫文创的成功,都是一个典型范例,它让人们知道,商业、情怀、责任,这些名词并不冲突,而是相辅相成。故宫正在以“时尚”的名义爆红。2019年……
裁员风暴下,脉脉们却在背后偷着笑?尤其是在当前的互联网裁员风暴下,越来越多的离职人员希望寻求到一份更稳定的工作,这也给脉脉们创造了新的生机。裁员、“90”后频繁离职等职场问题受到越来越多人的关注,这也反映……
方兴未艾的互联网职业教育,能否产生下一个独角兽?条条大路通罗马,互联网职业教育的未来一定是前进的上升的,如何抓住机会一飞冲天则需要每位玩家去细细思考。2018年,一系列教育政策的重拳出击也宣告了过去几年教育市场野蛮生长……
Facebook15周年:“点赞之交”深刻改变着人类的关系许多友谊已经枯萎到只存在于Facebook上的地步,在Facebook成立15周年之际,让我们看看这家社交媒体是如何通过永远保持和他人的微弱联系来改变社会生活的。在哈利波……
停更“双微一抖”后,是高枕无忧,还是从此自由?“停更双微一抖”就像一声平地雷,卡在年后大多数新媒体人刚开工的时间点,连带着炸响了整个自媒体圈。上周,杨不坏洋洋洒洒的一篇《停更“双微一抖”》就像“呐喊”一样震耳欲聋,朋……
智能门锁行业,为何受资本追捧?目前市场情况来看,中国智能门锁市场未来仍具有非常大的发展潜力,行业巨头们已入场布局,准备对市场展开争夺。中国锁具历史悠久,据出土文物考证和历史文献记载,锁具发展至今有五千……