专栏电商日志财经减肥爱情
投稿投诉
爱情常识
搭配分娩
减肥两性
孕期塑形
财经教案
论文美文
日志体育
养生学堂
电商科学
头戴业界
专栏星座
用品音乐

图数据库和图计算的区别,终于有人讲明白了

  前所未有的能力
  如果你还怀疑关系型数据库的局限性,那么请想象一下,使用关系型数据库管理系统,是否能够解决以下问题:如何找到一个人朋友的朋友的朋友?如何(实时)找到一个账户与多个黑名单账户之间的关联路径?如何判断某个时间段内两个账户之间的交易(或交易记录)是否正常?在一个供应链网络中,如果一个北美的制造厂工厂停工,将会给韩国的百货商场旗舰店带来什么样的影响?在货运、电力传输、通信网络中,如果一个网络节点或服务停运(下线),受到波及和影响的范围有多大?在大健康领域,如果一个用户提交他的电子病历和健康档案,是否可以提供实时个性化的重大疾病保险推荐服务?在反洗钱的场景中,如何知晓一个账户持有者把他的资金通过多层中间人的账户转账后,最终再重新汇入他自己(或其他关系人)的账户中?现有的搜索引擎只可以进行一维的、基于关键字的搜索,例如输入牛顿与成吉思汗,如何返回任何有实质意义的、关联发散的结果?在一张知识图谱中,如何找到多个知识实体间所形成的两两关联的网络?类似地,在一个由通话记录构成的大网中,如何找到1000个犯罪嫌疑人所构成的两两之间的6度以内的关联网络?
  以上9个问题仅列举了传统数据管理系统(当然也包含其他的NoSQL或大数据框架)或搜索引擎无法以高效、低代价的方式完成的众多挑战中的一小部分。图1展示了使用图进行网络分析,与其他类型的数据源不同,其可敏捷应对变化、未知的数据关系与类型以及能高效处理海量数据。
  在实时图数据库和图计算引擎的帮助下,我们可以实时地在不同数据间找到深度关联关系。举例来说,基于百科全书的知识体系而构建的知识图谱数据集中(一张大图,图中的顶点是一个个的知识点,而边则是知识点之间的关联关系),通过图引擎可以实时计算出如图1、图2所示路径。
  图1实时搜索最短路径:从牛顿到成吉思汗(表单模式)
  图2实时搜索最短路径:从牛顿到成吉思汗(图形模式)
  与传统的搜索引擎不同,当搜索时,你期待的返回结果不再是单一的网页、链接排序,而是更为复杂、多边甚至全面的关联关系,搜索引擎不会返回为空、答非所问或无实际意义的答案,在实时图计算引擎的支撑下,它可以返回最优的、人脑都无法企及的智能路径。如果仔细观察图2中的路径,你会发现这些实体与关联关系所形成的每一条路径存在着强因果关系。通过这种高维搜索引擎返回的有强因果关系的路径,一环扣一环,其中蕴含的知识体量与密度(熵值)远高于传统的基于倒排索引和PageRank算法的互联网搜索引擎。并且,以上所有过程在图数据库支撑下都是实时完成,返回最优(不一定是最短)路径。如果用户对展望未来更感兴趣,可以改变筛选过滤和调整条件,例如设置相关顶点(或节点)与边的参数(或属性),并按照一定的模板逻辑来实现搜索等,如图3所示。
  图3实时动态图过滤与剪枝(通过图搜索过滤)
  很显然,随着过滤条件变得更苛刻,搜索返回结果的路径变得更长了(从5层增加为7层),但是搜索时间并没有指数级增长。这是实时图计算引擎的一个很重要的能力对子图的动态剪枝能力,一边搜索,一边过滤(剪枝)。缺乏这种能力的图数据库绝无可能成为有商业应用前景的实时图数据库。
  图4展示了由以上路径动态生成的子图的2D空间可视化效果。
  图4通过图过滤后形成的多层关联
  另一个实例是通过对转账、汇款、取现等交易的数据流进行追踪来实现实时反洗钱监测。图5中左边最大的点是资金流出方,经过10层中间账号不断转账转发,最终汇聚在右边的小点(账户)位置。除非经过10层以上的深层挖掘,否则你很难发现数据(资金)的真正流向,以及它们背后的真正意图。对于各国的金融监管机构而言,实时图数据库与图计算的意义不言而喻当犯罪分子在以图的方式规避监管的时候,他们会通过构造深层的图模型来逃避反洗钱追踪,而监管机构只有使用具备深度穿透分析能力的图数据库才能让犯罪分子无处遁形。
  图5资金流向图
  绝大多数人都知道蝴蝶效应,就是在数据和信息的海洋中捕捉从一个(或多个)实体到遥远的另外一个(或多个)实体间微妙的关联关系。从数据处理框架的角度来看,如果没有图计算的帮助,蝴蝶效应是极难被发现的。有人会说随着算力的指数级增强,未来总有一天我们会实现,笔者以为,这一天已经到来!实时图数据库就是进行蝴蝶效应计算、查询的最佳工具。
  在2017年,知名数据分析公司Gartner提出了一个5层的数据分析模型,如图6所示。
  图6Gartner5层数据分析模型
  在图6中,数据分析的未来在于网络分析,或称为实体链接分析,建立这个系统只能依赖图数据库。图计算系统把数据以网络拓扑结构的方式构建,并搜寻网络内的关联关系,它的效率远超关系型数据库管理系统。关系型数据库通过表连接来进行计算,它可能永远无法完成类似的任务。
  数据分析(技术)的发展是商业发展的必然结果,它提高了数据处理的科技水平。在图6中,从第1层到第2层可以视为数据分析领域内从单机应用到互联应用的提升;第3层是渠道中心化数据分析,它经常发生在一个公司的渠道或部门的内部;第4层的特点是跨渠道,它要求大型公司内的不同渠道进行数据分享,从而最大程度挖掘数据的价值,你必须合并各个渠道搜集到的不同类数据,并把它们视为一个整体,由此来进行网络化分析(例如社交网络分析)。这种通用的、跨部门、跨数据集的多维数据间关联分析需求的挑战,只有图数据库才能完美实现。图计算与图数据库的差异
  图计算(graphcomputing)与图数据库(graphdatabase)之间的差异是很多刚接触图的人不容易厘清的。尽管在很多情况下,图计算可以和图数据库混用、通用。但是,它们之间存在很多不同,笔者认为有必要单独做个介绍。
  图计算可以简单地等同于图处理框架(graphprocessingframeworks)、图计算引擎(graphcomputingengines),它的主要工作是对已有的数据进行计算和分析。图计算框架多数都出自学术界,这个和图论自20世纪60年代与计算机学科发生学科交叉并一直不断演化有关。
  图计算框架在过去20年中的主要发展是在OLAP(OnlineAnalyticalProcessing,联机分析处理)场景中进行数据批处理。
  图数据库的出现要晚得多,最早可以称之为图数据库的也要到20世纪90年代,而真正的属性图或原生图技术在2011年后才出现。
  图数据库的框架主要功能可以分为三大部分:存储、计算与面向应用的服务(例如数据分析、决策方案提供、预测等)。其中计算部分,包含图计算,但是图数据库通常可以处理AP与TP类操作,也就是说可以兼顾OLAP与OLTP(OnlineTransactionalProcessing,在线事务处理),两者的结合也衍生出了新的HTAP类型的图数据库,第3章会详细介绍它的原理。简言之,从功能角度上看,图数据库是图计算的超集。
  但是,图计算与图数据库有个重要的差异点:图计算通常只关注和处理静态的数据,而图数据库则能处理动态的数据。换言之,图数据库在数据动态变化的同时能保证数据的一致性,并能完成业务需求。这两者的区别基本上也是AP和TP类操作的区别之所在。
  多数图计算框架都源自学术界,其关注的要点和场景与工业界的图数据库有很大的不同。前者在创建之初大都面向静态的磁盘文件,通过预处理、加载入磁盘或内存后进行处理;而后者,特别是在金融、通信、物联网等场景中,其数据是不断流动、频繁更新的。静态的计算框架不可能满足各类业务场景的需求,这也催化了图数据库的不断迭代,从以OLAP为主的场景开始,直至发展到可以实现OLTP类型的实时、动态数据处理。
  另一方面,由于历史原因,图计算框架所面对的数据集通常都是一些路网数据、社交网络数据。在社交网络中的关系类型非常简单(例如:关注),任何两个用户间只存在一条边,这种图也称为单边图(simplegraph),而在金融交易网络中,两个账户之间的转账关系可以形成非常多的边(每一条边代表一笔交易),这种图称为多边图(multigraph)。显然,用单边图来表达多边图会造成信息缺失,或者通过增加大量点、边来实现从而达到同样的效果(得不偿失,且会造成图上处理效率低下)。
  再者,图计算框架一般只关注图本身的拓扑结构,并不需要理会图上的点和边的复杂属性问题,而这对于图数据库而言则是必须关注的。图计算与图数据库的另外两个差异点如下:
  1)图计算框架中能提供的算法一般都比较简单,换言之,在图中的处理深度都比较浅,例如PageRank、LPA标签传播、联通分量、三角形计数等算法,图计算框架可能会面向海量的数据,并且在高度分布式的集群框架上运行,但是每个算法的复杂度并不高。图数据库所面对的查询复杂度、算法丰富度远超图计算框架,例如5层以上的深度路径查询、K邻查询、复杂的随机游走算法、大图上的鲁汶社区识别算法、图嵌入算法、复杂业务逻辑的实现与支持等。
  2)图计算框架的运行接口通常是API调用,而图数据库则需要提供更丰富的编程接口,例如API、各种语言的SDK,可视化的图数据库管理及操作界面,以及最重要的图查询语言。熟悉关系型数据库的读者一定不会对SQL陌生,而图数据库对应的查询语言是GQL,通过GQL可以实现复杂的查询、计算、算法调用和业务逻辑。
  图计算与图数据库的差异梳理见表1。
  表1图计算与图数据库的差异
  通过本文的背景介绍,希望读者能够做好准备,更好地进入图数据库的世界。

县委全面依法治县委员会第四次会议暨全面依法治县工作会议召开黄仲为推动嘉禾高质量发展提供坚强的法治保障会议现场红网嘉禾分站(记者雷佳悦彭华)6月29日晚,县委全面依法治县委员会第四次会议暨全面依法治县工作会议召开。县委书记黄仲指出,要深入学习习近平法治思想,全面贯彻落实省市有关会议起底3次考上北大赚200万背后的猫腻一近日,一则热搜新闻刺痛了无数网友的心,在高考放榜,几家欢喜几家愁的时刻,一个考生3年3地3次考上北大的消息震惊了全网。敢放北大的鸽子,这样的剧本万小刀不敢想,也不敢写,毕竟,清华中超最新积分榜申花升榜首,津门虎三连胜,深圳3轮不胜跌第10北京时间6月29日,中超第7轮又进行了4场比赛,我们看看最新的战况和积分榜,主要的信息变动如下,申花和海港的上海德比以11的比分握手言和,梅州客家41大胜沧州雄狮,天津津门虎32险76人记者哈登打得不好但愿降薪争冠欧文摆烂半年还要顶薪直播吧6月30日讯据名记Shams报道,消息人士透露,哈登已放弃执行下赛季价值4740万美元的球员选项,将成为完全自由球员。据名记Woj报道,哈登可能会与76人签下一份年薪在300鹿哈易烊干洗加入ESO,王俊卡是队长网友直呼搞事情今天的热搜大家看了吗?我不知道小伙伴有没有留意今天的热搜。真的好辣眼睛。我看了热搜好几次都荣登榜首,我就点开了。我相信有很多小伙伴都跟我一样。以为是鹿晗。结果真的要搞事情,我洗洗眼CNN芬瑞入约是美国外交努力了六个月的结果(观察者网讯)据美国有线电视新闻网(CNN)6月28日消息,美国总统拜登昨日在西班牙会见王室时,有消息称,拜登六个月策划的一项大胆计划正处于完成阶段。CNN指出这个计划与芬瑞入约及毁誉参半的13岁B站一半来自宝藏UP主,另一半是蒙古上单2009年6月26日,一位年轻的大学生创立了一个弹幕网站,它就是后来且我们熟悉的哔哩哔哩bilibili,来源于上条当麻给御坂美琴起的外号放电妹。当时,该网站一经创立便受到了很多资自治区文化和旅游厅喜迎二十大奋进新征程庆七一系列活动举行我们没有后悔过!因为信仰,让我们走到了一起随着一首首激动人心的奋进之歌,伴着一声声掷地有声的励人之语,一场别开生面导向鲜明的特色党课暨表彰大会,在广西群众艺术馆明星剧场举行。为迎接中国对蒙古发出特别提醒局势越乱越要警惕!蒙古承诺绝不反华作者常有礼阅读指南中国特别提醒蒙古,当今世界局势越乱,越要警惕某些国家的阴谋,蒙古对中国作出承诺绝不做反华行为。根据外交部网站6月23日的消息,中国外交部亚洲司司长刘劲松,在会见蒙奥特曼系列那些被改来改去的怪兽皮套提到近几年奥特系列作品,大家能想到的就是不断被简单改造再次登场的怪兽以及那些不断登场的老怪兽,相比于昭和时期的圆谷很明显缺少了些什么。今天就来盘点一下昭和系列中那些被改造次数最多的letme回应MLXG节奏,被说菜自己很不爽,两人关系彻底决裂最近关于电竞圈的消息是很多的,除了电竞圈之外,直播圈的消息也不少,比如最近letme和MLXG算是彻底闹掰了,以前他们退役的时候就听说了,说队内发生了不可调解的矛盾,所以想要离队,
深读人世间他一生凄苦,最终成为与佛相近的人头条创作挑战赛撒贝宁说人生如一场修行,得意时一日瞧尽长安花,困难时潦倒新亭浊酒杯,但生命跋涉不能回头。哪怕畏途巉岩不可攀,也要会当凌尽顶,哪怕无人会登临意,也要猛志固常在,历练也无岸田内阁出现辞职多米诺,日本首相用人引发质疑环球时报驻日本特派记者岳林炜环球时报特约记者方晴日本读卖新闻21日报道称,日本首相岸田文雄当日上午宣布任命松本刚明出任总务大臣,接替因政治资金问题被迫辞职的寺田稔。寺田稔是继经济再长江口二号古船初露真容长江口二号古船初露真容新华网11月21日清晨拍摄的奋力轮怀抱古船的画面(无人机照片)。11月21日清晨,工作人员绑扎固定古船船体。11月21日清晨,工作人员准备绑扎固定古船船体的物早安语录生活中要记住三个词选择机会改变早安语录Nov19(1)生活中要记住三个词选择机会改变路是自己选的,你必须做出选择抓住机会,没有输赢只有值不值得(2)新的一天早安人生的每一段低谷都是用来向上爬升的阶梯不要因为一时实盘周记20221119,今年收益19这周中概股继续大反弹,中概股这波下跌开始于2021年2月,至今已快2年了。这轮下跌可谓一泄千里,几乎没有什么像样的反弹。以致于很多人都认为中国互联网要完蛋了要被收编了,等等鬼故事不楼市头条(11。19)80城首付降至20,20城首套房贷利率3字头今日看点商务部今年110月实际使用外资金额同比增长14。418部门发文强化建材等材料质量保障能力成都进一步优化区域限购,减轻新市民青年人购房压力南昌湾里购买新建商品住宅按300元给专业纹绣培训机构专业纹绣培训机构来柏雅美学院学习美甲美睫纹绣已经大概15天左右了,柏雅美学院给我带来最大感受就是,每天学习内容,高强度的练习,连续学习对自己的理论和实践都大步提升,回想今年5月份在官宣!又有知名券商资管换帅中国基金报记者曹雯璟近日,兴证资管发布公告称,永赢基金原副总经理徐翔正式任职兴证资管董事总经理,董事长孙国雄不再兼任总经理。据悉,兴证资管领导班子已调整到位,接下来将全力提升管理规76年毛主席逝世,华国锋当机立断,紧急下两条命令,现在看很高明1976年9月9日,伟大领袖毛主席在北京溘然长逝,全国人民陷入了巨大的悲痛之中。应全国各族人民的要求,华国锋决定在北京修建毛主席纪念堂,在其中安放毛主席遗体,让广大人民群众瞻仰。一喜迎怀化旅发大会我来推荐古商城丨中共湘西工委直属洪江支部旧址视频加载中红网时刻新闻11月21日讯(通讯员郭承皓)全民打卡古商城,人人都是推荐官。为迎接首届怀化市旅游发展大会的到来,大会举办地洪江区各行各业的优秀青年积极行动,化身洪江古商城推学精神担使命代表行动聂志强引领企业高质量发展编者按党的二十大胜利闭幕后,全省各级人大代表掀起了学习宣传贯彻党的二十大精神的热潮,并以此为契机提升自身依法履职水平,密切与人民群众的联系,认真践行发展全过程人民民主,为全面落实三
友情链接:快好找快生活快百科快传网中准网文好找聚热点快软网