抖音,百度,阿里云,腾讯都是自建的数据中心,都是T级别出口带宽(总出口带宽),也就是达到1T=1024G/s的出口带宽,服务器总署基本都在20万台以上,甚至阿里云都超过了100万台。 字节跳动的数据中心总带宽,可能在10TB级别左右,预期突破15TB级别不远了。 一般情况下:总出口带宽1TB,实际机房出口带宽可能只有100G上下,这是采用双(多)链路设计,双出口实现动态流量分担,总的出口带宽可以达到T级别。 大型数据中心 想要同一时间有数亿人在线,TB级别带宽,CDN加速和多节点,负载均衡等等技术缺一不可。(这个设计技术过于复杂,有相关专业朋友,可以评论简要概述) CDN加速字节跳动有多少台服务器? 根据网络数据整理,2017年2-3万台服务器,这个时候主要是租用服务器为主。2018年,字节跳动自己建设了数据中心,最大的数据中心在河北怀来官厅湖新媒体产业园,一期5万台服务器。二期9万台服务器。 2018年,租用+自建的服务器数量达到17万台服务器。 2020年,根据字节跳动招聘公告的数据,显示有42万台服务器。比2018年增长了1.5倍。(数据来自网络) 一个机柜中10-20台服务器 这部分服务器都是给中国区域使用,主要应用国内的抖音,西瓜视频,今日头条,飞书等产品。 在美国的TIKTOK是独立出来的运营,数据在美国当地存储和分发。2020年TIktok在美国也租用了近10万台服务器 据Business Insider公布数据,2020年上半年,字节跳动在美国弗吉尼亚州北部租用了能耗达53兆瓦的数据中心。可以容纳数十万台服务器,占地面积可达数十万平方英尺。 Tiktok在印度,新加坡都在投资建设数据中心。聊完了服务器数量,那么咱们来点硬核的东西:字节跳动大型的数据中心出口带宽是多少?知识点:所谓的出口带宽,其实就是咱们普通人所说的下载带宽。就是服务器给每一个手机分发数据总速度。 一般情况下,小型的IDC公司自建机房,比如一些网站公司,租用联通,移动,电信的机房,可能总体出口带宽只有5G。超过30G那都是具备一定规模的企业。网络公司营收少说也是几千万的企业。所以,经常能够看到,一些规模还不错的企业,基本上都不再自建机房,都是使用云主机。例如阿里云的ECS,腾讯云,百度云,AWS(亚马逊)。 一般一个企业网站(企业官网),20M带宽,4G内存,100G硬盘,一年价格也就4000-5000块钱就足够了,赶上做活动价格可能更便宜。 这里面就是带宽最贵,当然增加带宽,达到一定等级,例如访问量增大,必须要增加内存和硬盘。相比来说,带宽增加的话,费用更贵一些。【这里就跟你说明一下:带宽比较昂贵,属于稀缺资源】 我们来看中国移动的一个机房:中国移动(河北石家庄)数据中心的数据: 占地面积174亩,总建筑面积13万平方米,规划10栋单体建筑,全部建成后可提供约3万个机架的装机能力。3个IDC机房共可提供3.1万架机柜,15T带宽资源。 一个机柜,全1U设备部署数量一般不超过16台,全2U设备一般不超过12台,全4U设备一般4到7台。 我们取高性能的2U和4U服务器进行平均折中,各算一半(毕竟移动也算是有钱的大户,不能买低端的1U设备)。那么3.1万架机柜就可以安装,最多21-36万台服务器。 这里粗略取一个平均值:30万台服务器。享受15T的出口带宽资源。当然作为电信的干路网,移动拿带宽资源肯定是要比字节跳动更有优势的。 所以,我们粗略地估计字节跳动自建的17万台服务器的数据中心。总出口带宽可能在7Tb-10TB上下。基本上肯定会采用双出口流量设计,再加上多链路的部署方式:可以做到实际出口带宽在800G-1TG就可以实现10T左右的总出口带宽。【这是技术方式】 字节跳动2018年河北怀化数据中心 T级别出口带宽是什么概念,如果我告诉你2009年,整个上海的出口带宽才1140G,也就是刚刚达到1TB。在短短的10年后,一个企业的数据中心的出口带宽就超过1Tb,这个速度真的不可想象。 要知道2009年,虽然智能手机不发达,但是个人PC销量已经非常庞大了。CDN加速,让大众刷抖音,看视频都不在卡知识点:CDN(Content Delivery Network,内容分发网络) 将服务端的内容发布到最接近用户的边缘节点,使用户可以就近取得所需的内容。 解决Internet网络拥塞状况,提高用户访问网站的响应速度。多种加速的方案集合。 用通俗的话解释CDN就是:会把一些页面,专门压缩,有的压缩为静态页面,静态页面直接分发速度快。用户可以在2s内看到内容,体验感更好。【这是静态传输】 对于动态视频,首先通过智能路由,寻找最佳路径,然后协议优化将长连接,内容进行压缩,去除冗余。【这就是动态压缩】 给你们看一下2015年腾讯5亿日活,集合了音乐,即时通讯等等产品的CDN的级别,达到了10TB带宽。每天请求万亿次。 2015年腾讯CDN的级别 因此,我这里说字节跳动整体服务器有10TB应该只少不多。毕竟抖音日活有6亿,西瓜视频+今日头条我们粗略算是2亿,总计有8亿的日活。 就是这么大的带宽和技术实力,才能让我们看视频这么顺畅。 【原创:机器人观察,带你详细了解互联网世界】 大型网站,特别是视频网站都是分布式的云计算,就我前面做云计算的经验来说,至少他们他们需要在全国几大区域都有服务器群,例如北上广四川或者贵州都有云服务器,这个不仅仅是某个服务器的带宽来衡量了,而是整个机房的出口带宽,还有云集群的并发能力了。当然,还会配合OSS,CDN,SLB等诸多的技术,我估计目前有这样的服务器群级别的只有阿里云,当然他们已经发展这么大了,也有可能使用自己的云计算技术。今日头条还在国外很大布局,还有众多的海外服务器。要做到这样技术对接只有阿里云、AWS或者自主研发云技术能够解决。 这个问题我大概回答一下,由于我不太清楚字节跳动真正的网络是如何组网的,所以我只能告诉你大概的原理。参考其他大型互联网企业的组网,应该解决的方案是类似的 抖音并不是全国所有刷视频用户都在同一个地方的数据中心接入我们看视频的流量,如果是这样的话,那么这个数据数据中心所需的带宽就是过于巨大。一般来说,抖音在全国各地会建设几个比较大的数据中心,我们刷视频的请求是就近接入的。 比如张三在北京,那么他接入抖音APP,上传和浏览视频,就是在北京数据中心完成;李四在上海,那么他的上传视频和浏览视频就是在上海的数据中心完成。如果所有用户都接入同一个地方数据中心,毫无疑问对于这个数据中心的负载太大,这是不可能的。 各个数据中心的视频数据,通过专有的高速互联网络进行同步。也就是你上传的视频虽然是上传到上海的数据中心,北京的用户依然可以看到,就是可能要晚一点刷才看到。抖音需要把你在上海上传的视频数据通过高速网络传递到北京后,北京的用户才能看到。 一个数据中心包括多个运营商的出口,一般是会和三大运营商网络在本地对接,同时会和一些中小型运营商对接,例如广电。和运营商网络对接的目的为了接入运营商的用户,这也就意味着你是北京移动用户,那么刷出来抖音的视频将会从北京移动的网络接入抖音 如果发现某个区域的数据中心业务负载太重怎么办?例如湖南春节大量用户返乡,导致位于武汉的数据中心突然接入不了这么多湖南的用户了,这个时候抖音内部就会调整用户的接入路径,把一部分本来接到武汉的抖音用户接入到北京去(因为春节北京的人少了很多) 所以,这就是互联网公司网络的基本架构。全国存在多个数据中心,不同地方的用户刷视频其实是接入不同的数据中心,每个数据中心都会和三大运营商网络对接。 这种分布式的网络保证了抖音的业务不会都积压在一个数据中心,由全国各地抖音数据中心和运营商互联的带宽来保证用户刷视频可以正常浏览 那么位于不同位置的抖音的数据中心和三大运营商的互联带宽多大?只能讲肯定是T级别的,1T等于1000G,现在大型互联网公司和运营商对接的带宽普遍是1T、2T起步了,而且一般如果发展互联带宽负载超过了30%到50%,就需要扩容 很多人提到了CDN,CDN不能从根本上解决这个带宽问题,CDN只能从运营商网络路由层面上解决一定的拥塞问题。不论是腾讯、百度还是抖音、YY,解决游戏、视频大带宽的问题都是从数据中心网络基础架构解决,都是采用类似的技术,也就是DCN和DCI相关的技术 最新数据显示,抖音在的日均视频播放量超过10亿次,日均活跃用户数超过1.5亿,月度活跃用户数超过5亿。 视频上传需要存储,并进行合规性检查;视频播放需要编解码,这需要消耗大量的计算资源;用户体验需要恰当的推荐系统与CDN……等等,这些都对抖音背后的IT系统带来了前所未有的挑战。 这也使得其原有的数据中心租赁模式彻底不可行,必须自建数据中心,且速度要快。字节跳动在怀来拥有了第一个属于自己的数据中心,一系列新技术的采用让这个数据中心拥有多项头衔:国内首个大规模分布式全预制、国内首个大平层预制框架结构、国内首个整体电源模块预制、国内首个间接蒸发自然冷却模块、国内首个计算模块一体化预制。 字节跳动首个已经交付使用的数据中心坐落在怀来官厅湖新媒体产业园。怀来是新能源输出大县,70%以上的电能都是水力发电、风能发电和太阳能发电产生的清洁能源,但这之中有50%的清洁能源无法上网,低廉的电价对于数据中心这种耗电大户而言,具有莫大的吸引力。 而且,怀来年均气温只有9.6度,空气质量也好,利用新风散热有助于降低数据中心的PUE值,有效降低数据中心的运营成本。高效应用自然冷却技术,也是官厅湖新媒体产业基地的一大特点,也是首个规模使用间接新风制冷技术的数据中心产业基地。 字节跳动采用了一系列新锐技术,如大规模分布式全预制、整体电源模块预制、间接蒸发自然冷却模块、计算模块一体化预制等等技术。 字节跳动数据中心采用大量预制和模块化产品,体现了数据中心高度模块化的未来发展趋势。钢平台底座、变压器、配电柜、UPS设备均采用在原厂设计、安装和调试在20天内分批交付,二次系统连接、监控系统集成和电源模块测试可以在7天内完成,由40尺集装箱整体运输到现场,施工现场只需连接电缆,拼装调试即可交付使用,这个过程需要十天左右。这一系列的细节时间控制,让字节跳动数据中心刷新了国内数据中心建设交付的最短时间记录。 数据驱动基础设施创新 大多数人对"今日头条"的印象似乎都是一家泛媒体平台,但字节跳动则认为自己是一家AI(即人工智能)公司,因为不管是今日头条也好,抖音也好,字节跳动很少自己生产内容,而是鼓励用户进行创作,并把用户创作的内容推荐给最适宜的用户群体。 所以字节跳动最核心的系统实际包括头条推荐系统与广告系统、评论系统,以及内容合规性审核系统,这背后实际上就是AI技术在不同领域或场景的应用。 比如在在推荐系统里面最核心的就是内容推荐算法。用AI去做推荐,是字节跳动重要战略,目前也是应用最广的技术,不管是今日头条还是抖音等产品,AI都在里面发挥着重要作用。使用AI进行推荐,需要大量的数据进行训练才能达到更好的效果,据介绍,仅今日头条一款产品30天的训练模型,其数据量就会超过4PB,而正常训练一个完整的模型则需要至少一年的数据量。而在视频的合规性审核方面,字节跳动不但使用计算机视觉技术对视频图像进行分析,同时利用语音识别技术对音频进行合规性分析。而这些技术的大规模应用会对系统的基础设施带来极大的挑战,比如计算能力、网络带宽以及存储性能等等。 随着字节跳动数据中心规模的扩大,服务器数量的高速增长,为了最大化资源利用率,字节跳动与Intel公司成立了创新实验室,全部采用Intel最新的可扩展处理器平台,并根据不同应用场景对软件堆栈进行深层次优化。据介绍,成果非常显著,能够实现大约30%的能力提升,更好的资源利用率意味着更好的购置成本和运营成本节省。 并且,不管是推荐系统,还是审核系统,其每天都会处理海量的数据,这对底层存储系统的性能有着苛刻的需求,SSD已经成为字节跳动的必然选择。但并不是说使用SSD就能直接解决问题,尤其NVMe SSD使用,通常会给计算、网络系统带来直接的压力,将原本存储的性能瓶颈转移到计算或者网络。 为了提升整体系统的综合性能表现,还需要站在更高层次对各个子系统进行系统性优化,比如在与Intel的合作中,双方共同针对人工智能、Cascade Lake,最新64层Nand存储技术,高速网络的产品以及FPGA在不同系统中应用进行了探索,并与DPDK、SPDK、BigData以及OS kernel等软件层的优化相结合,取得了极大的进展,获得了极为显著的成功。 字节跳动所取得的辉煌成绩不仅意味着中国互联网市场的巨大潜力,同时也意味着中国数据中心技术的飞速发展正逐步接近国际领先水平。 不在抖音,纯粹猜测,仅供参考 一 分布式服务器群 二 负载均衡等技术 三 CDN来做内容分发 四 算法推荐,使得带宽最大程度利用 总结来说,抖音,头条抗高并发,高流量的能力,确实让人佩服 ! 回答完毕谢谢!! ------------------------------------------------------------------------- 本人专注数据采集,数据处理,数据治理,后端服务,希望多多交流!! 这不难,用户发布视频后,视频立刻会被分发到省市区的节点服务器,即所谓的cdn,它有一套完整的内容刷新机制, 用户获取视频,都是从自己的节点获取,全国只要放1万个节点,就能满足大家不停的刷。 做这玩意的厂家很多。用cdn当关键词能搜出一堆,我就不做广告了。 回答大部分都提到了服务器集群,CDN等技术,这方面肯定是硬性要求,基本都是视频行业的标配了,抖音肯定也不例外。 但是我想大家忽略了一个问题,好好思考一下,刷抖音和你看视频有什么不同。看视频更多的是用户主动搜索,点击观看,而抖音就不一样了,全是算法推荐,提前给你准备好了,你自己是无法决定你的下一个视频是什么的。 因此,算法的不同意味着今日头条可以实时优化带宽,使得带宽最大程度利用,也可以对数据进行整理,可以优化的空间很大。 相比之下,应该是比传统视频行业要省些带宽的吧。 大家完全不必担心抖音服务器带宽不够大,服务器能不能承受得住的问题,而仅仅需要担心你的手机够不够电继续刷抖音。 事实上互联网大厂的服务器并不是我们理解的传统意义上的几台服务器面对着数百万乃至数亿计算的访问量。 如今互联网大厂的服务器不能简单的称之为服务器,而应该叫做服务器集群,用于一个特定领域的软件部署在多台服务器上并作为一个整体提供一类服务。通俗一些讲就是有无数台服务器构成的群组整齐地码放在一个或者多个数据中心,软件客户端往往能够连接任意一个节点获得服务,并且当集群中的一个节点掉线的时候,其他的节点能够自动的接替继续提供服务。 将一台普通得不能再普通的自行车放在数据中心的散热管道内,可见一个数据中心的规模,令人震撼。 一旦访问量增加的时候,集群会自主的增加节点,当访问量减少的时候,集群同样会自主的减少节点。这是多对多的关系,而不是传统意义上的少对多的关系,所以压根不需要担心抖音服务器的问题。视频上传需要存储,进行合规性检查,视频播放时需要编/解码,需要消耗大量的计算资源,而用户体验又需要恰当的推荐系统和CDN等服务,几台简单的服务器肯定不足以应付这些问题。 有数据显示字节跳动在2013年3月服务器数据量只有几十台,到年底增至一千台,在2017年年初的时候只有2~3万台服务器,到了2018年猛增到17万台,仅用了7个月的时间就在怀来建立了一个属于他自己的数据中心,从而告别了过去数据中心一直租赁的模式。 在互联网公开的字节跳动2020年春季招聘广告中披露,字节跳动公司已经拥有42万+台服务器,每天新增存储30PB,每日线上增加6000+。 PB是个什么概念? 存储单位按照这样的排序B、KB、MB、GB、TB、PB、EB、ZB、YB、BB,它们之间的换算关系如下: 1KB=1024B; 1MB=1024KB; 1GB=1024MB; 1TB=1024GB; 1PB=1024TB; 后面的以此类推。 而字节跳动基础架构部门技术团队曾经在2020年年初发文介绍过字节跳动特色的HDFS,支持字节跳动EB级的数据量,可想而知字节跳动存储的压力有多大,可能已经奔向ZB级发展。互联网大厂用的何止是服务器集群,还涉及到了CDN、对象存储、边缘计算等等领域 CDN(Content Delivery Network,即内容分发网络)是将源内容分发至靠近用户的加速节点,使用户可以就近地获得所需的内容,从而改善互联网网络拥挤的状况,提高用户访问的响应速度和成功率。 据亚太CDN产业联盟研究中心检测统计到自己挑动使用的第三方商业CDN有阿里云、优客得、白山云、京东云、网宿、金山云、华为云、中国移动云等等,CDN峰值总带宽已经超过100Tbps。 字节跳动也一直在发力边沿计算,将智能集成到边沿的设备(或边沿节点),运行在数据收集源附近实时的处理核分期数据而不需要直接上传到云或几种数据处理中心。总结 所以我们并不需要担心抖音的服务器是不是够用,带宽够不够大,能不能支持那么多人同时刷。时代一直在改变,许多新的技术也随之应运而生,自然而然到以前我们只有MB的U盘而现在却有动不动就几十GB乃至上百GB的U盘。 以上个人浅见,欢迎批评指正。 认同我的看法,请点个赞再走,感谢! 喜欢我的,请关注我,再次感谢! G口宽带,出口流量1G宽带,也就是我们说的千兆宽带。然后用云部署+均衡负载对全国进行部署,自动为用户选择距离最近的服务器,同时服务器分为数据库服务器、用户服务器、存储服务器等等。一般来说,阿里云会比较可靠,腾讯云那是竞争对手家里。 头条抖音包括我们用的大部分app都需要用CDN来做内容分发,抖音这个量有十几个T