分布式存储必读论文
作者:baboon 出处:https://www.jianshu.com/p/275e7bc0bd62
分布式存储泛指存储存储和管理数据的系统, 与无状态的应用服务器不同, 如何处理各种故障以保证数据一致,数据不丢, 数据持续可用, 是分布式存储系统的核心问题,也是极具挑战的问题。 本文总结了分布式存储领域的经典论文, 供大家参考。
GFS
The Google File System. Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung
基于普通服务器构建超大规模文件系统的典型案例,主要面向大文件和批处理系统, 设计简单而实用。 GFS是google的重要基础设施, 大数据的基石, 也是Hadoop HDFS的参考对象。 主要技术特点包括: 假设硬件故障是常态(容错能力强), 64MB大块, 单Master设计,Lease/链式复制, 支持追加写不支持随机写。Bigtable:
A Distributed Storage System for Structured Data. Fay Chang, Jeffrey Dean, Sanjay Ghemawat, et.** 支持PB数据量级的多维非关系型大表, 在google内部应用广泛,大数据的奠基作品之一 , Hbase就是参考BigTable设计。 Bigtable的主要技术特点包括: 基于GFS实现数据高可靠, 使用非原地更新技术(LSM树)实现数据修改, 通过range分区并实现自动伸缩等。Spanner
Google’s Globally-Distributed Database. James C. Corbett, Jeffrey Dean, et.** 第一个用于线上产品的大规模、高可用, 跨数据中心且支持事务的分布式数据库。 主要技术特点包括, 基于GPS和原子钟的全球同步时间机制TrueTime, Paxo, 多版本事务等。PacificA
Replication in Log-Based Distributed Storage Systems. Wei Lin, Mao Yang, et. 面向log-based存储的强一致的主从复制协议, 具有较强实用性。 这篇文章系统地讲述了主从复制系统应该考虑的问题, 能加深对主从强一致复制的理解程度。 技术特点: 支持强一致主从复制协议, 允许多种存储实现, 分布式的故障检测/Lease/集群成员管理方法。Object Storage on CRAQ
High-throughput chain replication for read-mostly workloads. Jeff Terrace and Michael J. Freedman. **支持强一直的链式复制方法, 支持从多个副本读取数据。Ceph
Reliable, Scalable, and High-Performance Distributed Storage. Sage A. Weil. 功能强大的开源海量存储系统, 支持文件系统、块设备、以及S3接口。 主要技术特色: CRUSH数据对象定位算法, 基于动态子树的文件系统元数据管理。Finding a needle in Haystack
Facebook’s photo storage. Doug Beaver, Sanjeev Kumar, Harry C. Li, Jason Sobel, Peter Vajgel. Facebook分布式Blob存储, 主要用于存储图片。 主要技术特色: 小文件合并成大文件, 小文件元数据放在内存因此读写只需一次IO。Windows Azure Storage
A Highly Available Cloud Storage Service with Strong Consistency. Brad Calder, Ju Wang, Aaron Ogus, Niranjan Nilakantan, et.
微软的分布式存储平台, 除了支持类S3对象存储,还支持表格、队列等数据模型。 主要技术特点: 采用Stream/Partition两层设计(类似BigTable);写错(写满)就封存Extent, 使得副本字节一致, 简化了选主和恢复操作; 将S3对象存储、表格、队列、块设备等融入到统一的底层存储架构中。The Chubby lock service for loosely-coupled distributed systems.
Mike Burrows.
Google设计的高可用、可靠的分布式锁服务, 可用于实现选主、分布式锁等功能, 是ZooKeeper的原型。 主要技术特点: 将paxo协议封装成文件系统接口, 高可用、高可靠,但是不保证有很强性能。Paxos Made Live – An Engineering Perspective.
Tushar Chandra, Robert Griesemer,Joshua Redstone.
从工程实现角度说明了Paxo在chubby系统的应用, 是理解Paxo协议及其应用场景的必备论文。 主要技术特点: paxo协议, replicated log, multi-paxo。Dynamo
Amazon’s Highly Available Key-Value Store。
Giuseppe DeCandia, Deniz Hastorun, Madan Jampani, et. Amazon设计的高可用的kv系统, 主要技术特点:综和运用一致性哈希,vector clock, 最终一致性构建一个高可用的kv系统, 可应用于amazon购物车场景
APP上未查到纳税,360被指股权激励违规?回应严格遵守纳税义务新浪科技讯3月30日晚间消息,360公司今日被指涉嫌股权激励违规。360方面回应称,网传内容与事实情况严重不符。今日有网贴发文称,360涉嫌股权激励违规,股票以转账或现金的方式发放
元宇宙的新商业模式与投资机会元宇宙这个概念,在去年股市上炒了很大的一拨,很多股票都有很大的涨幅,甚至翻几翻的不在少数,元宇宙它是一个与现实物理世界平行交互的虚拟世界,被称为是第三代互联网,但从个人投资人来说,
一卡通发展迅猛德生科技一季度扣非净利润大增超200本报记者矫月见习记者李雯珊3月30日晚,德生科技发布2022年一季度业绩预告。今年一季度该公司营业收入约为15491。06万元18810。57万元,比上年同期增长4070归属于上市
天九共享一站式解决创新企业发展问题近日,腾讯发布全年业绩报告,2021年腾讯实现营收5601。18亿元,同比增长16,净利润1237。88亿元,同比微增1,这是近十年来腾讯净利增幅最低的一年。腾讯业绩呈现平稳的背后
阿里面试官讲解一下JNI的三种引用从Java虚拟机创建的对象传到本地CC代码时就会产生引用。根据Java的垃圾回收机制,只要有引用存在就不会触发该引用指向的Java对象的垃圾回收。这些引用在JNI中分为三种全局引用
天能股份(688819。SH)拟投建年产15GWh储能及动力锂电池项目格隆汇3月30日丨天能股份(688819。SH)公布,公司拟以全资子公司浙江天能新能源有限公司(简称浙江新能源)作为实施主体实施该项目,主要生产储能及动力用磷酸铁锂电池电芯及系统。
甘肃电投2021年实现营收20。12亿元持续加码新能源项目本报记者刘欢3月30日晚间,甘肃电投披露了2021年度业绩报告。公司2021年实现营业收入20。12亿元,同比下降11。15实现归属于上市公司股东的净利润2。6亿元,同比下降41。
OPPOFindX5Pro水蓝正式发售今天上午,OPPO官微发文宣布,OPPOFindX5Pro水蓝新配色正式发售,售价6299元。该配色与此前版本最大的不同就是采用素皮亲肤材质,轻至195g。在配置方面,OPPOFi
python面向对象类的定义类即类别种类,是面向对象设计最重要的概念,对象是特征与技能的结合体,而类则是一系列对象相似的特征与技能的结合体在程序中务必保证先定义类,后产生对象这与函数的使用是类似的,先定义函数
Git常规使用备忘录git安装1。下载后安装以Windows系统为例,下载地址httpgitscm。comdownloadwin自动下载2。运行GitBashgitconfigglobaluser。n
三部门规范网络直播营利行为加强信息共享与联合奖惩北京商报讯(记者郑蕊)3月30日,国家互联网信息办公室国家税务总局国家市场监督管理总局联合印发关于进一步规范网络直播营利行为促进行业健康发展的意见(以下简称意见)。在深化协同共治,