用asp。netcore结合fastdfs打造分布式文件存储系统
今天主要是对开发过程,以及对FastDFS这个通用的分布式文件存储服务的单机及集群安装部署过程做个总结。希望对想要自建分布式文件系统的朋友有所帮助。什么是FastDFS
这里先简单介绍下分布式文件存储系统。FastDFS 是一个开源的高性能分布式文件系统(DFS)。 它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载平衡。主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务。FastDFS 系统有三个角色:跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。 Tracker Server:跟踪服务器,主要做调度工作,起到均衡的作用;负责管理所有的 storage server和 group,每个 storage 在启动后会连接 Tracker,告知自己所属 group 等信息,并保持周期性心跳。 Storage Server:存储服务器,主要提供容量和备份服务;以 group 为单位,每个 group 内可以有多台 storage server,数据互为备份。 Client:客户端,上传下载数据的服务器,也就是我们自己的项目所部署在的服务器。
FastDFS开源地址:https://github.com/happyfish100FastDFS的单机版安装
这里先简单介绍下单机版的安装,跟着做你也可以从0还是搭建一个单机版的FastDFS。集群版也是在单机版基础上安装的。第一步 安装相关工具
如果已经安装和wget可以跳过这一步yum -y install vim wget unzip
-y:不经过询问直接同意所有操作vim:linux上面一个比较好用的文本编辑软件wget:linux上文件下载工具第二步 安装相关依赖yum install -y gcc-c++ perl第三步 安装libfastcommon
大家可以直接到github上面先找到ibfastcommon。这里为了大家方便查找。我已经把把链接给大家整理好了libfastcommon这里大家可以先下载到本地,然后再传至服务器上面。这里我使用的是FinalShell。具体操作就不在这里详细说了。这里目录为:/root/fastdfs/下载下来的是zip格式压缩包,然后,我们解压zipunzip libfastcommon-master.zip
进入到刚刚解压的文件里面cd libfastcommon-master/
进行编译安装./make.sh && ./make.sh install
``shell./make.sh && ./make.sh install#### 第五步 修改配置文件 切换到配置文件目录下 ```shell cd /etc/fdfs/
查看所有配置文件使用ls命令就行了
去除所有的.sample后缀cp client.conf.sample client.conf cp storage.conf.sample storage.conf cp storage_ids.conf.sample storage_ids.conf cp tracker.conf.sample tracker.conf
我们再次使用ls命令查看
可以看到我们已经去除了所有的.sample后缀下一步,创建文件夹,分别创建client,storage,tracker文件夹mkdir -p /home/software/fastfdfs/data/client mkdir -p /home/software/fastfdfs/data/storage mkdir -p /home/software/fastfdfs/data/trackerclient.config配置
下面我们开始配置文件修改,首先修改的是clietn.conf,使用vim编辑器进行文件的编辑vim client.conf
使用 :set number 显示行数修改第11行,确定日志文件的存储路径,这里用我们刚刚创建client文件夹路径
base_path = /home/software/fastdfs/data/client
修改第22 行,tracker的地址与端口,根据实际情况进行修改,我的是192.168.1.14。
这里貌似有两个tracker_server,毕竟是单机版部署因此我这里注释了一个tracker_server = 192.168.1.14:22122
修改号之后记得保存修改!storage.conf修改
下面我们修改storage.conf。同上是用vim进行修改首先我们修改下11行的分组设置
group_name = group1
接下来修改49行的基础路径,这里也用上面我们已经创建的路径
base_path = /home/software/fastdfs/data/storage
修改第129行的storage路径。
store_path0 = /home/software/fastdfs/data/storage注意:这里提示下:存储路径的顺序很重要,不要弄乱了,基础路径应该独立于存储路径,即尽量让这两个路径不一样。这里我设置了一样
修改第145行 ,配置tracker的IP地址与端口。至于如何填写这个地址,上面配置client.conf的时候,我们就已经说过了。
tracker_server = 192.168.1.14:22122
tracker.conf 配置
现在修改tracker.conf文件修改第23行,修改tracker的基础路径。这个路径的文件夹我们刚刚在上面已经创建过了
base_path = /home/software/fastdfs/data/tracker
修改第57行 归属组设置
store_group = group1
第六步 启动tracker 与storage
启动trackerfdfs_trackerd /etc/fdfs/tracker.conf start
启动storagefdfs_storaged /etc/fdfs/storage.conf start
测试是否启动成功,我们尝试上传文件。我的root文件夹下有一张图片fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg
如上图所示表示上传成功。第七步 安装nginx访问图片
这里由于服务器已经安装了nginx,因此需要在现有的nginx的版本基础上安装新的fastdfs的模块。,安装方法可能略有不同首先查看下nginx的版本nginx -V
这里需要注意一下,如果你服务器上没有安装过nginx则需要先安装nginx的依赖,然后再进行安装yum -y install gcc-c++ zlib-devel pcre-devel
如下图所示:
因此我们需要下载对应版本的源码wget http://nginx.org/download/nginx-1.16.1.tar.gz
解压安装包tar zxvf nginx-1.14.0.tar.gz
下载nginx的fastdfs模块,这里我已经帮大家把这个项目github地址整理好了。astdfs-nginx-module这这里我们可以先下载到自己电脑上,再上传服务器。进行解压unzip fastdfs-nginx-module-master.zip
这里由于我们已经安装了nginx,因此需要备份之前的nginx防止出现问题进行还原mv /usr/sbin/nginx /usr/sbin/nginx.back cp -rf /etc/nginx/ /etc/nginx.back
切换到nginx压缩包的解压目录里面去cd nginx-1.16.1
进行配置检测并且添加模块./configure --prefix=/etc/nginx/ --sbin-path=/usr/sbin/nginx --add-module=/root/fastdfs/fastdfs-nginx-module-master/src/
--prefix : nginx的安装目录--add-module:解压后模块所在目录,记得要加上src
执行如下命令进行nginx的重新编译,如果之前已经安装了nginx则不能执行install,否则会覆盖之前的配置文件,也可以在安装后再把之前的配置覆盖过来。make && make install
拷贝编译后的nginx到原来的安装目录cp objs/nginx /usr/sbin/nginx
重启nginxsystemctl restart nginx //第二种方式 nginx -s reload //第一次安装,直接输入nginx nginx
切换至fastdfs的解压包里面去cd /root/fastfdfs/fastdfs-master
进行文件的复制cp conf/http.conf /etc/fdfs/ cp conf/mime.types /etc/fdfs/
切换至fastdfs-nginx-module的解压目录下面cd /root/fastdfs/fastdfs-nginx-module-master
进行配置文件的复制cp src/mod_fastdfs.conf /etc/fdfs/mod_fastdfs.conf配置
修改/etc/fdfs下面的mod_fastdfs.conf配置文件vim /etc/fdfs/mod_fastdfs.conf
修改 40行,更改tracker的ip地址与端口
tracker_server=192.168.1.14:22122
修改48行的group_name
修改53行 url地址中是否包含组名,如果链接中包含group则需要设置为trueurl_have_group_name = true
修改62行 storage所在目录store_path0=/home/software/fastdfs/data/storage
保存修改。nginx修改
这里注意,每个笨的配置文件存储的方式不同,此步骤可能有所不同。进行nginx配置文件的修改,我们可以切换到nginx的安装目录下面。也可以直接输入如下命令
注意:这里我的nginx版本为1.16.1,配置文件为conf.d下面的所有的*.conf文件。因此我的输入命令如下:vim /etc/nginx/conf.d/default.conf
进行nginx.conf的修改,如下图所示: server { listen 8888; server_name 192.168.1.93; location ~/group([0-9])/M00 { #root html; #index index.html index.htm; root /home/software/fastdfs/data/storage/data; ngx_fastdfs_module; } }
多个group的配置
当配置多个组,且mod_fastdfs.conf 里面指定了url_have_group_name= true 时,配置方式:location ~ /group([0-9]) /M00 { root /home/software/fastdfs/data/storage/data; ngx_fastdfs_module; }
比如:在group1上的 nginx 的nginx.conf 配置是location /group1/M00 { root /home/software/fastdfs/data/storage/data; ngx_fastdfs_module; }
比如:在group2上的 nginx 的nginx.conf 配置是location /group2/M00 { root /home/software/fastdfs/data/storage/data; ngx_fastdfs_module; }
查看nginx的配置文件是否有效nginx -t
显示 is ok没有任何问题,现在启动nginx。这里我配置为开机自动启动systemctl restart nginx // 第二种方式 nginx -s reload
依照上面的方式,我们重新上传一张图片。并进行访问测试是否启动成功,我们尝试上传文件。我的root文件夹下有一张图片fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg
上传成功,访问下面的地址
路径说明
group1:表示这张图片被保存在了哪个组当中,M00:代表磁盘目录,如果电脑只有一个磁盘那就只有M00, 如果有多个磁盘,那就M01、M02...等等。00/00:代表磁盘上的两级目录,每级目录下是从00到FF共256个文件夹,两级就是256*256个。wKgBE1r-fICAcd3kAAHY-4ojheI481.jpeg表示被存储到storage上的test.jpeg被重命名的名字,这样做的目的是为了防止图片名字重复。我们到单机版的数据目录下查看一下是否有我们刚才上传的图片,发现是有的返回的图片信息中明确说明了存储在了group1下面。FastDFS集群版的安装
这里集群版的安装是在单机版的基础上安装的。机器准备
安装步骤软件准备
在所有服务器上创建如下目录用来存储需要安装的软件包mkdir -p ~/fastdfs/
在tracker1上下载所需要的软件安装包,并放在如下目录下~/fastdfs/
查看如下所示:
进入对应的文件夹并拷贝对应的文件到其他几台服务器上:scp ./* root@192.168.1.15:~/fastdfs/ scp ./* root@192.168.1.16:~/fastdfs/ scp ./* root@192.168.1.93:~/fastdfs/ scp ./* root@192.168.1.197:~/fastdfs/
在storage服务器及tracker服务器都创建如下的文件夹,用来存放fastdfs的数据及日志文件mkdir -p /home/software/fastfdfs/client mkdir -p /home/software/fastfdfs/storage mkdir -p /home/software/fastfdfs/tracker
在所有服务器上执行·如下命令安装相关工具yum -y install vim wget unzip
在所有sotrage及tracker服务器上执行如下命令安装相关依赖yum install -y gcc-c++ perl安装
这些操作需要在所有storage及tracker服务器上都进行操作storage及tracker服务器安装libfastcommon
在需要安装fastdfs的storage及tracker服务器上安装libfastcommon这里我们进入安装文件目录~/fastdfs/,执行如下命令,解压并编译安装:unzip libfastcommon-master.zip cd libfastcommon-master/ ./make.sh && ./make.sh install
出现如下图所示则表示安装成功
storage及tracker服务器安装fastdfs
在需要安装fastdfs的storage及tracker服务器上安装fastdfs这里我们进入安装文件目录~/fastdfs/,执行如下命令,解压并编译安装:unzip fastdfs-master.zip cd fastdfs-master/ ./make.sh && ./make.sh install cp conf/http.conf /etc/fdfs/ cp conf/mime.types /etc/fdfs/
进行文件的复制cp conf/http.conf /etc/fdfs/ cp conf/mime.types /etc/fdfs/修改配置文件
切换到配置文件目录,并执行如下命令去除所有的.sample后缀:cd /etc/fdfs/ cp client.conf.sample client.conf cp storage.conf.sample storage.conf cp storage_ids.conf.sample storage_ids.conf cp tracker.conf.sample tracker.conf
修改client.config配置
需要测试的时候才需要配置此client.conf配置vim client.conf
修改内容如下:11 base_path = /home/software/fastdfs/client 22 tracker_server = 192.168.1.14:22122
vim修改storage.conf 修改内容如下:11 group_name = group1 49 base_path = /home/software/fastdfs/storage 129 /home/software/fastdfs/data/storage 145 tracker_server = 192.168.1.14:22122
vim修改tracker.conf配置
这里只有tracker服务器才需要配置此配置及 14跟16
修改内容如下:23 base_path = /home/software/fastdfs/tracker 57 store_group = group1安装nginx
只有sotrage服务器及vip服务器需要安装nginx用来提供文件的访问在安装nginx前需要安装相关的依赖并下载对应的源码,执行如下命令。此文件也保存到文件安装目录yum -y install gcc-c++ zlib-devel pcre-devel wget http://nginx.org/download/nginx-1.16.1.tar.gz tar zxvf nginx-1.14.0.tar.gz
解压nginx的fastdfs模块,并进入到文件夹下进行配置文件的复制
nginx的fastdfs模块在所有storage服务器上进行安装unzip fastdfs-nginx-module-master.zip cd ~/fastdfs/fastdfs-nginx-module-master cp src/mod_fastdfs.conf /etc/fdfs/
进入到nginx源码目录,进行配置检测并添加对应的fastdfs模块。然后进行nginx的安装./configure --prefix=/etc/nginx/ --sbin-path=/usr/sbin/nginx --add-module=/root/fastdfs/fastdfs-nginx-module-master/src/ make && make install #如有需要可以拷贝nginx到sbin目录 cp objs/nginx /usr/sbin/nginxmod_fastdfs.conf配置
vim修改/etc/fdfs下面的mod_fastdfs.conf配置文件40 tracker_server=192.168.1.14:22122 48 group_name=group1 53 url_have_group_name = true 62 store_path0=/home/software/fastdfs/storagenginx配置修改
只有sotrage服务器及vip服务器需要安装,group1的服务器需要新增如下server配置,root路径为storage的data路径 server { listen 8888; server_name 192.168.1.93; location /group1/M00 { #root html; #index index.html index.htm; root /home/software/fastdfs/storage/data; ngx_fastdfs_module; } }
group2的服务器上新增如下server配置,root路径为storage的data路径 server { listen 8888; server_name 192.168.1.93; location /group2/M00 { #root html; #index index.html index.htm; root /home/software/fastdfs/storage/data; ngx_fastdfs_module; } }
vip服务器的nginx配置如下:#设置 group1 的服务器 upstream fdfs_group1 { server 192.168.1.14:8888 weight=1 max_fails=2 fail_timeout=30s; server 192.168.1.15:8888 weight=1 max_fails=2 fail_timeout=30s; } #设置 group2 的服务器 upstream fdfs_group2 { server 192.168.1.16:8888 weight=1 max_fails=2 fail_timeout=30s; server 192.168.1.93:8888 weight=1 max_fails=2 fail_timeout=30s; } server { listen 80; server_name 192.168.1.197; #charset koi8-r; #access_log /var/log/nginx/host.access.log main; #设置默认路径 location / { root html; index index.html index.htm; } #设置 group 的负载均衡参数 location /group1/M00 { proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_pass http://fdfs_group1; } location /group2/M00 { proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_pass http://fdfs_group2; } }
查看nginx的配置文件是否有效nginx -t
显示 is ok没有任何问题,现在启动nginx。这里我配置为开机自动启动# 服务形式的nginx重启方式 systemctl restart nginx //第二种方式 nginx -s reload //第一次安装,直接输入nginx nginx
依照上面的方式,我们重新上传一张图片。并进行访问测试是否启动成功,我们尝试上传文件。我的root文件夹下有一张图片fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg
上传成功,访问下面的地址
asp.net core操作FastDFS
这里的微服务是基于abp vnext的。只是在应用层进行相关的服务开发。这里需要说明下,这里我是使用工厂模式,根据配置来创建对应的文件操作提供者,进而对对应的文件服务器上的文件进行操作的。这里我只摘录FastDFS相关的代码供大家参考。第一步 安装对应的nuget包
这里我用的是更新时间相对比较近下载量相对比较多的作者的nuget包,Install-Package FastDFSNetCore -Version 1.2.5第二步,编写一个FastDFSProvider
具体的代码如下所示: /// /// 功能介绍:FastDFS提供者 /// 作者:lzhu /// 创建日期:2020/4/23 19:54:35 /// public class FastDFSProvider : IStorageProvider, ITransientDependency { /// /// 提供程序名称 /// public string ProviderName => "FastDFS"; //配置 private readonly FastDFSConfig _fastDFSConfig; /// /// 构造函数 /// /// 注入配置数据 public FastDFSProvider(FastDFSConfig fastDFSConfig) { _fastDFSConfig = fastDFSConfig ?? throw new ArgumentNullException(nameof(fastDFSConfig)); string[] trackers = fastDFSConfig.Trackers.Split(",", StringSplitOptions.RemoveEmptyEntries); var trackerIPs = new List(); foreach (var onetracker in trackers) { trackerIPs.Add(new IPEndPoint(IPAddress.Parse(onetracker), fastDFSConfig.Port)); } ConnectionManager.Initialize(trackerIPs); } /// /// 通过文件名删除对应的文件 /// /// 对象名称 /// 分组名称 /// 是否成功 public async Task DeleteObjectByNameAsync(string objectName, string groupName = "") { RestoreFileName(objectName, out string fileName, out groupName); await FastDFSClient.RemoveFileAsync(groupName, fileName); return true; } /// /// 获取网关连接 /// /// 网关连接 public Task GetGateWayUrl() => Task.FromResult(_fastDFSConfig.GateWayUrl); /// /// 获取对象二进制数组 /// /// 组名称 /// 对象名称 /// 对象的二进制数组 public async Task GetObjectByteAsync(string objectName, string groupName = "") { RestoreFileName(objectName, out string fileName, out groupName); var storageNode = await GetStorageNodeAsync(groupName); return await FastDFSClient.DownloadFileAsync(storageNode, fileName); } /// /// 获取对象流 /// /// 组名称 /// 对象名称 /// 对象流 public async Task GetObjectStreamAsync(string objectName, string groupName = "") { RestoreFileName(objectName, out string fileName, out groupName); var storageNode = await GetStorageNodeAsync(groupName); FDFSFileInfo fileInfo = await FastDFSClient.GetFileInfoAsync(storageNode, fileName); Stream stream = new MemoryStream(); int limit = 1024 * 100;//每次获取100KB的数据 //如果文件大小大于100KB 分次写入 if (fileInfo.FileSize >= limit) { long offset = 0; long len = limit; while (len > 0) { byte[] buffer = await FastDFSClient.DownloadFileAsync(storageNode, fileName, offset, len); stream.Write(buffer, 0, int.Parse(len.ToString())); stream.Flush(); offset += len; len = (fileInfo.FileSize - offset) >= limit ? limit : (fileInfo.FileSize - offset); } } else { //如果文件大小小小于100KB 直接写入文件 byte[] buffer = await FastDFSClient.DownloadFileAsync(storageNode, fileName); stream.Write(buffer, 0, buffer.Length); stream.Flush(); } stream.Seek(0, SeekOrigin.Begin); return stream; } /// /// 存储文件 /// /// 对象 /// 对象名 /// 分组 /// public async Task StoreObjectByteAsync(byte[] objectByte, string objectName, string groupName = "") { var storageNode = await GetStorageNodeAsync(""); var filePath = await FastDFSClient.UploadFileAsync(storageNode, objectByte, Path.GetExtension(objectName)); return storageNode.GroupName + "/" + filePath; } /// /// 存储文件 /// /// 文件流 /// 对象名 /// 分组 /// 文件路径 public async Task StoreObjectStreamAsync(Stream objectStream, string objectName, string groupName = "") { var storageNode = await GetStorageNodeAsync(""); var filePath = await FastDFSClient.UploadFileAsync(storageNode, objectStream, Path.GetExtension(objectName)); return storageNode.GroupName + "/" + filePath; } }第三步 在分布式配置中心中进行配置
这里的分布式配置中心中进行FastDFS的配置如下:"ObjectStorage": { "StoreType": "FastDFS", "FastDFS": { "Trackers": "192.168.1.14,192.168.1.16", "Port": 22122, "GateWayUrl": "http://192.168.1.197" } }第四步 文件提供者工厂方法中加入FastDFS的处理
工厂方法根据上面配置中的StoreType从而知道对应的存储是往FastDFS集群进行存储的,进而再加载对应的FastDFS的配置,然后创建上面的FastDFSProvider。主要代码摘录如下: case "RondsDFS": { var rondsDFSSection = _configuration.GetSection("ObjectStorage:RondsDFS"); if (rondsDFSSection == null) throw new ArgumentNullException("RondsDFS is not configured![OObjectStorage:RondsDFS]"); StorageProvider = _serviceProvider.GetRequiredService(); break; }总结
今天首先给大家讲解了如何搭建FastDFS单机版及集群版,然后讲解了如何通过asp.net core对FastDFS进行操作。当然由于我的文件系统对应多个文件存储程序,因此这里只是把FastDFS作为其中一个提供者进行处理。大伙可以只参考其中的操作方法即可。本来想录个视频的,毕竟安装过程稍显复杂,奈何机器不允许,Pass了!
尼日利亚宗格鲁水电站下闸蓄水作者潘阳春刘冲4月28日,中国水电八局承建的尼日利亚境内最大在建水电工程宗格鲁水电站实现按期下闸蓄水目标,标志着大坝金结安装节点和主体工程基本完成,并为年底首机发电奠定了基础。宗格
安乐源自内心的感受月有阴晴圆缺,人有悲欢离合,此事古难全。然而,佛说,悲喜,聚散,成败,就象路边的花草,一闪而过!一切的经历和感受,是痛苦,是安乐,源自内心。安乐,是内心的感受,有人喜饮,酒入愁肠,
被无关的产业淘汰了世界是這樣可能被無關的產業淘汰了城門失火殃及城池大家小心羊毛出在狗身上,由豬買單!現階段打敗你的不一定是對手而是一個過路人。最近,Nikon退出中國,裁員兩千人!很多人以爲Niko
萨尔瓦多从Chivo应用程序中删除BTC价格信息以打击套利黄牛萨尔瓦多从Chivo应用程序中删除BTC价格信息以打击套利黄牛10月19日消息,萨尔瓦多政府已采取行动阻止其Chivo数字钱包的用户,利用该应用程序的价格冻结功能通过套利来获取无风
爱沙尼亚正制定新的立法将加强加密货币行业规则BTC突破62000美元BTC突破62000美元,现报62025。71美元,日内涨幅达到3。33,行情波动较大,请做好风险控制。当前99。02的比特币供应量处于盈利状态10月16日
RACIB会长俄罗斯政府在监管加密货币行业方面毫无作为数据近期有超3。8万枚比特币从币安流出10月25日消息,根据CryptoQuant的数据,近期有总计38246枚比特币流出币安,目前币安BTC总余额接近50万枚。此前消息,北京时间
手机慢速度快门抓拍旋转9月16日晚上七点多在小区北门路口拍摄平移跟拍同时也进行抓拍旋转练习,照片分享如附图。自我检讨。XHD,15。1MB,ISO687,S120s这张跟拍显影不足旋转还可以水平歪了XH
爱沙尼亚反洗钱负责人爱沙尼亚应吊销加密货币许可证前英国财政大臣呼吁英国抓住加密货币行业增长带来的机会10月13日消息,前英国财政大臣LordPhilipHammond呼吁英国抓住加密货币行业增长带来的机会。Hammond刚刚加入
印度教团呼吁政府监管加密货币当前99。02的比特币供应量处于盈利状态10月16日消息,Glassnode发推称,随着比特币再次突破6万美元,只有0。98的流通供应最后上次的花费价格更高。这185816枚比特币
灰度比特币信托溢价率再次降至20左右灰度比特币信托溢价率再次降至20左右灰度投资(GrayscaleInvestments)比特币信托溢价率再次降低至20左右。该溢价率此前在今年四五月份降至20以下,之后几个月逐步有
迈阿密市长正探索如何接受比特币纳税迈阿密市长正探索如何接受比特币纳税迈阿密市长FrancisSuarez表示,该城市正在探索如何接受使用比特币进行的纳税,从而在采用比特币方面迈出下一步。根据市长的说法,市政府官员已