1、背景 此处我们通过命令行，简单的学习一下 hdfs file system shell 的一些操作。2、hdfs file system shell命令有哪些 我们可以通过如下网 址 https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html 来看看支持的命令操作。 其中大部分命令都和 linux 的命令用法类似。 hdfs file system shell有哪些 3、确定shell操作的是哪个文件系统 我们通过hadoop fs操纵时如何知道操作的是那个文件系统 # 操作本地文件系统 [hadoopdeploy@hadoop01 ~]$ hadoop fs -ls file:/// Found 19 items dr-xr-xr-x - root root 24576 2023-02-18 14:47 file:///bin dr-xr-xr-x - root root 4096 2022-06-13 10:41 file:///boot drwxr-xr-x - root root 3140 2023-02-28 20:17 file:///dev ...... # 操作hdfs 文件系统 [hadoopdeploy@hadoop01 ~]$ hadoop fs -ls hdfs://hadoop01:8020/ Found 1 items drwxrwx--- - hadoopdeploy supergroup 0 2023-02-19 17:20 hdfs://hadoop01:8020/tmp # 操作hdfs 文件系统 fs.defaultFS [hadoopdeploy@hadoop01 ~]$ hadoop fs -ls / Found 1 items drwxrwx--- - hadoopdeploy supergroup 0 2023-02-19 17:20 /tmp [hadoopdeploy@hadoop01 ~]$ 4、本地准备如下文件 文件名 内容 1.txt aaa 2.txt bbb 3.txt ccc 5、hdfs file system shell5.1 mkdir创建目录 语法： Usage: hadoop fs -mkdir [-p] -p 表示，如果父目录不存在，则创建父目录。[hadoopdeploy@hadoop01 sbin]$ hadoop fs -mkdir -p /bigdata/hadoop [hadoopdeploy@hadoop01 sbin]$ 5.2 put上传文件 语法： Usage: hadoop fs -put [-f] [-p] [-d] [-t ] [-q ] [ - | ...] -f 如果目标文件已经存在，则进行覆盖操作 -p 保留访问和修改时间、所有权和权限 -d 跳过._COPYING_ 的临时文件 -t 要使用的线程数，默认为1。上传包含1个以上文件的目录时很有用 -q 要使用的线程池队列大小，默认为1024。只有线程数大于1时才生效# 创建3个文件 1.txt 2.txt 3.txt [hadoopdeploy@hadoop01 ~]$ echo aaa > 1.txt [hadoopdeploy@hadoop01 ~]$ echo bbb > 2.txt [hadoopdeploy@hadoop01 ~]$ echo ccc > 3.txt # 上传本地的 1.txt 到hdfs的 /bigdata/hadoop 目录中 [hadoopdeploy@hadoop01 ~]$ hadoop fs -put -p 1.txt /bigdata/hadoop # 因为 /bigdata/hadoop 中已经存在了 1.txt 所有上传失败 [hadoopdeploy@hadoop01 ~]$ hadoop fs -put -p 1.txt /bigdata/hadoop put: `/bigdata/hadoop/1.txt＂: File exists # 通过 -f 参数，如果目标文件已经存在，则进行覆盖操作 [hadoopdeploy@hadoop01 ~]$ hadoop fs -put -p -f 1.txt /bigdata/hadoop # 查看 /bigdata/hadoop 目录中的文件 [hadoopdeploy@hadoop01 ~]$ hadoop fs -ls /bigdata/hadoop Found 1 items -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 4 2023-02-28 12:31 /bigdata/hadoop/1.txt # 通过多线程和 通配符 上传多个文件 [hadoopdeploy@hadoop01 ~]$ hadoop fs -put -p -f -t 3 *.txt /bigdata/hadoop # 查看 /bigdata/hadoop 目录中的文件 [hadoopdeploy@hadoop01 ~]$ hadoop fs -ls /bigdata/hadoop Found 3 items -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 4 2023-02-28 12:31 /bigdata/hadoop/1.txt -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 4 2023-02-28 12:31 /bigdata/hadoop/2.txt -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 4 2023-02-28 12:31 /bigdata/hadoop/3.txt 5.3 ls查看目录或文件 语法： Usage: hadoop fs -ls [-h] [-R] -h 展示成人类可读的，比如文件的大小，展示成多少M等。 -R 递归展示。# 列出/bigdata 目录和文件 [hadoopdeploy@hadoop01 ~]$ hadoop fs -ls /bigdata/ Found 1 items drwxr-xr-x - hadoopdeploy supergroup 0 2023-02-28 12:37 /bigdata/hadoop # -R 递归展示 [hadoopdeploy@hadoop01 ~]$ hadoop fs -ls -R /bigdata/ drwxr-xr-x - hadoopdeploy supergroup 0 2023-02-28 12:37 /bigdata/hadoop -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 4 2023-02-28 12:31 /bigdata/hadoop/1.txt -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 4 2023-02-28 12:31 /bigdata/hadoop/2.txt -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 4 2023-02-28 12:31 /bigdata/hadoop/3.txt # -h 展示成人类可读的，比如多少k,多少M等 [hadoopdeploy@hadoop01 ~]$ hadoop fs -ls -R -h /bigdata/ drwxr-xr-x - hadoopdeploy supergroup 0 2023-02-28 12:37 /bigdata/hadoop -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 4 2023-02-28 12:31 /bigdata/hadoop/1.txt -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 4 2023-02-28 12:31 /bigdata/hadoop/2.txt -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 4 2023-02-28 12:31 /bigdata/hadoop/3.txt 5.4 cat 查看文件内容 语法： Usage: hadoop fs -cat [-ignoreCrc] URI [URI ...] -ignoreCrc 禁用checkshum验证 注意： 如果文件比较大，需要慎重读取，因为这是查看文件的全部内容 # 查看 1.txt 和 2.txt 的文件内容 [hadoopdeploy@hadoop01 ~]$ hadoop fs -cat -ignoreCrc /bigdata/hadoop/1.txt /bigdata/hadoop/2.txt aaa bbb [hadoopdeploy@hadoop01 ~]$ 5.5 head 查看文件前1000字节内容 语法： Usage: hadoop fs -head URI Displays first kilobyte of the file to stdout(显示文件的前1000字节 )# 查看1.txt的前1000字节 [hadoopdeploy@hadoop01 ~]$ hadoop fs -head /bigdata/hadoop/1.txt aaa [hadoopdeploy@hadoop01 ~]$ 5.6 tail 查看文件后1000字节内容 语法： Usage:hadoop fs -tail [-f] URI Displays last kilobyte of the file to stdout.(显示文件的后1000字节 ) -f ：表示将随着文件的增长输出附加数据，就像在Unix中一样。# 查看1.txt的后1000字节 [hadoopdeploy@hadoop01 ~]$ hadoop fs -tail /bigdata/hadoop/1.txt aaa [hadoopdeploy@hadoop01 ~]$ 5.7 appendToFile 追加数据到hdfs文件中 语法： Usage: hadoop fs -appendToFile ... 将单个src或多个src从本地文件系统附加到目标文件系统。还可以从标准输入(localsrc是- )读取输入并附加到目标文件系统。# 查看1.txt文件的内容 [hadoopdeploy@hadoop01 ~]$ hadoop fs -cat /bigdata/hadoop/1.txt aaa # 查看2.txt文件的内容 [hadoopdeploy@hadoop01 ~]$ hadoop fs -cat /bigdata/hadoop/2.txt bbb # 将1.txt文件的内容追加到2.txt文件中 [hadoopdeploy@hadoop01 ~]$ hadoop fs -appendToFile 1.txt /bigdata/hadoop/2.txt # 再次查看2.txt文件的内容 [hadoopdeploy@hadoop01 ~]$ hadoop fs -cat /bigdata/hadoop/2.txt bbb aaa [hadoopdeploy@hadoop01 ~]$ 5.8 get下载文件 语法： Usage: hadoop fs -get [-ignorecrc] [-crc] [-p] [-f] [-t ] [-q ] ... 将文件复制到本地文件系统。可以使用-gnrecrc选项复制未能通过CRC检查的文件。可以使用-crc选项复制文件和CRC。 -f 如果目标文件已经存在，则进行覆盖操作 -p 保留访问和修改时间、所有权和权限 -t 要使用的线程数，默认为1。下载包含多个文件的目录时很有用 -q 要使用的线程池队列大小，默认为1024。只有线程数大于1时才生效# 下载hdfs文件系统的1.txt 到本地当前目录下的1.txt.download文件 [hadoopdeploy@hadoop01 ~]$ hadoop fs -get /bigdata/hadoop/1.txt ./1.txt.download # 查看 1.txt.download是否存在 [hadoopdeploy@hadoop01 ~]$ ls 1.txt 1.txt.download 2.txt 3.txt # 再次下载，因为本地已经存在1.txt.download文件，所有报错 [hadoopdeploy@hadoop01 ~]$ hadoop fs -get /bigdata/hadoop/1.txt ./1.txt.download get: `./1.txt.download＂: File exists # 通过 -f 覆盖已经存在的文件 [hadoopdeploy@hadoop01 ~]$ hadoop fs -get -f /bigdata/hadoop/1.txt ./1.txt.download # 多线程下载 [hadoopdeploy@hadoop01 ~]$ hadoop fs -get -f -t 3 /bigdata/hadoop/*.txt ./123.txt.download get: `./123.txt.download＂: No such file or directory # 多线程下载 [hadoopdeploy@hadoop01 ~]$ hadoop fs -get -f -t 3 /bigdata/hadoop/*.txt . [hadoopdeploy@hadoop01 ~]$ 5.9 getmerge合并下载 语法： Usage: hadoop fs -getmerge [-nl] [-skip-empty-file] 将多个src文件的内容合并到localdst文件中 -nl 表示在每个文件末尾增加换行符 -skip-empty-file 跳过空文件# hdfs上1.txt文件的内容 [hadoopdeploy@hadoop01 ~]$ hadoop fs -cat /bigdata/hadoop/1.txt aaa # hdfs上3.txt文件的内容 [hadoopdeploy@hadoop01 ~]$ hadoop fs -cat /bigdata/hadoop/3.txt ccc # 将hdfs上1.txt 3.txt下载到本地 merge.txt 文件中 -nl增加换行符 -skip-empty-file跳过空文件 [hadoopdeploy@hadoop01 ~]$ hadoop fs -getmerge -nl -skip-empty-file /bigdata/hadoop/1.txt /bigdata/hadoop/3.txt ./merge.txt # 查看merge.txt文件 [hadoopdeploy@hadoop01 ~]$ cat merge.txt aaa ccc [hadoopdeploy@hadoop01 ~]$ 5.10 cp复制文件 语法： Usage: hadoop fs -cp [-f] [-p | -p[topax]] [-t ] [-q ] URI [URI ...] -f 如果目标文件存在则进行覆盖。 -t 要使用的线程数，默认为1。复制包含多个文件的目录时很有用 -q 要使用的线程池队列大小，默认为1024。只有线程数大于1时才生效# 查看 /bigdata目录下的文件 [hadoopdeploy@hadoop01 ~]$ hadoop fs -ls /bigdata Found 1 items drwxr-xr-x - hadoopdeploy supergroup 0 2023-02-28 12:55 /bigdata/hadoop # 查看/bigdata/hadoop目录下的文件 [hadoopdeploy@hadoop01 ~]$ hadoop fs -ls /bigdata/hadoop Found 3 items -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 4 2023-02-28 12:31 /bigdata/hadoop/1.txt -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 8 2023-02-28 12:55 /bigdata/hadoop/2.txt -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 4 2023-02-28 12:31 /bigdata/hadoop/3.txt # 将 /bigdata/hadoop 目录下所有的文件 复制到 /bigdata 目录下 [hadoopdeploy@hadoop01 ~]$ hadoop fs -cp /bigdata/hadoop/* /bigdata # 查看 /bigdata/ 目录下的文件 [hadoopdeploy@hadoop01 ~]$ hadoop fs -ls /bigdata Found 4 items -rw-r--r-- 2 hadoopdeploy supergroup 4 2023-02-28 13:17 /bigdata/1.txt -rw-r--r-- 2 hadoopdeploy supergroup 8 2023-02-28 13:17 /bigdata/2.txt -rw-r--r-- 2 hadoopdeploy supergroup 4 2023-02-28 13:17 /bigdata/3.txt drwxr-xr-x - hadoopdeploy supergroup 0 2023-02-28 12:55 /bigdata/hadoop [hadoopdeploy@hadoop01 ~]$ 5.11 mv移动文件 语法： Usage: hadoop fs -mv URI [URI ...] 将文件从源移动到目标。此命令还允许多个源，在这种情况下，目标需要是一个目录。不允许跨文件系统移动文件。# 列出 /bigdata/hadoop 目录下的文件 [hadoopdeploy@hadoop01 ~]$ hadoop fs -ls /bigdata/hadoop Found 3 items -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 4 2023-02-28 12:31 /bigdata/hadoop/1.txt -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 8 2023-02-28 12:55 /bigdata/hadoop/2.txt -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 4 2023-02-28 12:31 /bigdata/hadoop/3.txt # 将 1.txt 重命名为 1-new-name.txt [hadoopdeploy@hadoop01 ~]$ hadoop fs -mv /bigdata/hadoop/1.txt /bigdata/hadoop/1-new-name.txt # 列出 /bigdata/hadoop 目录下的文件，可以看到1.txt已经改名了 [hadoopdeploy@hadoop01 ~]$ hadoop fs -ls /bigdata/hadoop Found 3 items -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 4 2023-02-28 12:31 /bigdata/hadoop/1-new-name.txt -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 8 2023-02-28 12:55 /bigdata/hadoop/2.txt -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 4 2023-02-28 12:31 /bigdata/hadoop/3.txt [hadoopdeploy@hadoop01 ~]$ 5.12 setrep 修改指定文件的副本数 语法： Usage: hadoop fs -setrep [-R] [-w] 更改文件的副本数。如果path是一个目录，则该命令递归更改以path为根的目录树下所有文件的副本数。执行此命令时，EC文件将被忽略。 -R -R标志是为了向后兼容。它没有影响。 -w -w标志请求命令等待复制完成。这可能需要很长时间。# 修改1-new-name.txt文件为3个副本 [hadoopdeploy@hadoop01 ~]$ hadoop fs -setrep -w 3 /bigdata/hadoop/1-new-name.txt Replication 3 set: /bigdata/hadoop/1-new-name.txt Waiting for /bigdata/hadoop/1-new-name.txt .... done [hadoopdeploy@hadoop01 ~]$ 5.13 df显示可用空间 语法： Usage: hadoop fs -df [-h] URI [URI ...] [hadoopdeploy@hadoop01 ~]$ hadoop fs -df /bigdata/hadoop Filesystem Size Used Available Use% hdfs://hadoop01:8020 27697086464 1228800 17716019200 0% # -h 显示人类可读的 [hadoopdeploy@hadoop01 ~]$ hadoop fs -df -h /bigdata/hadoop Filesystem Size Used Available Use% hdfs://hadoop01:8020 25.8 G 1.2 M 16.5 G 0% 5.14 du统计文件夹或文件的大小 语法： Usage: hadoop fs -df [-h] URI [URI ...] [hadoopdeploy@hadoop01 ~]$ hadoop fs -du /bigdata/hadoop 4 12 /bigdata/hadoop/1-new-name.txt 8 16 /bigdata/hadoop/2.txt 4 8 /bigdata/hadoop/3.txt [hadoopdeploy@hadoop01 ~]$ hadoop fs -du -s /bigdata/hadoop 16 36 /bigdata/hadoop [hadoopdeploy@hadoop01 ~]$ hadoop fs -du -s -h /bigdata/hadoop 16 36 /bigdata/hadoop # 16 表示/bigdata/hadoop目录下所有文件的总大小 # 36 表示/bigdata/hadoop目录下所有文件占据所有副本的总大小 [hadoopdeploy@hadoop01 ~]$ hadoop fs -du -s -h -v /bigdata/hadoop SIZE DISK_SPACE_CONSUMED_WITH_ALL_REPLICAS FULL_PATH_NAME 16 36 /bigdata/hadoop [hadoopdeploy@hadoop01 ~]$ 5.15 chgrp chmod chown改变文件的所属权限[hadoopdeploy@hadoop01 ~]$ hadoop fs -ls /bigdata/hadoop/2.txt -rw-rw-r-- 2 hadoopdeploy hadoopdeploy 8 2023-02-28 12:55 /bigdata/hadoop/2.txt # 给2.txt增加可执行的权限 [hadoopdeploy@hadoop01 ~]$ hadoop fs -chmod +x /bigdata/hadoop/2.txt [hadoopdeploy@hadoop01 ~]$ hadoop fs -ls /bigdata/hadoop/2.txt -rwxrwxr-x 2 hadoopdeploy hadoopdeploy 8 2023-02-28 12:55 /bigdata/hadoop/2.txt [hadoopdeploy@hadoop01 ~]$ 5.16 rm删除文件或目录 语法： Usage: hadoop fs -rm [-f] [-r |-R] [-skipTrash] [-safely] URI [URI ...] 如果启用了回收站 ，文件系统会将已删除的文件移动到垃圾箱目录。 目前，默认情况下禁用垃圾桶功能。用户可以通过为参数fs. trash.interval （在core-site.xml 中）设置大于零 的值来启用 回收站。 -f 如果文件不存在，将不会显示诊断消息或修改退出状态以反映错误。 -R 选项递归删除目录及其下的任何内容。 -r 选项等价于-R。 -skipTrash 选项将绕过回收站，如果启用，并立即删除指定的文件。当需要从大目录中删除文件时，这很有用。 -safely 在删除文件总数大于 hadoop.shell.delete.limited.num.files 的文件时（在core-site.xml 中，默认值为100）之前，需要进行安全确认# 删除2.txt，因为我本地启动了回收站，所以文件删除的文件进入了回收站 [hadoopdeploy@hadoop01 ~]$ hadoop fs -rm /bigdata/hadoop/2.txt 2023-02-28 22:04:51,302 INFO fs.TrashPolicyDefault: Moved: ＂hdfs://hadoop01:8020/bigdata/hadoop/2.txt＂ to trash at: hdfs://hadoop01:8020/user/hadoopdeploy/.Trash/Current/bigdata/hadoop/2.txt [hadoopdeploy@hadoop01 ~]$ 6、界面操作 可能有些人会说，这么多的命令，怎么记的住，如果我们可以操作hdfs的界面，则可以在界面上进行操作。 界面操作 7、参考链接 1、https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html#appendToFile
长沙房价两连涨，长沙楼市热火朝天，长沙楼市分析第51期长沙楼市2022年10月第三周数据出炉，其中一长沙楼市二手房挂牌价从10656元变为10665元，本周上涨9元，突然上涨。二长沙楼市近三周在售二手房数量为59256套，59950套乌总统顾问相信德国每月可以援助乌克兰5亿美元，欧盟整体援助20亿编译观察者网李焕宇自俄乌冲突爆发以来，乌克兰政府从未停止向西方要钱。最近乌官员再次开出了一份账单，希望德国每个月能援助他们5亿美元，欧盟能援助20亿美元。据今日俄罗斯电视台10月2海蟹肥美螺肉鲜甜姜葱炒蟹别具一番风味。白灼东风螺能保留螺肉鲜甜美味。乐民镇海水水质干净，花蟹肥美鲜甜享誉四方。东风螺紧密排列吸附在养殖池边。东风螺与虾共生。渔民从渔网中把花蟹取出。东风螺养殖采用北罗田罗家畈着力打造华中药材第一村农村新报讯（记者吕博林通讯员胡国林叶晓玲）10月16日，罗田县九资河镇罗家畈村占地1500多平方米的罗家畈道地药材交易市场正式开业，开业当天药材成交量达18万多斤，实现销售额220新都宝光寺即日起暂停开放！10月26日新都宝光寺发布通知各位游客信众根据国家和本市防疫防控的部署要求，为进一步做好疫情防控相关工作，最大程度减少公众聚集活动，确保广大市民的健康安全。新都宝光寺自2022年1平谷民宿地图第三季如果您看惯了城市的霓虹，却忘了如何夜晚赏星如果您早已满身疲惫，却忘了怎样煮茶听风，那么就来平谷山水间的民宿寻求一份宁静吧。平谷现有近200家乡村民宿，绝大多数都位于风景秀美的景区周跟着镜头一起走进醉美泉庄点击沂水旅游关注我们沂水县泉庄镇风景秀美，人杰地灵，文明璀璨，历史厚重。近年来，泉庄镇坚持党建引领项目带动民生保障创新发展思路，围绕争创AAAAA景区打造康养度假区建设乡村振兴示范甘南到底有多美，你去了才知道来源新甘肃甘南到底有多美，你去了才知道！甘加秘境编者按地处青藏高原东缘的甘南藏族自治州自然风光壮美文物古迹众多民族风情浓郁，风吹草低见牛羊的景色随处可见。秋风过处，五谷飘香，这里天好色成瘾的国家，差评源源不断，为何还这么多人蜂拥而至？有这样一个地方，三毛认为这是她前世的故乡，仅凭一张照片，时尚大师伊夫圣劳伦特不断地来到这里汲取灵感，无数人来到这里寻找一千零一夜的故事。这是摩洛哥。遥远的非洲国家处处洋溢着欧洲情调160000一顿的大餐，第一次在异国他乡打针缅甸之行没有报团，自行前往。从昆明转机，国内段飞了3个多小时，从昆明到仰光飞了好像才两个多小时。我们去的时候是2013年12月份，冬季。当地是很暖和的，穿的短袖。当地人很喜欢穿长筒年末直飞ampampamp中转回国优劣势对比和推荐随着最近美国直飞回国机票的大幅度降价，很多小伙伴们通过直观价格的对比，可能会选择直飞而放弃中转。那现在的话，我们给大家全方位给大家做个对比分析，大家再结合自身的情况，选取一个最优的