HDFS有哪些基本操作

HDFS有哪些基本操作?针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

惠济ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景,ssl证书未来市场广阔!成为成都创新互联的ssl证书销售渠道,可以享受市场价格4-6折优惠!如果有意向欢迎电话联系或者加微信:18980820575(备注:SSL证书合作)期待与您的合作!

 

1、Shell命令行客户端

 

Hadoop提供了文件系统的shell命令行客户端,使用方法如下:

 

hadoop     fs     

 

文件系统 shell包括与 Hadoop分布式文件系统(HDFS)以及 Hadoop支持的其他文件系统(如本地 FS,HFTP FS,S3 FS等)直接交互的各种类似 shell的命令。所有 FS shell命令都将路径 URI作为参数。

 

URI格式为 scheme://authority/path。对于 HDFS,该 scheme是 hdfs,对于本地 FS,该 scheme是 file。scheme和 authority是可选的。如果未指定, 则使用配置中指定的默认方案。

 

对于 HDFS,命令示例如下:

 

hadoop fs -ls hdfs://namenode:host/parent/child hadoop fs -ls /parent/child    fs.defaultFS中有配置对于本地文件系统,命令示例如下:

 

hadoop fs -ls file:///root/ 

 

如果使用的文件系统是 HDFS,则使用 hdfs dfs也是可以的,此时

 

hadoop fs = hdfs dfs

 

2、Shell命令选项

 

选项名称

使用格式

含义

-ls

-ls <路径>

查看指定路径的当前目录结构

-lsr

-lsr <路径>

递归查看指定路径的目录结构

-du

-du <路径>

统计目录下个文件大小

-dus

-dus <路径>

汇总统计目录下文件(夹)大小

-count

-count [-q] <路径>

统计文件(夹)数量

-mv

-mv <源路径> <目的路径>

移动

-cp

-cp <源路径> <目的路径>

复制

-rm

-rm [-skipTrash] <路径>

删除文件/空白文件夹

-rmr

-rmr [-skipTrash] <路径>

递归删除

-put

-put <多个 linux上的文件>

上传文件

-copyFromLocal

-copyFromLocal <多个 linux上的文件>

从本地复制

-moveFromLocal

-moveFromLocal <多个 linux上的文件>

从本地移动

-getmerge

-getmerge <源路径>

合并到本地

-cat

-cat

查看文件内容

-text

-text

查看文件内容

-copyToLocal

-copyToLocal [-ignoreCrc] [-crc] [hdfs

源路径] [linux目的路径]

从本地复制

-moveToLocal

-moveToLocal [-crc]

nux目的路径>

从本地移动

-mkdir

-mkdir

创建空白文件夹

-setrep

-setrep [-R] [-w] <副本数> <路径>

修改副本数量

-touchz

-touchz <文件路径>

创建空白文件

-stat

-stat [format] <路径>

显示文件统计信息

-tail

-tail [-f] <文件>

查看文件尾部信息

-chmod

-chmod [-R] <权限模式> [路径]

修改权限

-chown

-chown [-R] [属主][:[属组]]路径

修改属主

-chgrp

-chgrp [-R]属组名称 路径

修改属组

-help

-help [命令选项]

帮助

3、Shell常用命令介绍

(1)ls

使用方法:hadoop fs -ls [-h] [-R]

功能:显示文件、目录信息。

示例:hadoop fs -ls /user/hadoop/file1

(2)mkdir

使用方法:hadoop fs -mkdir [-p]

功能:在 hdfs上创建目录,-p表示会创建路径中的各级父目录。

示例:hadoop fs -mkdir –p /user/hadoop/dir1

(3)put

使用方法:hadoop fs -put [-f] [-p] [ -| .. ].

功能:将单个 src或多个 srcs从本地文件系统复制到目标文件系统。

-p:保留访问和修改时间,所有权和权限。

-f:覆盖目的地(如果已经存在)。

示例:hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir

(4)get

使用方法:hadoop fs -get [-ignorecrc] [-crc] [-p] [-f]

-ignorecrc:跳过对下载文件的 CRC检查。

-crc:为下载的文件写 CRC校验和。功能:将文件复制到本地文件系统。

示例:hadoop fs -get hdfs://host:port/user/hadoop/file localfile

(5)appendToFile  

使用方法:hadoop fs -appendToFile ...

功能:追加一个文件到已经存在的文件末尾。

示例:hadoop fs -appendToFile localfile /hadoop/hadoopfile

(6)cat   

使用方法:hadoop fs -cat [-ignoreCrc] URI [URI ...]

功能:显示文件内容到 stdout。

示例:hadoop fs -cat /hadoop/hadoopfile

(7)tail

使用方法:hadoop fs -tail [-f] URI 

功能:将文件的最后一千字节内容显示到 stdout。

-f选项将在文件增长时输出附加数据。

示例:hadoop fs -tail /hadoop/hadoopfile

(8)chgrp 

使用方法:hadoop fs -chgrp [-R] GROUP URI [URI ...]

功能:更改文件组的关联。用户必须是文件的所有者,否则是超级用户。

-R将使改变在目录结构下递归进行。

示例:hadoop fs -chgrp othergroup /hadoop/hadoopfile

(9)chmod

功能:改变文件的权限。使用-R将使改变在目录结构下递归进行。

示例:hadoop fs -chmod 666 /hadoop/hadoopfile

(10)chown

功能:改变文件的拥有者。使用-R 将使改变在目录结构下递归进行。

示例 :hadoop fs -chown someuser:somegrp /hadoop/hadoopfile

(11)copyFromLocal

使用方法:hadoop fs -copyFromLocal URI。

功能:从本地文件系统中拷贝文件到 hdfs路径去 。

示例:hadoop fs -copyFromLocal /root/1.txt /

(12)copyToLocal        

功能:从 hdfs拷贝到本地 。

示例:hadoop fs -copyToLocal /aaa/jdk.tar.gz

(13)cp               

功能:从 hdfs的一个路径拷贝 hdfs的另一个路径。

示例:hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

(14)mv                                     

功能:在 hdfs目录中移动文件。

示例:hadoop fs -mv /aaa/jdk.tar.gz /

(15)getmerge     

功能:合并下载多个文件。

示例:比如hdfs的目录/aaa/下有多个文件:log.1, log.2,log.3,... hadoop fs -getmerge /aaa/log.* ./log.sum

(16)rm                 

功能:删除指定的文件。只删除非空目录和文件。-r递归删除。

示例:hadoop fs -rm -r /aaa/bbb/

(17)df                

功能:统计文件系统的可用空间信息。

示例:hadoop fs -df -h /

(18)du  

功能:显示目录中所有文件大小,当只指定一个文件时,显示此文件的大小。

示例:hadoop fs -du /user/hadoop/dir1

(19)setrep                 

功能:改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。

示例:hadoop fs -setrep -w 3 -R /user/hadoop/dir1

关于HDFS有哪些基本操作问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注创新互联行业资讯频道了解更多相关知识。


当前文章:HDFS有哪些基本操作
文章分享:http://www.abwzjs.com/article/jehejd.html