大数据之hdfs，hdfs大数据概念

CDA数据分析师 出品

HDFS 是一个分布式文件系统， 就像任何其它文件系统， 它允许用户使用 shell 命令操作文件系统。接下来我们结合之前搭建好的分布式集群通过HDFS的shell命令行交互来进一步认识HDFS，并演示怎样使用 HDFS shell 命令。值得注意的是， HDFS 命令大多与 Unix 命令有一对一的关系。

首先打开我们的master、slave1、slave2三台虚拟机，然后在master的终端中输入如下命令来启动HDFS，

start-dfs.sh

启动过程如下图所示，启动完成后执行命令jps查看进程是否启动

创建路径mkdir

如果你的 HDFS home 目录不存在，请先创建它并修改权限。

创建 HDFS home 目录的命令如下：

hdfs dfs –mkdir /user

hdfs dfs –mkdir /user/hduser #这样的用法只能一级一级创建目录，父目录不存在使用此命令会报错

或者

hdfs dfs –mkdir –p /user/hduser #所创建的目录如果父目录不存在就创建该目录

上面创建的/user/hduser 相当于 HDFS 中的用户当前目录，后面可以看到复制文件时无需指定绝对目录。

查看目录ls

运行下面的命令， 列出 HDFS home 目录的内容。

hdfs dfs –ls #列出用户主目录的内容

hdfs dfs –ls / #列出 hdfs 文件系统根目录下的目录和文件

hdfs dfs –ls –R /#列出hdfs文件系统所有目录

读取文档cat

HDFS 文件系统有一个/作为根目录。如下面的命令是读取/user/hduser/fib.csv 文件并打印到屏幕上， 就像 Unix 系统中的 cat 命令：

hdfs dfs –cat /user/hduser/fib.csv

更改文件属性chmod chown

HDFS中针对文件和目录的权限模式与传统操作系统类似，一共提供三类权限模式：只读权限（r）、写入权限（w）、可执行权限（x）。读取文件或列出目录内容时需要只读权限，写入一个文件或是在一个目录上新建及删除文件、目录需要写入权限。不过可执行权限可以忽略，因为你不可能在hdfs上执行一个文件，这是与一般操作系统的文件系统是有区别的地方。修改 HDFS home目录权限的命令如下：

hdfs dfs –chmod –R 755 /user/hduser

hdfs dfs –chown hduser /user/hduser

上传文档

运行下面的命令， 在你的 HDFS home 目录中创建一个新的 input 目录：

hdfs dfs –mkdir input

运行如下的命令来列出在 HDFS 重新创建的目录的内容：

hdfs dfs -ls input

运行如下的命令， 将本地 readme.txt 文件拷贝到 input 目录中：

hdfs dfs –copyFromLocal readme.txt input

或

hdfs dfs –put readme.txt input # hdfs file 的父目录一定要存在， 否则命令不会执行

运行如下的命令， 将本地文件夹 wc-input 上传到 HDFS 文件系统：

hdfs dfs –copyFromLocal wc-input .

或者

hdfs dfs –copyFromLocal wc-input input/wc-input

运行如下的命令， 列出 input 目录：

hdfs dfs –ls input

好啦小伙伴们今天HDFS的命令就介绍这些，下篇文章中我们继续介绍一些从hdfs下载文件到本地、复制、移动等高级命令，敬请期待。

更多优质内容及精彩资讯，点击【了解更多】进入！

版权声明：本文来自用户投稿，不代表【百发生活】立场，本平台所发表的文章、图片属于原权利人所有，因客观原因，或会存在不当使用的情况，非恶意侵犯原权利人相关权益，敬请相关权利人谅解并与我们联系（邮箱：youzivr@vip.qq.com）我们将及时处理，共同维护良好的网络创作环境。