网站建设资讯

NEWS

网站建设资讯

hadoop新特性通过NFSv3挂载HDFS到本地目录-创新互联

原理

城固ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景,ssl证书未来市场广阔!成为创新互联公司的ssl证书销售渠道,可以享受市场价格4-6折优惠!如果有意向欢迎电话联系或者加微信:18982081108(备注:SSL证书合作)期待与您的合作!

NFS允许用户像访问本地文件系统一样访问远程文件系统,而将NFS引入HDFS后,用户可像读写本地文件一样读写HDFS上的文件,大大简化了HDFS使用,这是通过引入一个NFS gateway服务实现的,该服务能将NFS协议转换为HDFS访问协议,具体如下图所示。

hadoop新特性通过NFSv3挂载HDFS到本地目录

Portmap和Nfs3进程是成功启动hdfs nfs网关后才有的进程

HDFS NFS Gateway安装配置详解

http://blog.csdn.net/rzliuwei/article/details/38388279

启动NFS Gateway 服务

官网链接

http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/HdfsNfsGateway.html

hadoop新特性通过NFSv3挂载HDFS到本地目录

验证服务

hadoop新特性通过NFSv3挂载HDFS到本地目录

hadoop新特性通过NFSv3挂载HDFS到本地目录

如果不是可以查看/etc/exports文件

hadoop新特性通过NFSv3挂载HDFS到本地目录

挂载HDFS

挂载HDFS文件系统到本地的/mnt/hdfs目录下

在NFS GATEWAY主机上输入

sudo mount -t nfs -o vers=3,proto=tcp,nolock 192.168.1.105:/ /mnt/hdfs

May 8 15:53:18 cdh2 rpc.mountd[3689]: refused mount request from 192.168.1.105 for / (/): unmatched host

如果报错因为机器默认没有打开NFSv3,修改/etc/sysconfig/nfs文件

把RPCNFSDARGS="-N 4"前面的#去掉(4兼容2和3),修改重启所有服务。

hadoop新特性通过NFSv3挂载HDFS到本地目录

查看报错详细信息:
cat /var/log/messages|grep mount

成功挂载后如下所示,可以看到HDFS文件系统已挂载到本地目录

hadoop新特性通过NFSv3挂载HDFS到本地目录

创建目录

hadoop新特性通过NFSv3挂载HDFS到本地目录
可以看到HDFS系统上对应目录已创建成功

hadoop新特性通过NFSv3挂载HDFS到本地目录

从本地上传文件到HDFS

文件大小为500m,测试性能

time cp /opt/cloudera-manager-el6-cm5.3.3_x86_64.tar.gz /mnt/hdfs/test

hadoop新特性通过NFSv3挂载HDFS到本地目录

我的环境上耗时大概48s,10M/s的速度,还可以

解挂HDFS

报错umount.nfs: /mnt/hdfs: device is busy

hadoop新特性通过NFSv3挂载HDFS到本地目录

fuser -m /mnt/hdfs,查看此文件系统正在被哪些进程访问

hadoop新特性通过NFSv3挂载HDFS到本地目录

yum -y install lsof
查看此文件系统中正在被使用的文件,可以看到/data目录被正在使用

hadoop新特性通过NFSv3挂载HDFS到本地目录

kill -9 15355 杀死访问进程就可以,输入umount /mnt/hdfs解挂成功。

补充:

linux下好用的命令:tree

安装tree包

yum -y install tree

 安装后键入 tree /mnt/hdfs/hbase,目录结构以树形的方式显示是不是很直观

hadoop新特性通过NFSv3挂载HDFS到本地目录

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


分享标题:hadoop新特性通过NFSv3挂载HDFS到本地目录-创新互联
URL链接:http://cdweb.net/article/dojjcg.html