网站建设资讯

NEWS

网站建设资讯

hadoop如何解决discp不同版本间拷贝数据的问题

这篇文章主要为大家展示了“hadoop如何解决discp不同版本间拷贝数据的问题”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“hadoop如何解决discp不同版本间拷贝数据的问题”这篇文章吧。

创新互联建站专注骨干网络服务器租用10多年,服务更有保障!服务器租用,中国电信成都枢纽中心 成都服务器租用,成都服务器托管,骨干网络带宽,享受低延迟,高速访问。灵活、实现低成本的共享或公网数据中心高速带宽的专属高性能服务器。

hadoop如何解决discp不同版本间拷贝数据的问题

hadoop   discp 的时候遇到的checksum mismatch问题

解决方法

网上普遍解决方法

在hdfs-site.xml

将dfs.checksum.type属性设置为CRC32

使用过程中仍然有报上述错误

经检验  参照 http://blog.sina.com.cn/s/blog_7ed002b30101kk08.html

使用  -update   -skipcrccheck 选项即可。

hadoop distcp -update -skipcrccheck hftp://host:50070/文件 /路径

以上是“hadoop如何解决discp不同版本间拷贝数据的问题”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!


分享名称:hadoop如何解决discp不同版本间拷贝数据的问题
转载来于:http://cdweb.net/article/pccopc.html