网站建设资讯

NEWS

网站建设资讯

HADOOPHDFS有哪些优点-创新互联

本篇内容介绍了“HADOOP HDFS有哪些优点”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

创新互联主要从事做网站、成都网站设计、网页设计、企业做网站、公司建网站等业务。立足成都服务二道江,十载网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18980820575

以HADOOP 2.x为背景。

一、库房(存储银两)之HDFS。

为了发家致富,胡雪岩掌柜的开了(阜康钱庄),首先得找个地方放银两,在北京买块地,盖个房子,这就是银库(HDFS),这个银库有个特点,除了北京(节点1)可以盖,在河北(节点2)也能盖,在安徽(节点3)也能盖,而且这3地的银库的银两是可以互通的,储户左宗棠可以在北京存钱,安徽能取。

好处:

1、解决单点故障,北京银库被抢劫。

2、可以低成本扩展硬件的问题,北京地价贵。

3、数据的就近使用,河北也能取钱。

4、高扩展性。业务大,在河南也能盖银库,业务小,河北的银库可以出租出去。

5、适合大数据处理、3个库房可以同时存取银两。只要库房(1w个库房)够多,放个几个亿。GB,TB,PB。

缺点:

1、低延时数据访问,往库房放银两较慢

2、适合存储银锭(大文件),不适合处理碎银两。

3、适合放银两,不适合换银两。

当有了库房,得有个管理库房的人,(阜康钱庄)就开始营业了。

1、库房总管:胡二(namenode):

管理HDFS的名称空间,北京库房叫北库,河北库房叫河北库,安徽库房叫徽库。

管理数据块(block)的映射信息,记录左大人的钱在哪里放在。

配置副本策略。

处理客户端读写请求,接银两的存储请求。

2、分库房负责人:胡北京 胡河北 胡安徽(datanode)

存储实际数据块,放银两

执行数据块的读写操作,具体操作银两的存放。

存储着文件。

hadoop1.0 一个银锭64MB  

hadoop2.0 一个银锭128MB

3、库房总管助手:胡小二(胡二的助手):

辅助胡二(namenode),分担工作量。

定期合并fsimage和fsedits,并推送给namenode,胡小二平时记录存储账目。

在紧急情况小,可辅助恢复namenode,胡小二接替胡二的工作。

4、客户:储户左宗棠 (client)

存钱,上传文件,零存,

取钱

和胡二读取文件的位置信息

和胡北京读取数据

二、下面聊聊存钱过程(HDFS的文件写入)和取钱过程(HDFS的文件读取)

1、左宗棠存钱过程.

左宗棠找胡二,我要存钱。

胡二先判断左宗棠有权限存钱没,然后给左宗棠分配存钱的库房。

左宗棠拿着条(存储信息),去了北京库房,把钱存入北京库房。

左宗棠把存储的信息反馈给胡二。

2、左宗棠取钱过程。

左宗棠要取钱,问胡二钱在哪个库房。

胡二告诉左宗棠钱在胡北京的库房。

左宗棠去胡北京的库房取银两。

如果取的钱太多,需要用车拉多次,左宗棠取一次钱,需要告诉一次胡二。

等取钱结束后,告诉胡二。

“HADOOP HDFS有哪些优点”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联-成都网站建设公司网站,小编将为大家输出更多高质量的实用文章!


标题名称:HADOOPHDFS有哪些优点-创新互联
当前路径:http://cdweb.net/article/pdsdd.html