网站建设资讯

NEWS

网站建设资讯

HBase的工作机制是怎样的-创新互联

本篇内容介绍了“HBase的工作机制是怎样的”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

创新互联主营修文网站建设的网络公司,主营网站建设方案,成都app软件开发,修文h5微信小程序定制开发搭建,修文网站营销推广欢迎修文等地区企业咨询

HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

  与FUJITSU Cliq等商用大数据产品不同,HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop MapReduce来处理HBase中的海量数据;Google Bigtable利用 Chubby作为协同服务,HBase利用Zookeeper作为对应。

一、hbase的特性

  1、hbase数据的终持久化存储是基于hsfs文件系统,存储容量几乎无限,可以随时在线扩容。

  2、hbase的数据增删改查功能模块是分布式系统。

  3、nosql数据库,表结构。

二、HBase的存储

  HBase中的所有数据文件都存储在Hadoop HDFS文件系统上。

  1. HFile, HBase中KeyValue数据的存储格式,HFile是Hadoop的二进制格式文件,实际上StoreFile就是对HFile做了轻量级包装,即StoreFile底层就是HFile。

  2. HLog File,HBase中WAL(Write Ahead Log) 的存储格式,物理上是Hadoop的Sequence File。

三、HBase工作机制

hbase工作机制详细解析:

  1、hbase的整体工作机制是接受客户端发来的请求命令,从hdfs中读取表文件信息返回给客户端;

  2、每个hbase服务器负责表文件中对应region区域,hdfs上表文件的存储也是分为每个region单独存储,每个region中又分为多个列族存储;

  3、hbase集群中有两种角色,regionserver和master,regionserver负责响应客户端请求,读取表文件;

  master负责监控regionserver的状态,以便及时处理掉线的regionserver,保证hbase集群正常运行;当一个region挂掉时,master会及时监控到,这里利用了zookeeper管理regionserver状态信息。

  当一个master挂掉时,不会影响客户端查数据,但如果此时regionserver挂掉,master又不能及时监控到,便会影响数据查询;解决方法就是再设置一台master,一台active状态,一台standby状态用作备用,当active的master挂掉,standby的master将会变为active状态,监控regionserver。

  4、master和zookeeper就组成了高可用。

  大数据开发之路不易,大家且行且珍惜。好程序员为大家的学习保驾护航。

“HBase的工作机制是怎样的”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联-成都网站建设公司网站,小编将为大家输出更多高质量的实用文章!


当前题目:HBase的工作机制是怎样的-创新互联
本文地址:http://cdweb.net/article/phogg.html