HDFS存储架构和YARN HDFS

HDFS是hadoop的存储单元。在分布式环境中将数据存储为块，遵循主从拓扑。

创新互联网站建设公司，提供成都网站建设、成都做网站，网页设计，建网站，PHP网站建设等专业做网站服务;可快速的进行网站开发网页制作和功能扩展；专业做搜索引擎喜爱的网站，是专业的做网站团队，希望更多企业前来合作!NameNode

分布式环境的主节点，维护存储在HDFS中的数据块的元数据信息。

DateNode

从节点，负责在HDFS中存储数据。NameNode管理所有的DataNode

YARN

Hadoop中的处理框架，管理资源，并为进程提供运行环境

ResourceManager

接受处理请求，将相应的请求传递给相应的NodeManager，在那里执行实际的处理，根据应用程序分配资源

NodeManager

安装在每个DataNode上，负责在每个DataNode上执行任务。

存储架构

NameNode内部以元数据的形式，维护两个文件：FsImage镜像文件和EditLog日志文件。

FsImage镜像文件用于存储整个文件系统命名空间的信息，就是在NameNode启动时对整个文件系统的快照

EditLog日志文件用于持久化记录系统元数据发生的变化，存放了客户端最近一段时间的操作日志

NameNode启动时，FsImage镜像文件会被加载到内存，执行edit文件中的各项操作，使内存中的元数据和实际的数据同步。随着edit的增大，就需要在一定时间点和fsImage进行合并。

你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧

当前文章：HDFS存储架构和YARN-创新互联
转载来于：http://cdweb.net/article/ioshd.html