一.开发平台:
•Hadoop是Apache软件基金会旗下的一个开源分布式计算平台
•以分布式文件系统(Hadoop Distributed File Syste, HDFS)和MapReduce为核心的Hadoop为用户提供了系统底层细节透明分布式基础架构
•HDFS的高容错、高伸缩的优点允许用户将Hadoop部署在低廉的硬件上
•MapReduce则允许用户在不了解分布式系统底层细节的情况下开发并行应用程序
二.优势:
•高可靠性 ---因为Hadoop假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理
•高扩展性 --- 在集群间分配任务数据,可方便的扩展数以千计的节点
•高效性 ---在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度
•高容错性 --- 自动保存多份副本数据,并且能够自动将失败的任务重新分配
三.应用及发展趋势:
•Yahoo :通过集群运行Hadoop,以支持广告系统和Web搜索
•FaceBook: (Hive贡献者)借助Hadoop来支持其数据分析和机器学习
•淘宝:国内使用Hadoop最深入的公司,整个淘宝和阿里都是数据驱动的
•华为:云计算平台
•优酷:日志分析、推荐等
•奇虎360:存储软件管家中的软件,日志分析和数据挖掘
•百度: 国内使用Hadoop最早的公司,存储、日志分析、推荐、机器学习等
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。