耗时两个月，国内传统企业对Hadoop到底什么态度？(2)

　　Itpub网友help01(信息处事)： Hadoop的优势有以下几方面，高靠得住性：按位存储和处理赏罚数据的本领值得信赖;高扩展性：在可用的计较机集簇间分派数据并完成计较使命，这些集簇可以利便地扩展到数以千计的节点;高效性：Hadoop可以或许在节点之间动态挪移数据，并担保各个节点的动态均衡，因此处理赏罚速度很是快;高容错性：Hadoop可以或许自动生存数据的多个副本，而且可以或许自动将失败的使命从头分派。

 

　　劣势：

 

　　不适合低延迟数据造访;

　　无法高效存储大量小文件;

　　不支持多用户写入及恣意修改文件。

 

　　Spark今朝在海内的大型互联网公司中也获得了起劲推广，百度、阿里巴巴、奇虎360、腾讯以及中国挪移等都有利用，预计Spark未来会融合到Hadoop生态傍边。

 

　　Itpub网友renxiao2003 (传统医疗缔造) ： Hadoop 可以一种靠得住、高效、可伸缩的方法进行数据处理赏罚。Hadoop 是靠得住的，因为它假计划较元素和存储会失败，因此它维护多个事情数据副本，确保可以或许针对失败的节点从头漫衍处理赏罚。Hadoop 是高效的，因为它以并行的方法事情，通过并行处理赏罚加速处理赏罚速度。Hadoop 照旧可伸缩的，可以或许处理赏罚 PB 级数据。另外，Hadoop 依靠于社区处事，因此它的本钱较量低，任何人都可以利用。

 

　　不椒十处：

 

　　全量场景，使命内串行

　　重吞吐量，响应年华完全没油幔证

　　中间成就不行见，不行分享

　　单输入单输出，链式白搭严峻

　　链式MR不能并行

　　粗粒度容错，大概会造成陷阱

　　图计较不友好

　　迭代计较不友好

 

　　Hadoop和Spark办理问题的层面纷歧样：Hadoop和Apache Spark都是大数据框架，可是各自存在的目标不尽沟通。Hadoop实质上更多的是一个漫衍式数据基本办法，它将庞大的数据集分配到由一般计较机构成的集群中的多个节点进行存储，意味着用户不需要购置和维护昂贵的处事器硬件。Spark专门用于对漫衍式存储数据进行处理赏罚，并不会进行漫衍式数据存储。

 

　　Hadoop和Spark可合可分：Hadoop除了提供HDFS之外，还提供了叫做MapReduce的数据处理赏罚成果，因此可以完全抛开Spark进行数据处理赏罚。相反，舆情网，Spark也不长短要凭借在Hadoop身上伎俩保存。如上所述，毕竟它没有提供文件管理系统，所以，它必需和其他漫衍式文件系统集本钱领运作。

 

　　三、Hadoop生态中哪些组件表示较好?哪些是时候裁减了?

 

　　

 

　　总结

 

　　大部门用户承认Hadoop在海内传统企业的应用状况与互联网企业差异，并更倾向于传统企业不如互联网企业应用普及的概念，主要思量到传统企业的数据量不如互联网企业多，且传统企业陈设Hadoop的本钱较高。至于Hadoop与Spark的干系，大大都网友倾向于将Spark与Hadoop集成，以补充Hadoop的劣势，可是对较量而言，Hadoop略占上风，Spark需要在HDFS之上运行，中国舆情网，固然寻到一个替代HDFS的组件并不难，但要想完全还原甚至逾越其成果的组件今朝还不曾浮上在大局限生产验证情形中。

第二十七届CIO班招生
北达软第一期EXIN隐私与数据爱惜基本认证培训
法国布雷斯特商学院MBA班招生
法国布雷斯特商学院硕士班招生

责编：pingxiaoli