码界工坊

htykm.cn
人生若只如初见

什么是hadoop?

  所谓Hadoop其实就是Apache开发的分布式系统基础架构,主要解决海量数据存储与计算的问题,是大数据技术中的基石。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理,主要特点如下:

  1、海量数据存储

  HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(High throughput)来访问数据,适合那些有着超大数据集(large data set)的应用程序,它由n台运行着DataNode的机器组成和1台(另外一个standby)运行NameNode进程一起构成。每个DataNode 管理一部分数据,然后NameNode负责管理整个HDFS 集群的信息(存储元数据)。

  2、资源管理,调度和分配

  Apache Hadoop YARN(Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统和调度平台,可为上层应用提供统 一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

  3、并行数据处理

  MapReduce算法要求你可以并行化你的数据处理。MapReduce在变量逐个处理的情况下工作得很好(例如,计数或聚合);但是,当您需要共同处理变量(例如,变量之间有许多相关性)时,此模型不起作用。

  任何基于图形的数据处理(意味着依赖于其他数据的复杂数据网络)都不适合Hadoop的标准方法。话虽如此,相关的Apache Tez框架确实允许使用基于图形的方法来处理数据,而不是更线性的MapReduce工作流程。

  以上就是什么是hadoop?的内容。

未经允许不得转载 » 本文链接:http://htykm.cn/html/22c4299935.html

推荐文章

  • ubuntu进程启动失败原因

    Ubuntu进程启动失败可能有多种原因,以下是一些常见的原因及其解决方法:1. 权限问题检查用户权限:确保你有足够的权限来启动该进程。sudo service start文件权限:检查相关文件和目录的 ...

  • 新手认为什么才算是好域名呢?如何了解域名的特性?

    新手认为什么才算是好域名呢?如何了解域名的特性?至于选择注册多少个字母的域名,现在没有明确的要求,但提醒大家尽量简短。好域名应该容易记住。你知道,相当一部分网民根本不使用书签(书签)。他们只记得自己最 ...

  • 域名注册该如何玩?新手需要知道什么?

    域名注册该如何玩?新手需要知道什么?对于很多刚刚接触域名、建站的站长来说,如何注册域名确实是个难题。那么注册后如何使用域名呢?有多少台阶?这些都是站长需要知道的。域名是建站不可或缺的一部分。下面聚名网 ...

  • 域名价值评估要素有哪些?新手要怎么做?

    域名价值评估要素有哪些?新手要怎么做?一个好的域名可能蕴含着巨大的商业价值。选择恰当的域名,使域名与企业的名称、商标整合在一起,构成一个完美的CI标志。最好将域名注册得简短、形象,易于记忆使用。 一般 ...

  • ubuntu spool备份方法

    在Ubuntu系统中,spool文件夹通常用于存储等待处理的任务队列。以下是几种备份Ubuntu系统中spool文件夹的方法:使用cp命令复制spool文件夹:使用 cp命令可以复制spool文件夹。 ...

  • 二级域名可以解析吗?新手怎么进行二级域名解析?

    二级域名可以解析吗?新手怎么进行二级域名解析?顶级域名之下的域名,在国际顶级域名下,它是指域名注册人的网上名称;在国家顶级域名下,它是表示注册企业类别的符号。下面聚名网就带大家看看二级域名可以解析吗和 ...

  • 对于选择域名有什么经验?新手需要掌握哪些?

    对于选择域名有什么经验?新手需要掌握哪些?现如今已经是互联网的时代,网络上的网站数量与日剧增,那么建设网站肯定就离不开域名,一个好的域名可以推动企业业务的发展;那么新手怎么选择自己的域名?下面聚名网就 ...

  • 域名注册证书重要吗?所谓的域名注册证书怎么用?

    域名注册证书重要吗?所谓的域名注册证书怎么用?域名注册是建站不可或缺的一部分。如果我们选择国内域名注册,我们当然需要一个域名注册证书。只有域名注册才有文件解析绑定URL,URL才能正常工作。想必您对域 ...