hadoop简介(Hadoop简介视频)

1、有关大数据的讨论必然会提到。是很常见、很强大的数据处理平台，但要确切了解它是什么以及它的功能，可能有点儿难。

2、这个视频会尽可能简要地介绍，内容取材于一些相关课程，但做了尽可能的简化。第一个问题在大数据或其他颠覆性的商业领域中，人们会直接使用这个词。

3、其实这个名字来自一位开发人员的儿子的毛绒玩具：一只小象，这也是徽标使用小象的原因它有什么功能。最重要的是，不是单一的东西，而是一组用来处理大数据的软件程序。它是由几个不同的模块组成的框架或平台。

4、也许最重要的部分是分布式文件系统，它的作用是获取一段或一组信息，并将它们分布到多台计算机上。可能是几十台、几百台或几万台计算机。因此，在某些情况下，它不是数据库，因为数据库，尤其是关系数据库，通常是一个文件，包含多行多列数据。

5、可以有数百个或数百万个单独的文件，分散在多台计算机上，而这些计算机通过软件相互连接。是的另一个关键部分。它是一个包含映射和汇总的流程，虽然有些反直觉，但原理是这样的。

hadoop简介(Hadoop简介视频)

1、映射是指接受一项任务和相关数据，将数据分割为多个片段，这是因为你要将数据发送到各台计算机，而每台计算机只能处理这么多信息。假设你有100信息而每台计算机的内存是16，你需要将信息分成60或70个片段，然后发送到你从亚马逊网络服务或别处租用的每台计算机。映射流程将数据分割，并发送到各台计算机上进行平行处理。

2、汇总流程会获取你在几十台计算机上执行的分析的结果，然后将输出整合，得到一个结果。现在，初始的程序已经被修补性的取代，它也是资源管理器，有时被称为2，但是可以完成无法完成的许多工作。原来的执行批处理，这意味着你必须一次将所有数据放在一起，一次将数据分割，等待处理完成，然后得到结果。