一、Hadoop的核心架构总览摘要：Hadoop由HDFS、YARN、MapReduce三大组件构成：HDFS实现分布式存储，通过主从架构管理海量数据块并保障可靠性；YARN负责资源调度，支持多框架共存；MapReduce基于“分而治之”模型，通过Map与Reduce阶段完成并行计算。三者协同工作，实现从数据存储、资源分配到计算处理的全流程自动化，支撑大规模数据处理需求。Hadoop是一个分布式系统基础框架 / 平台 / 生态系统。Hadoop的三大组件各司其职，协同工作：HDFS：负责存储，解决海量数据的存放问题。它是一个分布式文件系统，将大文件切分成数据块并冗余存储在多台机器上。就是一个特别大的文件，不会整整齐齐地只放在一台机器上，而是被拆成很多固定大小的小块；每个小块还会复制好几份，分散放到集群里的不同机器上。用户访问时仍然把它当成一个完整文件。MapReduce：负责计算。它是一个分布式计算编程模型，运行在YARN之上，用于对HDFS中的数据进行并行处理。YARN：负责资源管理与调度。它像一个集群的“操作系统”，管理整个集群的CPU和内存等资源，并分配给不同的应用程度使用。二、HDFS：分布式存储的基石HDFS采用主从架构，专门为存储超大文件而设计。核心组件NameNode(NN):主节点，是HDFS的“大脑”。它负责管理文件系统的命名空间，即文件目录数结构，并记录每个文件被切分成立哪些数据块(Block)，以
