windows10下安装hadoop

作为一款开源的分布式系统基础架构，Hadoop凭借其高可靠性、高扩展性、高效性和高容错性的特点，成为大数据处理领域不可或缺的核心工具，不少初次接触大数据的学习者，往往会选择在自己常用的Windows10电脑上搭建Hadoop环境，方便日常学习和代码调试，相较于在Linux服务器或虚拟机中部署，Windows10原生环境下的安装配置步骤更贴近普通用户的操作习惯，能省去不少系统适配和环境切换的麻烦，但也需要注意Windows系统与Hadoop原生设计环境的差异带来的特殊配置要求。

在正式开始安装之前，首先要做好前期准备工作，确保电脑的系统配置满足基本要求。Windows10系统版本建议在1903及以上，这样能更好地兼容后续的依赖组件，内存方面最好不低于8GB，因为Hadoop运行时会占用一定的系统资源，尤其是在启动守护进程和运行测试任务时，充足的内存能避免出现卡顿或启动失败的情况。除此之外，还需要提前准备好几个必备的软件包，首先是JDK，Hadoop是基于Java开发的，所以Java运行环境是必不可少的，建议选择JDK8版本，这个版本与大部分Hadoop版本的兼容性最好，能有效减少版本不匹配带来的问题；然后是Hadoop的安装包，需要注意的是官方提供的Hadoop安装包默认是针对Linux系统的，直接在Windows上运行会出现兼容问题，所以我们需要下载经过Windows适配编译的版本，或者下载对应版本的Windows依赖补丁包，通常这些补丁包中包含了hadoop.dll、winutils.exe等Windows系统下运行Hadoop必需的文件；为了方便后续的配置和操作，还可以提前安装一个好用的文本编辑器，比如Notepad++，用来修改配置文件会比系统自带的记事本方便很多。

准备好所有材料后，第一步要安装并配置JDK环境。先运行JDK的安装程序，按照提示完成安装，安装路径建议选择没有中文和空格的目录，比如D:\Java\jdk1.8.0_301，因为Hadoop对路径中的中文和空格比较敏感，很容易引发莫名其妙的错误。安装完成后需要配置系统环境变量，右键点击“此电脑”选择“属性”，进入高级系统设置，点击环境变量按钮，在系统变量中新建一个名为JAVA_HOME的变量，变量值就是JDK的安装路径，比如刚才的D:\Java\jdk1.8.0_301。接着找到系统变量中的Path变量，点击编辑，在里面添加%JAVA_HOME%\bin和%JAVA_HOME%\jre\bin这两个路径。配置完成后，打开命令提示符窗口，输入java -version命令，如果能正确显示出Java的版本信息，就说明JDK环境配置成功了。

接下来是Hadoop的安装与基础配置。将下载好的Hadoop安装包解压到没有中文和空格的目录下，比如D:\hadoop-3.2.2，这里要注意解压后的目录层级不要太深，也不要放在系统盘的Program Files这类包含空格的目录下。如果下载的是官方原生安装包，还需要把Windows适配补丁包中的文件复制到对应的目录中，一般是将补丁包bin目录下的所有文件替换到Hadoop安装目录的bin文件夹里，同时还要把hadoop.dll文件复制到C:\Windows\System32目录下，这样能解决很多运行时的依赖问题。之后配置Hadoop的环境变量，和配置JAVA_HOME类似，在系统变量中新建HADOOP_HOME变量，变量值为Hadoop的解压路径，比如D:\hadoop-3.2.2，然后在Path变量中添加%HADOOP_HOME%\bin路径。配置完成后打开命令提示符，输入hadoop version命令，如果能显示Hadoop的版本信息，就说明基础环境配置没问题。

完成基础环境配置后，还需要修改Hadoop的核心配置文件，这些文件都存放在Hadoop安装目录下的etc\hadoop文件夹中。第一个要修改的是hadoop-env.cmd文件，用文本编辑器打开它，找到里面的JAVA_HOME配置项，将其修改为自己电脑上JDK的实际安装路径，注意这里要用绝对路径，而且不要用%JAVA_HOME%这种变量形式，避免系统识别出现问题。第二个是core-site.xml文件，需要在configuration标签内添加配置项，设置Hadoop的临时目录和默认文件系统地址，比如指定fs.defaultFS为hdfs://localhost:9000，hadoop.tmp.dir为D:/hadoop-3.2.2/tmp，这里的临时目录要提前手动创建好，防止后续启动报错。第三个是hdfs-site.xml文件，在这里配置HDFS的副本数量和名称节点、数据节点的存储目录，因为是本地单节点环境，副本数设置为1就可以，同时分别指定dfs.namenode.name.dir和dfs.datanode.data.dir的路径，这些目录也都需要提前创建。第四个是mapred-site.xml文件，配置MapReduce的运行框架为yarn，设置mapreduce.framework.name为yarn。最后一个是yarn-site.xml文件，配置yarn的资源管理器地址和节点管理器的辅助服务，分别设置yarn.resourcemanager.hostname为localhost，yarn.nodemanager.aux-services为mapreduce_shuffle。

所有配置文件修改完成后，就可以启动Hadoop集群了。首先需要格式化HDFS的名称节点，打开命令提示符，输入hdfs namenode -format命令，执行过程中如果没有出现错误提示，看到“successfully formatted”之类的信息，就说明格式化成功了。注意这个操作只需要在第一次安装时执行一次，后续不要随意重复执行，否则会清空HDFS中的所有数据。格式化完成后，进入Hadoop安装目录的sbin文件夹，找到start-all.cmd文件，双击运行它，此时会弹出四个命令行窗口，分别对应名称节点、数据节点、资源管理器和节点管理器，等所有窗口都启动完成且