hive-exec-1.2.1.spark2.jar spark2-shell 支持 hive2 hadoop3

spark2.4.8编译支持 hadoop3.3.3 和 hive2

windows版hadoop3.3.0

在windows11平台，基于hadoop3.3.4源码包编译，按需自取

集成了hadoop3.2.4，hive3.1.3, spark3.2.1，kyuubi，ozone等组件，完全基于Apache版本使用Ambari2.7.6进行集成，支持centos系的国产操作系统，例如红旗等。同时支持x86和aarch64两种cpu架构，满足国产化改造的需要。可以在hortonworks的hdp3.1.4版本上直接升级，安装步骤基本一致，其他信息可以访问www.hdp.link网站查看，由于文件太大，下载的文本为百度网盘地址。

练习搭建伪分布Hadoop3.X集群，只用于刚刚开始学习搭建hadoo伪分布式集群的人群，帮助大家快速搭建Hadoop3.X伪分布式集群，快速入门大数据为日后的学习打下坚实的基础

hadoop基础集群搭建

Scala项目中的winutils.exe详解 作用: 模拟linux环境 意义: hadoop基于linux开发和布署运行，故不能将hadoop环境原始运行在windows上。 操作系统环境差异说明 因为模拟linux环境,所以在linux原生环境中就不需要他了 在windows环境中需要配置 如何配置: 配置到运行环境当前目录下的/bin目录下 如果是eclipse开发，就配置到项目根目录下/bin/下即可 在Hadoop1.x 时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。 在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce 只负责运算。 Hadoop3.x在组成上没有变化Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。 （1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。 （2）DataNode(dn)：在本地文件系统存储文件块数据，以及块

hive3.1.2安装及配置，搭建了半个月，因本人能力有限，克服种种困难后安装成功，可以启动，但是功能不太行。

hadoop3.x的Windows依赖， 使用IDEA并创建Maven工程之后，导入该文件中pom文件即可完成配置，同时该资源内置了可以直接使用的pom文件