Hive单机部署过程

旧电脑上面之前搭建过各种单机大数据平台,当时没有一一记录下来过程,导致后续再次搭建的时候还是要跌坑,现在打算把所有平台全部迁到新电脑上,记录一下。废话不多说,直接开始。


Hive 2.x后,抛弃掉MR,继而采用Tez和Spark作为计算引擎,此文采用Hive 1.x ,仍然可以使用MR。

安装并配置JDBC

首先解压安装包,然后进入hive目录下的conf中,新建hive-site.xml 文件,配置为。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://master:3306/metastore?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>password to use against metastore database</description>
</property>
</configuration>

然后配置hive-env.sh,添加

1
2
export HADOOP_HOME=[Hadoop的目录]
export HIVE_CONF_DIR=[hive的conf目录]

然后将mysql的jdbc驱动jar包放入hive目录下的lib中,然后就可以使用hive了


  • 直接使用Hive,进入hive目录然后执行bin/hive

  • 采用beeline jdbc连接hive,先启动hiveserver2,执行bin/hiveserver2,然后执行 beeline -u jdbc:hive2://[hive机器ip地址]:10000