博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hive-site.xml配置文件参数解释.docx
阅读量:6804 次
发布时间:2019-06-26

本文共 2673 字,大约阅读时间需要 8 分钟。

  hot3.png

hive-site.xml

%hive-1.1.0%/conf/hive-default.xml.template文件复制得到。

hive-site.xml文件中配置Hive默认的数据文件存放目录。须提前创建。这里的配置会覆盖hive-default.xml中的配置。

1)       hive.exec.scratchdir

46行:

<property>

    <name>hive.exec.scratchdir</name>  <!--   指定HDFShive数据临时文件存放目录。启动hiveHDFS即自动创建 -->

    <value>/hive-1.1.0/scratchdir/tmp</value> <!-- HDFS路径,可hadoop fs -ls / 查看。默认:/tmp/hive -->

    <description>HDFS   root scratch dir for Hive jobs which gets created with write all (733)   permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/&lt;username&gt;   is created, with ${hive.scratch.dir.permission}.</description>

</property> 

 

2hive.metastore.warehouse.dir

334行:

<property>

    <name>hive.metastore.warehouse.dir</name>  <!--   指定HDFShive数据存放目录。HDFS自动创建 --> 

    <value>/hive-1.1.0/warehousedir/home</value>  <!--   HDFS路径。默认:/user/hive/warehouse --> 

</property> 

 

3javax.jdo.option.ConnectionURL

Derby

385行,指定derby数据库地址(可选):

<property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:derby:/derby_dbs;create=true;logDevice=/derby_logs;</value>

    <!-- derby_dbsderby_logs由程序自动创建,后者保存日志。如果按照默认,数据库和日志目录创建在hive启动的目录。

如果下次启动hive不是在相同的目录,可能会报错找不到数据库。

不管从哪个目录启动hive,都会在其中创建一个Derby.log文件。不知道如何改变这个情况。删除之不影响下次启动。

默认 jdbc:derby:;databaseName=metastore_db;create=true --> 

</property> 

Mysql

<property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>

    <description>JDBC connect string   for a JDBC metastore</description>

  </property>

4system:java.io.tmpdir

关于下面的4个属性,可以在第50行之前,创建:

<property>

  <name>system:java.io.tmpdir</name>

  <!-- 指定下文可用的${system:java.io.tmpdir}。默认对应 /tmp --> 

  <value>/home/hive-1.1.0</value>

</property> 

 

如果感觉不理想,可以单独配置:

  1)约51

    <property>

        <name>hive.exec.local.scratchdir</name>

        <!-- 指定HiveDDL/DML作业计算结果本地存储目录 --> 

        <value>/home/hive-1.1.0/scratchdir</value> <!-- value>${system:java.io.tmpdir}/${system:user.name}</value --> 

    </property> 

  2)约56

    <property>

        <name>hive.downloaded.resources.dir</name>

        <!-- 用于向远程文件系统添加资源的本地临时目录  --> 

        <value>/home/hive-1.1.0/resourcesdir/${hive.session.id}_resources</value>

        <!-- value>${system:java.io.tmpdir}/${hive.session.id}_resources</value -->

  </property> 

  3)约1181

  <property>

        <name>hive.querylog.location</name>

        <!-- 指定hive查询日志本地存放目录  --> 

        <value>/home/hive-1.1.0/query_logs</value> <!-- value>${system:java.io.tmpdir}/${system:user.name}</value --> 

  </property>  

  4)约2720

    <property>

        <name>hive.server2.logging.operation.log.location</name>

        <!-- 开启日志功能后存储日志的本地顶层目录  --> 

        <value>/home/hive-1.1.0/operation_logs</value>

        <!-- value>${system:java.io.tmpdir}/${system:user.name}/operation_logs</value --> 

    </property> 

 

转载于:https://my.oschina.net/HIJAY/blog/503842

你可能感兴趣的文章
rownum与order by
查看>>
认识接口(Interface)设计
查看>>
不想被瓶颈必须了解的计算机基础
查看>>
Varnish的基本应用详解
查看>>
语法:MySQL中INSERT INTO SELECT的使用
查看>>
CentOS yum 源的配置与使用
查看>>
X86汇编指令
查看>>
MySQL中的LIMIT 关键字
查看>>
Apache日志整合脚本
查看>>
Undefined index: submit in的错误处理
查看>>
sed,awk,grep教程
查看>>
VMWaer克隆centos后网络的问题解决
查看>>
JBOSS7 学习 <一> 只能127.0.0.1 访问控制台
查看>>
07-12-Exchange Server 2019-安装-CU1
查看>>
memcache集群服务:memagent配置使用
查看>>
备课好帮手,免费分享 下载
查看>>
mysql批量插入数据脚本
查看>>
MySQL索引类型总结和使用技巧以及注意事项(转)
查看>>
怎么把文件传到虚拟机里
查看>>
Java简单的下载程序
查看>>