HUE版本：3.12.0

Ambari：2.6.1.0

HDP：2.6.4.0

前言

友情提示：原文排版精美，可點擊分享鍊接查看。

Hue是一個用于開發和操作hadoop的圖形化界面。例如操作hdfs上的數據，運行MapReduce Job，執行HIVE的sql語句，浏覽HBase數據庫，執行Oozie任務等。

該文主要對Hadoop服務的一些配置通過Ambari進行更改，同時也需要修改${HUE_HOME}/desktop/conf/hue.ini配置文件。

一、修改HUE時區

打開hue.ini配置文件，将 time_zone=America/Los_Angeles 修改為 time_zone=Asia/Shanghai

二、修改secret_key字段值：

打開hue.ini配置文件，修改secret_key值：

# Set this to a random string, the longer the better. # This is used for secure hashing in the session store. secret_key=huepeizhianzhuangqitazujian

三、HUE配置WebHDFS

問題

解決辦法

1. 修改hdfs服務的配置

1.1 etc/hadoop/conf/hdfs-site.xml(也可在頁面上配置)

<property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property>

1.2 在ambari頁面上，打開HDFS的”自定義core-site”，點擊添加屬性，輸入

hadoop.proxyuser.hue.hosts=* hadoop.proxyuser.hue.groups=*

點擊确定後，頁面上就添加了這兩個屬性：

保存上述修改的配置，并重啟HDFS服務，如圖所示：

頁面上的自定義core-site屬性會自動添加到etc/hadoop/conf/core-site.xml文件

2. 修改hue.ini配置文件

2.1 修改fs_defaultfs和webhdfs_url

2.2 檢查default_hdfs_superuser

确定default_hdfs_superuser=hdfs

重啟HUE服務

四、HUE配置YARN

當HUE檢查配置出現如下問題時：

修改hue.ini文件，找到yarn_clusters選項，根據配置項的名稱，主要确定組件所在主機及端口号，如下圖所示：

五、HUE配置ZOOKEEPER

隻需要配置zookeeper的各主機節點 端口号即可。

六、HUE配置HBASE

問題集錦

【問題1】

【問題2】

Api 錯誤：TSocket read 0 bytes

解決方案

1. 安裝HBase

安裝HBase組件時注意，确保RegionServers和Phoenix查詢服務有主機節點，并正常運行。

2. 添加自定義屬性

進入HBase管理界面，配置選項中選擇自定義core-site，添加屬性，如圖所示：

點擊“添加屬性”，填入：

hbase.regionserver.thrift.http=true hbase.thrift.support.proxyuser=true

保存配置，并重啟HBase服務。

3. 确保thrift服務正常運行

HUE讀取HBASE的數據是使用的thrift的方式，默認HBASE的thrift服務沒有開啟，所以需要手動開啟thrift服務。

thrift服務的默認端口為9090，在hbase master所在主機執行如下命令檢查thrift是否被啟動：

netstat -ntlp | grep 9090

如果沒有檢測到9090端口，則需要手動啟動該服務，在hbase master所在主機執行如下命令：

# 開啟thrift服務 /usr/hdp/2.6.4.0-91/hbase/bin/hbase-daemon.sh start thrift # 檢測9090端口 netstat -ntlp | grep 9090

4. 修改hue.ini配置

如下圖所示，根據箭頭所指修改配置。9090為thrift服務的端口配置。

當配置HBase服務高可用時，hbase_clusters配置項的值為(Cluster1|172.16.0.142:9090),(Cluster2|172.16.0.147:9090),(Cluster3|172.16.0.148:9090)

5. 重啟HBase與HUE服務

七、HUE配置HIVE

1. 修改hue.ini配置

修改hue.ini文件的beeswax選項，配置如下圖所示：

2. 修改HIVE服務配置

問題集錦

解決方案

2.1 Allow all partitions to be Dynamic

進入hive管理界面：配置選項中點擊General，将“Allow all partitions to be Dynamic”的值由“strict”改為“nonstrict”，如圖所示：

2.2 Run as end user instead of Hive user

将true改為false，重啟hive。

默認情況下，HiveServer2以提交查詢的用戶執行查詢（true），如果hive.server2.enable.doAs設置為false，查詢将以運行hiveserver2進程的用戶運行。如圖所示：

八、HUE配置OOZIE

1. 配置oozie的hue代理

通過ambari，打開oozie配置面闆，選擇自定義oozie-site，如圖所示：

添加如下配置：

oozie.service.ProxyUserService.proxyuser.hue.hosts=* oozie.service.ProxyUserService.proxyuser.hue.groups=*

2. 修改oozie時區

将oozie時區改為東八區

在自定義oozie-site内，添加：

oozie.processing.timezone=GMT 0800

保存oozie配置修改後，重啟oozie服務。

問題

failed to get oozie status

解決辦法

修改oozie url鍊接的值即可，oozie所在的主機 端口号。

記得重啟HUE服務。

九、HUE配置SPARK

1. 修改hue.ini配置文件

hue配置Spark需要安裝spark livy server組件，默認端口為8998；spark sql的配置依賴于hive，配置如圖所示：

還需要配置Spark job history server配置項，該配置項在[[yarn_clusters]]内。

spark_history_server_url=http://172.16.0.147:18080

保存配置修改，重啟HUE服務。

2. 修改Spark服務配置

通過ambari，進入spark管理界面；配置選項中選擇高級livy-conf，将“livy.impersonation.enabled”的值修改為false；将“livy.server.csrf_protection.enabled”的值修改為false。如下圖所示：

保存配置修改，重啟Spark服務。

十、HUE配置NOTEBOOK

按照下圖所示，配置NOTEBOOK。

其中NOTEBOOK支持很多種語言，假如需要删除掉一種語言，那麼可以将該語言注釋掉，比如删除impala，如圖所示：

重啟HUE。

我們可以使用NOTEBOOK内支持的Spark SQL、scala、pySpark來操作使用Spark。

十一、HUE配置mysql數據庫

HUE服務默認使用的是Sqlite數據庫，但是該數據庫當數據量大的時候，容易出現卡死狀态，所以現在我們将用戶名密碼等一些HUE配置數據遷移到Mysql數據庫内，具體做法如下：

1. 配置mysql

show databases; create database hue; CREATE USER 'hue'@'%' IDENTIFIED BY 'hue'; GRANT ALL PRIVILEGES ON *.* TO 'hue'@'%'; CREATE USER 'hue'@'liuyzh1.xdata' IDENTIFIED BY 'hue'; GRANT ALL PRIVILEGES ON *.* TO 'hue'@'liuyzh1.xdata'; FLUSH PRIVILEGES;

2. 配置hue.ini文件

3. 初始化數據庫

3.1 切換到hue安裝目錄

3.2 數據同步

bin/hue syncdb --noinput bin/hue migrate

3.3 啟動HUE服務

啟動HUE服務，訪問ip 8888，用戶名和密碼首次需要注冊。

十二、HUE配置RDMS

HUE可以配置RDMS，在HUE頁面上，可以對RDMS數據庫進行一些sql操作。支持mysql、oralce、postgresql數據庫。當前僅介紹sqlite與mysql數據庫的配置，如下圖所示：

1. 配置sqlite數據庫

如果想在hue頁面上對sqlite數據庫進行sql操作，需要進行如下配置，其中sqlite name配置項為hue安裝目錄下的desktop.db文件的路徑。

2. 配置mysql數據庫

如果想在hue頁面上對mysql數據庫進行sql操作，需要進行如下配置，其中上圖的mysql name配置項可不寫。不寫就代表讀取mysql所有的數據庫。

十三、總結

本文主要講解了HUE如何與Hadoop生态系統的一些組件進行集成使用，主要是修改的各服務的配置文件及HUE服務的hue.ini配置文件。

本文内容支持HUE與HDFS、YARN、HIVE、HBASE、RDMS、OOZIE、SPARK、NOTEBOOK等服務集成使用。

---

--END--

碼字不易，如果您覺得文章寫得不錯，請關注作者~ 您的關注是我寫作的最大動力

友情提示：原文排版精美，可點擊分享鍊接查看。

,

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部