碼迷,www.tparu.icu
吉利平特名人堂 > 其他好文 > 詳細

高手世家平特论坛:Spark HA高可用部署

時間:2018-12-04 11:23:35      閱讀:9805      評論:0      收藏:0      [點我收藏+]

吉利平特名人堂 www.tparu.icu 標簽:參數說明   運行   RKE   art   ica   單點故障   文件   參數   搭建   

1.說明:

   Spark Standalone 集群是Master--Slaves架構的集群模式,和大部分的Master--Slaves 結構集群一樣,存在著Master單點故障的問題。Spark提供了兩種解決方案去解決這個單點故障的問題;

方案一:基于文件系統的單點恢復

      主要用于開發或測試環境,spark提供目錄保存spark Application 和worker的注冊信息,并將他們的恢復狀態寫入該目錄中,這時,一旦Master發生故障,就可以通過重新啟動Master進程(sbin/strart--master.sh),恢復已運行的spark Application 和 worker 的注冊信息。(簡單說就是需要自己親自再去啟動master)

方案二:基于zookeeper的 Standby Masters

    主要用于生產模式。其基本原理是通過zookeeper來選舉一個Master,其他的Master處于Standby狀態。將spark集群連接到同一個zookeeper實例并啟動多個Master,利用zookeeper提供的選舉和狀態保存功能,可以使一個Master被選舉成活著的master,而其他Master處于Standby狀態。如果現任Master宕機,另一個Master會通過選舉產生并恢復到舊的Master狀態,然后恢復狀態。整個恢復過程可能要1-2分鐘。

2.基于zookeeper的spark HA 高可用集群部署

    該HA方案使用起來很簡單,首先需要搭建一個zookeeper集群然后啟動zookeeper集群,最后在不同節點上啟動Master。具體配置如下:

   (1)vim spark-env.sh

               注釋掉export SPARK_MASTER_HOST=hdp--node--01

    (2)在spark-env.sh添加SPARK_DAEMON_JAVA_OPTS,內容如下:

           export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER  - Dspark.deploy.zookeeper.url=hdp-node-01:2181,hdp-node-02:2181,hdp-node-03:2181  -Dspark.deploy.zookeeper.dir=/spark"

             參數說明:

                1.spark.deploy.recoveryMode:恢復模式(Master 重新啟動的模式):有三種:(1):zookeeper(2):FileSystem(3):none

                2.spark.deploy.zookeeper.url:zookeeper的server地址

                3.spark.deploy.zookeeper.dir:保存集群元數據信息的文件,目錄。包括Worker,Driver和Application。

             注意:

               在普通模式下啟動spark集群,只需要在主機上面執行start-all.sh就可以了。

                在高可用模式下啟動spark集群,現需要在任意一臺節點上啟動start-all,然后在另外一臺節點上單獨啟動master。命令:start-master.sh

Spark HA高可用部署

標簽:參數說明   運行   RKE   art   ica   單點故障   文件   參數   搭建   

原文地址:https://www.cnblogs.com/chengwentan/p/10062477.html

(0)
(0)
   
舉報
評論 一句話評論(0
0條  
登錄后才能評論!
? 2014 吉利平特名人堂 版權所有 京ICP備13008772號-2
迷上了代碼!
开心彩票注册送50元 可以提现的牛牛棋牌游戏 重庆时时开奖号码找盛通 双色球4胆拖11多少钱 时时彩 彩票双色球网上投注 重庆时时全天计划真假 eos摇骰子稳赚 重庆时时生肖彩三星走势图 二期必出一肖 重庆时时开奖结果龙虎 飞艇计划手机版 j江西时时官网 一分快3开奖计划网 新时时保号法 抢庄牌九技巧规则