在CDH上用外部Spark2.2.1安装和配置 CarbonData

在CDH上用外部Spark2.2.1 (hadoop free版本)standalone 模式安装和配置 CarbonData    =====================================================================cdh中外部spark(standalone模式安装)=====================================================================5、把安装包和配置文件拷贝到其他机器--------------------------------------------------------------------------复制hdfs、hive等配置文件到spark的conf目录--------------------------------------------------------------------------spark-env.sh文件最后新增的配置 export SPARK_HOME=/opt/cloudera/parcels/spark2.2.1/lib/spark2export SPARK_DAEMON_CLASSPATH=$SPARK_HOME/jars/*:$SPARK_HOME/carbonlib/*# - 这里的dsd为spark的master主机export SPARK_MASTER_HOST=dsdexport JAVA_HOME=/usr/java/jdk1.8.0_112export HADOOP_CONF_DIR=/etc/hadoop/confexport YARN_CONF_DIR=/etc/hadoop/conf.cloudera.yarn/# Passing a Hadoop configuration directoryexport SPARK_DIST_CLASSPATH=$(hadoop --config /etc/hadoop/conf classpath)--------------------------------------------------------------------------spark-defaults.conf文件最后新增的配置 spark.driver.extraJavaOptions="-Dcarbon.properties.filepath = /opt/cloudera/parcels/spark2.2.1/lib/spark2/conf/carbon.properties"spark.executor.extraJavaOptions="-Dcarbon.properties.filepath = /opt/cloudera/parcels/spark2.2.1/lib/spark2/conf/carbon.properties"--------------------------------------------------------------------------slaves文件最后新增的配置(把所有的spark节点都加入,包括master) dsfdsedsddsbddf--------------------------------------------------------------------------分发安装包:scp -r /opt/cloudera/parcels/spark2.2.1 root@192.168.101.217:/opt/cloudera/parcels/ ===================================================================== =====================================================================     =====================================================================编译需要版本的carbondata=====================================================================参考:http://www.zhuyongpeng.cn/1557.html中文文档http://carbondata.iteblog.com/installation-guide.html --------------------------------------------------------------------------编译carbondata的cdh版本安装包:直接用官网的apache版本,装上去启动不了。到安装目录下去看一下spark的版本 #不要看cloudera manager的包管理上面的版本,那个是错误的  直接在centos上编译、在window上编译不知道有没有区别。2种都试了。都不行,最终发现不是编译的carbondata有问题。是cdh集成的spark有问题。怎么试都不行。最终换成原版的spark2.2.1(hadoop free版本的) 解决maven仓库默认不支持cdh 目前maven仓库中没有支持cdh的相关依赖。cloudera自己建立了一个相关的仓库。要想利用maven添加相关依赖,则必须单独添加cloudera仓库。 一、项目的pom.xml文件里面, 添加仓库配置clouderahttps://repository.cloudera.com/artifactory/cloudera-repos/ 三、在国内使用maven中央仓库一般会有网络问题,所以大部分人会使用aliyun仓库或者其他开源的仓库。所以需要修改setting.xml (以下配置中 *,!cloudera 表示除了aliyun仓库还使用cloudera仓库) nexus-aliyun*,!clouderaNexus aliyunhttp://maven.aliyun.com/nexus/content/groups/public 四、若未设置自动更新maven项目,则需更新maven项目,然后等待下载相关依赖。完成之后便可以使用cdh进行开发啦 --------------------------------------------------------------------------  在centos下编译---------------------------安装thrift-0.9.3,此步骤较为繁琐,需要其他库的支持。没有详细记录。yum install automake bison flex g++ git libboost-all-dev libevent-dev libssl-dev libtool make pkg-config下载thrift-0.9.3http://archive.apache.org/dist/thrift/0.9.3/thrift-0.9.3.tar.gztar -xzvf thrift-0.9.3.tar.gz---------------------------安装mvn tar zxvf apache-maven-3.5.3-bin.tar.gz -C /root/ssss/vim /etc/profile #添加mvn的配置信息export M2_HOME=/root/ssss/apache-maven-3.5.3/ export PATH=$PATH:$M2_HOME/bin source /etc/profilemvn -version--------------------------- mvn -Pwindows -Dmaven.test.skip=true -Pspark-2.2 -Dspark.version=2.2.1 clean package  下载了好几次才完整的下载了所有依赖jar包。http://repo1.maven.org/maven2/org/apache/spark/spark-streaming_2.11/2.2.0/ ==========================================================================================================================================      =====================================================================spark集成carbondata=====================================================================  编译 CarbonData 工程,并且从 carbondata-parent-1.4.0assemblytargetscala-2.11路径获取 apache-carbondata-1.4.0-bin-spark2.2.0.cloudera2-hadoop2.7.2.jar。最后将这个 jar 复制到 $SPARK_HOME/carbonlib 文件夹。注意: 如果 $SPARK_HOME 路径下不存在 carbonlib 文件夹,请事先创建它。压缩 carbonlib 文件夹的内容到tar.gz 文件中,并将这个压缩文件移到 carbonlib 文件夹下面。cd /opt/cloudera/parcels/spark2.2.1/lib/spark2/ tar -zcvf carbonlib.tar.gz carbonlib/ mv carbonlib.tar.gz carbonlib/--------------------------------------------------------------------------  --------------------------------------------------------------------------3.1、到carbondata的源码当中找到carbon.properties配置文件,并拷贝到spark的配置文件目录3.2、将下面的配置添加到 $SPARK_HOME/conf/carbon.properties 文件中:carbon.storelocation=hdfs://nameservice1/ddhome/carbondatacarbon.badRecords.location=hdfs://nameservice1/ddhome/carbondata/badRecords --------------------------------------------------------------------------4、在hdfs中建立上面配置的hdfs://nameservice1/ddhome/carbondata目录。hadoop fs -mkdir -p /ddhome/carbondatahadoop fs -mkdir -p /ddhome/carbondata_badRecordshadoop fs -mkdir -p /ddhome/carbondata_data授予访问目录的权限,否则文件写入不了hadoop fs -chmod -R 777 /ddhome/carbondatahadoop fs -chmod -R 777 /ddhome/carbondata_badRecordshadoop fs -chmod -R 777 /ddhome/carbondata_data ===================================================================== --------------------------------------------------------------------------6、启动:验证安装 启动:standalone集群:有效/opt/cloudera/parcels/spark2.2.1/lib/spark2/sbin/start-all.sh 关闭:standalone集群:有效/opt/cloudera/parcels/spark2.2.1/lib/spark2/sbin/stop-all.sh =====================================================================#spark-submit提交普通任务jar进行测试 成功 --supervise(出现错误重启driver)提交作业的端口是6066(restful接口)/opt/cloudera/parcels/spark2.2.1/lib/spark2/bin/spark-submit --class com.ziyun.DpiGet2Hiveparquet --master spark://192.168.101.218:6066 --deploy-mode cluster --supervise /home/usr/sparkjob/zy-just-spark-1.0.0.jar first --conf spark.network.timeout=300 这种用7077端口也可以提交成功/opt/cloudera/parcels/spark2.2.1/lib/spark2/bin/spark-submit --class com.ziyun.DpiGet2Hiveparquet --master spark://192.168.101.218:7077 --deploy-mode client /root/zy-just-spark-1.0.0.jar first --conf spark.network.timeout=300 =====================================================================目前配置standalone模式的spark是否支持hive(spark任务提示一些错误:需要给sparksession添加一些配置.enableHiveSupport() //开启hive支持.config("spark.sql.warehouse.dir", "/user/hive/warehouse"))hadoop fs -chmod -R 777 /user/hive/warehouse #给配置的目录加入权限/opt/cloudera/parcels/spark2.2.1/lib/spark2/bin/spark-submit --class com.ziyun.MRecKqmj --master spark://192.168.101.217:7077 --deploy-mode client /root/zy-just-spark-1.0.0.jar first --conf spark.network.timeout=300  测试普通任务能否写入hdfs:新spark(standalone) ##按照后面添加了jar之后,可以正常写入的/opt/cloudera/parcels/spark2.2.1/lib/spark2/bin/spark-submit --class com.ziyun.MRecKqmjTest --master spark://192.168.101.217:7077 --deploy-mode client /root/zy-just-spark-1.0.0.jar first --conf spark.network.timeout=300 独立模式提示找不到hive的classes。需要拷贝这2个jar到spark的jars目录下 最后是把cloudera manager上集成的spark2.2.0.cloudera2版本中相关hive和spark的jar复制到新装的spark的jar目录。把mysql的驱动jar也拷贝过去。在hive里面也是有的。后面又提示缺失thriftserver。最终是解压了一个spark自带hadoo2.6(cm版本的hadoop也是基于2.6)版本的jar,把它里面的jar也拷贝到新装的spark的jars目录下。跑普通spark任务就可以了。     

相关内容推荐