`

spark (2)spark开发环境搭建

阅读更多

 

(1)初学者对于spark的几个疑问 http://aperise.iteye.com/blog/2302481
(2)spark开发环境搭建 http://aperise.iteye.com/blog/2302535
(3)Spark Standalone集群安装介绍 http://aperise.iteye.com/blog/2305905
(4)spark-shell 读写hdfs 读写redis 读写hbase http://aperise.iteye.com/blog/2324253

 

spark开发环境搭建

  • jdk下载安装
  • Scala下载安装
  • Scala IDE for Eclipse下载安装
  • IntelliJ IDEA for scala下载安装
  • IntelliJ IDEA Ultimate破解版安装
  • 在线安装SCALA插件
  • 离线安装SCALA插件
  • 创建maven scala工程
  • intellij IDEA 常用设置
  • intellij IDEA本地开发无法解析hadoop ha下虚拟的ha-cluster名称

       spark源代码开发语言是Scala,Scala是一个基于JVM的开发语言,所以后期开发最好是选择Scala,因为可以不断的练习你的Scala开发技能,从而更深入的去查看spark源代码,更深层次提高自己能力。

        spark支持的比较好的语言还有java和Python,这里只讲Scala开发环境搭建

 

1.JDK安装

    Oracle官网各种java版本下载地址:http://www.oracle.com/technetwork/java/archive-139210.html 

 

    (1)jdk下载

        jdk1.7下载 http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz


        jdk1.8下载 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html


        jdk版本上选择看自己需求,然后自己去下载。

 

    (2)jdk环境变量配置

        我的jdk1.7所在位置为:D:\Java\jdk1.7.0_55

        设置环境变量JAVA_HOME如下:

        JAVA_HOME=D:\Java\jdk1.7.0_55

        设置环境变量CLASSPATH如下:

        CLASSPATH=.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar

        设置环境变量PATH,这里注意了,不要把PATH全部覆盖了,毕竟这里有windows环境下DOS命令配置,这里要做的是将;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;追加到PATH环境变量之后如下

        PATH=这里是之前已经存在的PATH变量值;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

        测试JDK是否安装成功,命令窗口输入java  -version查看java版本


  

2.Scala安装

    (1)scala下载

        Scala 2.10.6下载http://www.scala-lang.org/download/2.10.6.html



        Scala 2.11.8下载http://www.scala-lang.org/download/2.11.8.html

     (2)Scala环境变量配置

       官网关于Scala环境变量设置介绍地址http://www.scala-lang.org/documentation/getting-started.html

        我的Scala的位置为:D:\scala\scala-2.10.6

        设置环境变量SCALA_HOME如下:

        SCALA_HOME=D:\scala\scala-2.10.6

        设置环境变量PATH,这里注意了,不要把PATH全部覆盖了,毕竟这里有windows环境下DOS命令配置,这里要做的是将;%SCALA_HOME%\bin追加到PATH环境变量之后如下

        PATH=这里是之前已经存在的PATH变量值;%SCALA_HOME%\bin

        设置完毕后,在命令窗口检测是否Scala安装成功


 

 

3.IDE工具安装

    (1)Scala IDE for Eclipse


 

        下载地址:http://scala-ide.org/download/sdk.html


 

     (2)IntelliJ IDEA for free(java scala andorid)

        这里下载的是免费版本的IntelliJ IDEA,如下图


         下载地址为:http://www.jetbrains.com/idea/download/download-thanks.html?code=IIC


 

4.IntelliJ IDEA Ultimate破解版安装

    4.1 下载地址:https://www.jetbrains.com/idea/download/#section=windows


 

    在官网下载最新idea Ultimate版(默认只能免费使用一个月,后面会讲破解),也就是任何功能不受限制的版本。

    

    4.2 下载IntelliJ IDEA破解文件

          百度云链接:http://pan.baidu.com/s/1geJ108z 密码:qdzi


 

    4.3 安装IntelliJ IDEA

         这里我下载的是ideaIU-2016.2.4.exe,双击安装,步骤如下:



 

 

 


     4.4 激活IntelliJ IDEA

           首先解压IntelliJ IDEA 16破解.rar,得到如下文件:


     双击运行文件IntelliJIDEALicenseServer_windows_386.exe


     运行已经安装的IntelliJ IDEA,首次运行会提示只有30天的使用期限,也可以输入购买的lisense,这里说下如何破解:



     点击OK,然后选择Lisence Server并且输入激活服务器地址http://127.0.0.1:1017

     激活成功后出现如下界面:

    激活成功时候,原来的激活服务窗口提示如下:



    

 

5.在线安装SCALA插件

    破解完Intellij IDEA后,首次打开时候,scala插件默认是没有安装的,这时候需要自己手动安装,这里讲解如何在线安装。



 

     如果你已经打开intellij IDEA,可以在如下菜单找到插件安装窗口

     如下步骤继续:

 

 

 

 

 

6.离线安装SCALA插件

    下载的插件版本和地址在这里已经有提示了



 

 

 

 

 

 

 7.创建maven scala工程

    7.1 File->New Project

    7.2 set Project SDK

    7.3 create from achetype

    7.4 set Groupid and antifactid

    7.5 set maven

    7.6 set project name

     7.7 change maven pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.XXX</groupId>
    <artifactId>spark-offline</artifactId>
    <version>1.0-SNAPSHOT</version>
    <packaging>jar</packaging>
    <inceptionYear>2008</inceptionYear>
    <properties>
        <scala.version>2.10.5</scala.version>
        <spark.version>1.6.0</spark.version>
        <hadoop.version>2.7.1</hadoop.version>
        <jedis.version>2.9.0</jedis.version>
        <commons-pool2.version>2.4.2</commons-pool2.version>
        <hbase.version>1.2.1</hbase.version>

        <!-- Plugin的属性 -->
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>

    <repositories>
        <repository>
            <id>scala-tools.org</id>
            <name>Scala-Tools Maven2 Repository</name>
            <url>http://scala-tools.org/repo-releases</url>
        </repository>
    </repositories>

    <pluginRepositories>
        <pluginRepository>
            <id>scala-tools.org</id>
            <name>Scala-Tools Maven2 Repository</name>
            <url>http://scala-tools.org/repo-releases</url>
        </pluginRepository>
    </pluginRepositories>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.4</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.specs</groupId>
            <artifactId>specs</artifactId>
            <version>1.2.5</version>
            <scope>test</scope>
        </dependency>

        <!--spark-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.10</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <!--hadoop-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <!--jedis-->
        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
            <version>${jedis.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-pool2</artifactId>
            <version>${commons-pool2.version}</version>
        </dependency>
        <!--hbase-->
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>${hbase.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-common</artifactId>
            <version>${hbase.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>${hbase.version}</version>
        </dependency>
    </dependencies>

    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
        <testSourceDirectory>src/test/scala</testSourceDirectory>
        <plugins>
            <plugin>
                <groupId>org.scala-tools</groupId>
                <artifactId>maven-scala-plugin</artifactId>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
                <configuration>
                    <scalaVersion>${scala.version}</scalaVersion>
                    <args>
                        <arg>-target:jvm-1.5</arg>
                    </args>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-eclipse-plugin</artifactId>
                <configuration>
                    <downloadSources>true</downloadSources>
                    <buildcommands>
                        <buildcommand>ch.epfl.lamp.sdt.core.scalabuilder</buildcommand>
                    </buildcommands>
                    <additionalProjectnatures>
                        <projectnature>ch.epfl.lamp.sdt.core.scalanature</projectnature>
                    </additionalProjectnatures>
                    <classpathContainers>
                        <classpathContainer>org.eclipse.jdt.launching.JRE_CONTAINER</classpathContainer>
                        <classpathContainer>ch.epfl.lamp.sdt.launching.SCALA_CONTAINER</classpathContainer>
                    </classpathContainers>
                </configuration>
            </plugin>
        </plugins>
    </build>
    <reporting>
        <plugins>
            <plugin>
                <groupId>org.scala-tools</groupId>
                <artifactId>maven-scala-plugin</artifactId>
                <configuration>
                    <scalaVersion>${scala.version}</scalaVersion>
                </configuration>
            </plugin>
        </plugins>
    </reporting>
</project>

     

7.8 use maven plugin install scala project

 

 8.intellij IDEA 常用设置

    8.1 set UI theme



    设置完成后,效果如下:



 

    8.2 set font and colors

    为了不破坏默认的配置,首先我们需要另存一个自己的配置文件,这里取名myself

 

    这里我们将代码字体调大到16

 

     8.3 set code template

/** 
 * Project Name:${PROJECT_NAME} 
 * File Name:${FILE_NAME} 
 * Package Name:${PACKAGE_NAME} 
 * Date:${DATE}${TIME}  
 * User:${USER} 
 * Description: TODO
 * Copyright (c) ${year}, xxx@xxx.xxx All Rights Reserved. 
 */

 

 

    8.4 SET SCALA SDK

 

 

 

 

    8.4 export your own settings and import your own settings anlywhere

    在项目开发过成中,已经设置了很多代码模板、代码编程风格,这些个性化设置可以很方便的导出以便后续使用,这里导出步骤如下:



     在任意地方,你可以导入之前已经保存的个性化设置文件settings.jar



 

    8.5 keymap Refrence

     详见附件“Intellij IDEA default keymap.pdf”

 

9.intellij IDEA本地开发无法解析hadoop ha下虚拟的ha-cluster名称

    9.1.windows本地使用intellij IDEA开发spark

    hadoop安装的是采用HA的方式,现在本地开发环境开发spark时候,无法解析hadoop-ha方式下的cluster名称,原因是本地程序不知道加载的cluster ha对应的namenode名称和IP,解决办法是通过sparkconf追加参数,让spark 本地local模式知道hadoop ha配置,如下

val spark = SparkSession  
  .builder()  
  .master("local[2]")  
  .appName("HtSecApp UserEvent Processor")  
  .getOrCreate()  
  
val sc = spark.sparkContext  
val hadoopConf = sc.hadoopConfiguration  
  
hadoopConf.set("dfs.nameservices", "mycluster")  
hadoopConf.set("dfs.client.failover.proxy.provider.mycluster", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider")  
hadoopConf.set("dfs.ha.namenodes.mycluster", "nn1,nn2")  
hadoopConf.set("dfs.namenode.rpc-address.mycluster.nn1", "192.168.77.38:9000")  
hadoopConf.set("dfs.namenode.rpc-address.mycluster.nn2", "192.168.77.39:9000")  

    解决如下问题:

 

    9.2.服务端spark无法解析hadoop ha解决办法

        首先spark-env.sh里添加参数让spark知道哪里加载hadoop ha配置文件:

xport HADOOP_HOME=/home/hadoop/hadoop-2.7.1
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_USER_CLASSPATH_FIRST=true

       其次采用spark-submit时候可以明确指定参数--files让spark读取额外的hadoop配置

./spark-submit \
    --master spark://hadoop31:7077,hadoop35:7077 \
    --class "com.xxx.offline.FridayReportAnalysis" \
    --files "/home/hadoop/hadoop-2.7.1/etc/hadoop/core-site.xml,/home/hadoop/hadoop-2.7.1/etc/hadoop/hdfs-site.xml" \
    /home/hadoop/sparkoffline/spark-offline-1.0-SNAPSHOT.jar \
    20170303

 

  • 大小: 49.8 KB
  • 大小: 44.3 KB
  • 大小: 36.4 KB
  • 大小: 54.1 KB
  • 大小: 53 KB
  • 大小: 25.5 KB
  • 大小: 35.4 KB
  • 大小: 63.3 KB
  • 大小: 173.6 KB
  • 大小: 77.6 KB
  • 大小: 228.5 KB
  • 大小: 15.2 KB
  • 大小: 92.5 KB
  • 大小: 28.2 KB
  • 大小: 26 KB
  • 大小: 31 KB
  • 大小: 23.9 KB
  • 大小: 54.5 KB
  • 大小: 92.5 KB
  • 大小: 73.7 KB
  • 大小: 64.1 KB
  • 大小: 36 KB
  • 大小: 138.4 KB
  • 大小: 95.2 KB
  • 大小: 137 KB
  • 大小: 74.9 KB
  • 大小: 172 KB
  • 大小: 96.3 KB
  • 大小: 62.8 KB
  • 大小: 63.6 KB
  • 大小: 67.5 KB
  • 大小: 66 KB
  • 大小: 66.5 KB
  • 大小: 31.8 KB
  • 大小: 89.5 KB
  • 大小: 99.8 KB
  • 大小: 161.8 KB
  • 大小: 134.2 KB
  • 大小: 147.2 KB
  • 大小: 36.5 KB
  • 大小: 70.2 KB
  • 大小: 39.8 KB
  • 大小: 118.5 KB
  • 大小: 178.4 KB
  • 大小: 155.8 KB
  • 大小: 177.2 KB
  • 大小: 86.5 KB
  • 大小: 193 KB
  • 大小: 93.2 KB
  • 大小: 65.1 KB
  • 大小: 29.4 KB
  • 大小: 43.8 KB
  • 大小: 126.8 KB
  • 大小: 148.1 KB
  • 大小: 18 KB
  • 大小: 47.5 KB
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics