版本说明
jdk:1.8
scala:2.11.8
spark:2.3.0
hadoop:2.8.3
环境准备
jdk配置
1、配置JAVA_HOME与Path:
Path
2、验证配置:
scala安装与配置
1、scala下载:
访问官方地址http://m.scala-lang.org/download/2.11.8.html
2、配置Path:
3、验证配置:
Spark安装与配置
1、spark下载:
访问官方地址http://spark.apache.org/downloads.html
选中官方推荐的地址即可下载,其他地址也可用(建议采用迅雷等下载工具下载,速度比较会快很多)
2、解压至D盘;
3、配置Path:
4、通过spark-shell进入Spark的交互式命令行模式:
如上,可以看到对应的spark、scala、java版本,同时也看到了异常信息,该异常信息是由于hadoop导致的,下面来配置hadoop。
Hadoop安装与配置
1、hadoop下载
访问官方http://hadoop.apache.org/releases.html
进入下载页,如下建议地址(同样建议用迅雷等下载工具下载,速度更快)
2、解压至
3、配置HADOOP_HOME&Path:
path:
4、winutils下载:https://github.com/steveloughran/winutils
下载对应版本的bin目录直接替换本地bin目录即可。
5、此时继续spark-shell进入spark命令行交互模式:
此时即不会出现上述的异常提示。
6、访问控制台中的webui如下:
相关资讯
最新热门应用
热币全球交易所官网苹果手机
其它软件38.33MB
下载币咖交易所app官网
其它软件86.26MB
下载马蹄链交易所app官网
其它软件223.89MB
下载dboss交易所app
其它软件23.10M
下载必安交易所官网
其它软件179MB
下载xt交易所安卓版
其它软件104.98 MB
下载bitflyer交易所app
其它软件89.13M
下载hoo交易所安卓版
其它软件34.95 MB
下载抹茶数字资产交易所app官网
其它软件137MB
下载芝麻交易所app手机版苹果版
其它软件223.89MB
下载