Spark大数据分析入门
大数据学习第一天
最新推荐文章于 2024-12-18 11:57:12 发布

glory8901 于 2018-12-11 13:12:31 发布
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
1.spark入门
阅读《spark快速大数据分析》这本书,总共11章 ,每天阅读一章左右,大概花两周时间就可以看完了。
在windows和linux上分别部署开发环境和测试、生产环境。
1.1 开发环境
(1)idea开发
在windows上用idea 部署scala应用程序的时候,总是报错。发现是插件的问题,新下载了一个idea ic2018.3,终于可以使用。
在settings-plugins中搜索scala,安装scala就可以啦。
新建项目很简单,create new project
查看sbt中的hello world教程:
https://m.scala-sbt.org/1.x/docs/zh-cn/index.html
(2)命令行配置
下面是配置sbt的方法
现在看官网上的描述,配置scala只需要下载sbt,就可以了。sbt-1.2.7.msi
一路next安装完成后,需要设置个阿里云的镜像。
进入安装目录 D:Appssbtconf,修改sbtconfig.txt
-Dsbt.repository.config=D:/Apps/sbt/conf/repo.properties
-Dsbt.repository.secure=false
然后添加repo.properties
[repositories]
local
aliyun: http://maven.aliyun.com/nexus/content/groups/public/
typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
sonatype-oss-releases
maven-central
sonatype-oss-snapshots
安装完成,输入sbt,如果进入命令行就表明时正确的了。
进入命令行后,输入 sbtVersion 查看版本
相关知识
大数据分析的十个工具.pdf
大数据分析工具,主要存在哪些最常见的难题?
花卉大数据分析与市场预测
调研了5款大数据分析工具,终于找到了最好用的那个
大数据分析工具都有哪些
花卉大数据分析与消费市场洞察
大数据分析技术应用于智能农业植物病虫害检测.pptx
大数据分析平台选型全攻略:关注这五点绝不会错过!
京东数据云大数据分析平台.PPT
大数据分析一下《全唐诗》,竟藏着这么多秘密!
原文链接: Spark大数据分析入门 https://m.huajiangbk.com/newsview1182729.html
| 上一篇: 让世界爱上中国辣--辣椒王子 | 下一篇: 烧菜=…… |



