首页 > 分享 > Spark大数据分析入门

Spark大数据分析入门

大数据学习第一天

最新推荐文章于 2024-12-18 11:57:12 发布

glory8901 于 2018-12-11 13:12:31 发布

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

1.spark入门

阅读《spark快速大数据分析》这本书,总共11章 ,每天阅读一章左右,大概花两周时间就可以看完了。

在windows和linux上分别部署开发环境和测试、生产环境。

1.1  开发环境

(1)idea开发

在windows上用idea 部署scala应用程序的时候,总是报错。发现是插件的问题,新下载了一个idea ic2018.3,终于可以使用。

在settings-plugins中搜索scala,安装scala就可以啦。

新建项目很简单,create new project 

查看sbt中的hello world教程:

https://www.scala-sbt.org/1.x/docs/zh-cn/index.html

(2)命令行配置

下面是配置sbt的方法

现在看官网上的描述,配置scala只需要下载sbt,就可以了。sbt-1.2.7.msi

一路next安装完成后,需要设置个阿里云的镜像。

进入安装目录 D:Appssbtconf,修改sbtconfig.txt

-Dsbt.repository.config=D:/Apps/sbt/conf/repo.properties

-Dsbt.repository.secure=false

然后添加repo.properties

[repositories]

local

aliyun: http://maven.aliyun.com/nexus/content/groups/public/

typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly

sonatype-oss-releases

maven-central

sonatype-oss-snapshots

安装完成,输入sbt,如果进入命令行就表明时正确的了。

进入命令行后,输入 sbtVersion 查看版本

相关知识

大数据分析的十个工具.pdf
大数据分析工具,主要存在哪些最常见的难题?
花卉大数据分析与市场预测
调研了5款大数据分析工具,终于找到了最好用的那个
大数据分析工具都有哪些
花卉大数据分析与消费市场洞察
大数据分析技术应用于智能农业植物病虫害检测.pptx
大数据分析平台选型全攻略:关注这五点绝不会错过!
京东数据云大数据分析平台.PPT
大数据分析一下《全唐诗》,竟藏着这么多秘密!

网址: Spark大数据分析入门 https://m.huajiangbk.com/newsview1182729.html

所属分类:花卉
上一篇: 让世界爱上中国辣--辣椒王子
下一篇: 烧菜=……