首页

投稿

spark学习：从入门到实战

10.7万

1962

2019-04-22 10:22:36

未经作者授权，禁止转载

spark入门学习精华视频，从搭建环境到应用实例，从RDD到kafka,redis,hive,sql。关注公众号"厂公扯谈"，可以获取学习资料

牛猫AI分享发消息

top2毕业，AI工程师。分享大厂新闻，大A故事，AI应用

1.1Spark简介

22:51

1.02spark安装包下载

12:44

1.03spark集群安装-1

06:03

1.04spark集群安装-2

31:25

1.05spark高可用集群安装-1

08:59

1.06spark高可用集群安装-2

30:53

1.07提交第一个spark程序

28:12

1.08spark shell运行wordcount

35:06

1.09spark任务执行流程简介

21:32

1.10Yarn和spark的对比

09:44

1.11在idea中用scala编写WordCount

31:29

1.12在idea中用java编写WordCount

23:11

1.13在idea中用java lambda编写WordCount

12:03

1.14本地调试spark程序

08:20

2.01RDD简介

39:28

2.02RDD介绍

13:39

2.03创建RDD的方式

19:40

2.04RDD的Transformation-1

17:23

2.05RDD的Transformation-2

25:56

2.06RDD的分区数量

26:56

2.07HDFS读取数据分区的数量

31:05

2.08mapParitionWithIndex

34:35

2.09RDD的aggregate方法

19:50

2.10RDD的AggregateByKey方法

17:53

2.11collect方法执行过程说明

20:44

2.12foldByKey方法

13:04

2.13foreach和foreachPartition

20:35

2.14作业和总结

18:22

3.01RDD复习

30:29

3.02CombineByKey方法

59:41

3.03最受欢迎老师

23:52

3.04每个学科最受欢迎老师TopN-1

44:09

3.05每个学科最受欢迎老师TopN-2（过滤多次提交）

33:16

3.06每个学科最受欢迎老师TopN-3（自定义分区器）

41:12

3.07每个学科最受欢迎老师TopN-1（减少shuffle）

18:02

3.08WordCount执行过程详解-1

49:09

3.09WordCount执行过程详解-2

24:23

4.01回顾

24:27

4.02RDD的cache

31:01

4.03cache部分数据

10:18

4.04cache的补充说明

38:56

4.05RDD的checkpoint机制

27:13

4.06根据ip计算归属地的需求

17:46

4.07单机程序计算ip归属地

27:01

4.08广播变量

25:53

4.09广播变量的使用

06:58

4.10根据IP地址计算归属地实现-1

33:03

4.11根据IP地址计算归属地实现-2

20:23

4.12将数据写入到MySQL中

28:22

5.01内容回顾

15:13

5.02自定义排序-1

23:15

5.03自定义排序-2

16:08

5.04自定义排序-3

05:57

5.05自定义排序-4

08:01

5.06自定义排序

09:36

5.07JDBC RDD

26:31

5.08JDBC RDD使用注意事项

12:00

5.09Spark执行过程简介

12:46

5.10构建DAG

18:06

5.11切分Stage过程-1

25:26

5.12切分Stage过程-2

20:24

5.13切分Stage过程-3

19:24

5.14切分Stage过程-4

32:18

5.15线程池介绍

25:46

5.16序列化复习

15:49

5.17Spark整体执行流程

29:11

5.18SparkCore阶段总结

12:16

6.01复习

11:02

6.02复习

08:40

6.03序列化问题

23:55

6.04函数中引用一个Driver端的一个类的实例

26:04

6.05函数中引用一个Driver端的一个objec1

14:06

6.06在EXecutor中初始化一个object

23:33

6.07一个Executor中多个Task的多线程问题

29:09

6.08spark SQL简介~1

23:23

6.09sparkSQL1.x案例-1~1

46:03

6.10sparkSQL1.x案例-2

15:00

6.11sparkSQL1.x案例-3

09:53

6.12sparkSQL2.x案例-1

14:11

6.13spark2.x的sql方式的wordcount

18:10

6.14spark2.x DataSet方式的api

09:22

7.01复习-01

28:10

7.02复习-02

16:08

7.03spark sql的join

26:32

7.04dataframe的join

02:31

7.06用SQL根据IP地址计算归属地

17:37

7.07使用广播变量实现mapsidejoin

28:35

7.08几何平均数说明

25:16

7.09自定义聚合函数

36:25

7.10Dataset介绍

42:17

7.11spark2.0的特性

24:37

7.12sparkSQL的JDBC数据源

20:17

7.13写入多种文件格式

14:39

7.14json数据源

08:37

7.15csv数据源

03:34

7.16parquet数据源

13:09

8.01sparkSQL补充

32:07

8.02sparkSQL的join-1

32:52

8.03sparkSQL的join-2

17:07

8.04spark整合hive

01:09:09

8.05spark整合hive

32:41

8.6实时计算介绍

18:17

8.7SparkStraming简介

09:22

8.8实时计算架构简介

21:54

8.9kafka相关概念介绍

24:00

8.10kafka0.8集群安装

37:00

8.11kafka的java api

08:55

9.01复习0

16:38

9.02Kafka分区的相关知识

21:08

9.03sparksteaming原理简介

20:04

9.04DSteam简介

10:49

9.05第一个sparkSteaming程序

33:07

9.06sparkSteaming程序整合kafka

21:51

9.07可以更新状态累加的WordCount

32:42

9.08深入理解DStream

43:58

9.09DStream深入理解

12:50

9.10Receiver方式和直连方式介绍

20:43

9.11直连方式实现-1

25:39

9.12直连方式实现-2

25:36

9.13直连方式实现-3

10:20

10.01复习。

41:04

10.02Redis介绍

08:39

10.03Redis基本使用

18:16

10.04Redis连接池

11:58

10.05sparkSteaming程序计算多个指标

27:55

10.06sparkSteaming执行过程说明

35:44

10.07计算省份成交量

36:50

10.08sparkSteaming程序综合测试

09:37

10.09spark-on-yarn-01

34:03

10.10spark-on-yarn-02

23:49

顶部