首页

投稿

P1 视频1.1_1 大数据的概念

2768

0

2024-06-21 15:02:42

未经作者授权，禁止转载

本课程由全国高校知名大数据教师——厦门大学计算机系林子雨副教授主讲，课程以Python作为开发Spark应用程序的编程语言，系统介绍了Spark编程的基础知识。全书共9章，内容包括大数据技术概述、Spark的设计与运行原理、大数据实验环境搭建、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Structured Streaming、Spark MLlib等。

厦大林子雨发消息

厦门大学计算机系副教授，全国高校知名大数据教师，编著12本大数据教材被国内500多所高校采用

P1 视频1.1_1 大数据的概念

06:30

P2 视频1.1_2 大数据关键技术

09:12

P3 视频1.2_1 Hadoop

12:16

P4 视频1.2_2 Spark

12:37

P5 视频1.2_3 Flink

08:49

P6 视频1.2_4 Beam

04:21

P7 视频1.3 编程语言的选择

03:26

P08 视频2.1 Spark概述

07:03

P09 视频2.2 Spark生态系统

08:13

P10 视频2.3_1 Spark基本概念

01:40

P11 视频2.3_2 Spark架构设计

03:03

P12 视频2.3_3 Spark运行基本流程

04:01

P13 视频2.3_4 RDD设计背景、概念和特性

12:06

P14 视频2.3_5 RDD之间的依赖关系

16:01

P15 视频2.3_6 阶段的划分

11:10

P16 视频2.3_7 RDD运行过程

01:01

P17 视频2.4 Spark的部署方式

03:21

P18 视频3.1 Linux系统的安装

14:47

P19 视频3.2_1 Hadoop简介和安装Hadoop前的准备工作

13:54

P20 视频3.2_2 安装Hadoop的三种模式

02:58

P21 视频3.2_3 下载Hadoop安装文件

02:56

P22 视频3.2_4 单机模式配置

02:29

P23 视频3.2_5 伪分布式模式配置

11:38

P24 视频3.2_6 分布式模式配置

33:39

P25 视频3.3 MySQL的安装

08:38

P26 视频3.4 Kafka的安装

16:31

P27 视频3.5 Anaconda的安装和使用方法

07:02

P28 视频4.1 安装Spark（Local模式）

11:36

P29 视频4.2 在pyspark中运行代码

11:31

P30 视频4.3 使用spark-submit命令提交运行程序

04:38

P31 视频4.4 Spark集群环境搭建（Standalone模式）

21:34

P32 视频4.5 在集群上运行Spark应用程序

16:52

P33 视频4.6 Spark on YARN模式

18:25

P34 视频4.7 安装PySpark类库

03:47

P35 视频4.8 开发Spark独立应用程序

08:00

P36 视频4.9 安装和使用PyCharm

14:02

P37 视频5.1_1 RDD创建

14:20

P38 视频5.1_2 转换操作概述

03:45

P39 视频5.1_3 filter

02:37

P40 视频5.1_4 map、mapPartitions和flatMap

16:04

P41 视频5.1_5 groupBy、groupByKey和reduceByKey

06:55

P42 视频5.1_6 sortBy

01:11

P43 视频5.1_7 distinct

00:57

P44 视频5.1_8 union、intersection和subtract

02:20

P45 视频5.1_9 zip

01:20

P46 视频5.1_10 行动操作

05:15

P47 视频5.1_11 惰性机制

02:02

P48 视频5.1_12 持久化

03:53

P49 视频5.1_13 分区的作用

08:07

P50 视频5.1_14 分区的原则

01:10

P51 视频5.1_15 设置分区的个数

01:52

P52 视频5.1_16 自定义分区方法

05:40

P53 视频5.1_17 一个综合实例

03:58

P54 视频5.2_1 键值对RDD的创建

02:44

P55 视频5.2_2 reduceByKey(func)和groupByKey()

06:54

P56 视频5.2_3 keys()和values()

01:51

P57 视频5.2_4 sortByKey()

05:38

P58 视频5.2_5 mapValues(func)和join()

02:54

P59 视频5.2_6 combineByKey()

12:49

P60 视频5.2_7 一个综合实例

05:33

P61 视频5.3_1 本地文件系统的数据读写

07:01

P62 视频5.3_2 分布式文件系统HDFS的数据读写

02:00

P63 视频5.3_3 读写MySQL数据库

08:24

P64 视频5.4_1 求TOP值的第1个实例

06:21

P65 视频5.4_2 求TOP值的第2个实例

11:25

P66 视频5.4_3 文件排序

04:41

P67 视频5.4_4 二次排序

13:01

P68 视频6.1 Spark SQL简介

16:36

P69 视频6.2 结构化数据DataFrame

15:23

P70 视频6.3 DataFrame的创建和保存

13:58

P71 视频6.4_1 DSL语法风格

09:13

P72 视频6.4_2 SQL语法风格

07:23

P73 视频6.5_1 利用反射机制推断RDD模式

05:42

P74 视频6.5_2 使用编程方式定义RDD模式

08:00

P75 视频6.6 使用Spark SQL读写数据库

11:22

P76 视频6.7_1 PySpark和pandas进行整合的可行性

02:47

P77 视频6.7_2 pandas数据结构

06:52

P78 视频6.7_3 实例1：两种DataFrame之间的相互转化

02:46

P79 视频6.7_4 实例2：使用自定义聚合函数

06:47

P80 视频6.8 综合实例

12:04

P81 视频7.1_1 静态数据和流数据

04:46

P82 视频7.1_2 批量计算和实时计算

02:38

P83 视频7.1_3 流计算概念

02:04

P84 视频7.1_4 流计算框架

03:41

P85 视频7.1_5 流计算处理流程

05:05

P86 视频7.2 Spark Streaming

08:59

P87 视频7.3 DStream操作概述

05:00

P88 视频7.4_1 文件流

17:05

P89 视频7.4_2 套接字流

16:30

P90 视频7.4_3 RDD队列流

04:38

P91 视频7.5_1 DStream无状态转换操作

02:55

P92 视频7.5_2 滑动窗口转换操作

13:05

P93 视频7.5_3 updateStateByKey操作

08:29

P94 视频7.6_1 把DStream输出到文本文件中

02:09

P95 视频7.6_2 把DStream写入到关系数据库中

10:45

P96 视频8.1 Structured Streaming概述

08:58

P97 视频8.2 编写Structured Streaming程序的基本步骤

14:20

P98 视频8.3_1 File源

21:21

P99 视频8.3_2 Kafka源

19:13

P100 视频8.3_3 Socket源

01:11

P101 视频8.3_4 Rate源

05:50

P102 视频8.4 输出操作

14:20

P103 视频8.5 容错处理

04:39

P104 视频8.6_1 事件时间

04:10

P105 视频8.6_2 迟到数据

04:01

P106 视频8.6_3 水印

07:06

P107 视频8.6_4 多水印规则

01:32

P108 视频8.6_5 处理迟到数据的实例

08:19

P109 视频8.7 查询的管理和监控

08:58

P110 视频9.1 基于大数据的机器学习

04:52

P111 视频9.2 机器学习库MLlib概述

03:36

P112 视频9.3_1 本地向量

03:49

P113 视频9.3_2 标注点

03:21

P114 视频9.3_3 本地矩阵

03:51

P115 视频9.3_4 数据源

04:16

P116 视频9.4_1 相关性

03:57

P117 视频9.4_2 假设检验

04:16

P118 视频9.4_3 汇总统计

03:27

P119 视频9.5 机器学习流水线

07:46

P120 视频9.6_1 特征提取

08:59

P121 视频9.6_2 特征转换

16:16

P122 视频9.6_3 特征选择

06:46

P123 视频9.6_4 局部敏感哈希

00:47

P124 视频9.7_1 分类算法概述

02:46

P125 视频9.7_2 逻辑斯谛回归分类算法

16:09

P126 视频9.7_3 决策树分类算法

15:11

P127 视频9.8_1 聚类算法概述

01:56

P128 视频9.8_2 K-Means聚类算法

06:22

P129 视频9.8_3 GMM聚类算法

08:05

P130 视频9.9_1 FP-Growth算法

08:29

P131 视频9.9_2 PrefixSpan算法

07:41

P132 视频9.10 协同过滤算法

11:31

P133 视频9.11_1 模型选择工具

03:04

P134 视频9.11_2 用交叉验证选择模型

09:11

顶部