首页

投稿

2025大数据20天急速入门（从hadoop到spark）

18万

46

2025-03-20 22:42:56

2025年大数据快速入门课程，全程实操，纯干货，不啰嗦，涵盖linux、hadoop、hive、spark、数仓项目等多个干货，努力20天，需要入门随堂笔记和课程中的软件或者资料，请在我的充电板块给我充电，充电后截图私信我，我给你发文档和随堂软件和数据。如果是学生朋友，说明情况，也可以免费获取。制作不易，请多支持，不喜勿喷，感谢感谢。

大数据快速入门

互联网金融数仓

闫哥大数据大模型发消息

人生本就是一场修行，沉浮其中，乐在其中，加油，我的老Baby们！qq-qun:244598461

01-课程介绍

04:22

02-Linux系统的安装

17:14

03-使用远程工具连接linux

12:01

04-linux命令01

21:25

05-linux命令02

21:58

06-vi编辑器

09:48

07-文件查看命令

08:17

08-压缩与解压

19:30

09-时间命令

17:21

10-linux中的常见设置

13:26

11-linux安装jdk

07:10

12-linux中两种安装软件的方式

09:48

13-rpm方式安装mysql8.0

11:57

14-mysql8.0的配置

12:39

01-虚拟机的克隆

16:11

02-scp远程拷贝

07:58

03-linux免密登录

12:39

04-shell入门

12:50

05-shell脚本中的错误演示

15:03

06-shell中的变量和字符串

17:15

07-shell脚本中的传参

16:27

08-shell中的运算符

09:29

09-shell中的流程控制

20:34

10-控制台输入数据

10:18

11-for循环操作

11:16

26-while循环和break

24:33

27-shell中的函数

31:38

28-shell中的数组

12:00

29-脚本文件的相互引入

05:39

30-hadoop的介绍

15:39

31-hdfs的安装与本地化的测试

16:35

32-hdfs的伪分布搭建

18:13

33-测试伪分布功能

17:02

34-hdfs中的shell命令

17:04

35-hds全分布搭建的准备工作

16:32

36-hdfs的全分布的搭建

20:17

37-maven的安装

18:42

38-idea和maven之间的关联

12:05

39-本地maven的基本配置

12:37

40-在windows上安装hadoop

11:17

41-hdfs编程之前的配置

05:53

42-junit单元测试

14:22

43-通过java API操作hdfs

36:34

44-三个非常实用的脚本

23:02

45-mapreduce介绍和项目创建

13:29

46-手搓mapreduce

25:46

47-自定义分区器

10:25

48-hadoop的序列化

18:55

49-复习

07:42

50-手机流量案例-自定义序列化以及mapper

20:42

51-手机流量案例-reduce和排错

16:20

52-片和块的区别

11:32

53-shuffle过程

11:29

54-combiner的介绍和介绍

07:22

55-mapreduce代码改造

12:30

56-yarn的构成

14:12

57-yarn集群的安装

11:36

58-使用yarn运行任务

08:50

59-mapreduce运行的三种方式

17:54

60-将本地代码提交到yarn运行

15:49

61-hive的介绍

19:06

62-hive的本地模式的安装

34:24

63-deepseek的一些介绍

09:52

64-hiveserver2远程服务

19:16

65-metastore服务

12:46

66-hive启停脚本

07:10

67-hive中数据库的操作

11:42

68-hive中表的创建

12:09

69-hive中本地模式

23:28

70-hive表中添加数据的方式

21:48

71-hivesql 流量统计案例

25:16

72-内部表和外部表的区别mp4

13:26

73-内外表演示和hive日志

13:35

74-hive中的array数据类型

21:10

75-hive中的map数据类型

23:44

76-hive中的struct数据类型

09:12

77-hive中的分区表创建

21:18

78-partition的增删改查

13:49

79-hive中分区和数据关联的3种方式

14:16

80-hive中的动态分区

13:55

81-hive中的日期函数01

25:37

82-hive中的日期函数02

28:02

83-hive中的字符串函数

06:21

84-hive中的数学函数

07:02

85-hive中的其他函数

37:36

86-hive中的开窗函数01

29:56

87-hive中的开窗函数02

19:22

88-hive中的序列函数

20:18

81-排名函数

30:43

82-hive的自定义函数

55:29

03-datax的介绍

07:51

84-datax的安装与测试

11:29

85-mysqlreader案例

10:50

86-mysqlwriter案例

09:32

87-hdfsreader案例

07:54

88-hdfswriter案例

09:26

89-mysql2hive

13:40

90-hive2mysql

08:52

91-sqoop的安装与测试

21:25

92-mysql导入hdfs

39:15

93-mysql导入hive

11:39

94-sqoop的数据导出功能

12:02

95-互联网金融项目背景

10:25

96-金融术语和故事

35:25

97-数仓的概念和分层

19:48

98-jrxd数据导入

14:36

99-复习

17:18

100-将mysql数据批量导入hive

24:38

101-范式建模和维度建模理论

18:02

102-日期维度表数据生成

20:43

103-渠道维度表设计

11:55

104-客户经理和用户维度表导入

10:55

105-用户注册dwd层

31:29

106-用户注册dws以及ads层

29:49

107-信贷申请dwd层数据

32:26

108-信贷申请dws层处理

13:47

109-信贷申请ads层指标统计

02:19

110-信贷审核各层数据统计

32:02

111-提款所需维度表处理

07:53

112-提款dwd层数据处理

27:39

113-提款dwd层错误排查修复

29:50

114-提款ads层指标统计

18:02

115-还款各项指标统计

40:38

116-员工分析指标统计

23:12

117-关于宽表的设计与实现

25:25

118-维度表理论和数据导入

43:00

119-拉链表第一次的数据抽取

15:35

120-拉链表中第二次数据抽取及效果

20:31

121-拉链表中的if判断解析

05:25

122-使用漏斗模型统计注册申请以及审批数量

13:13

123-dolphinscheduler单机版安装

22:13

124-ds中的一些必要设置

12:00

125-创建项目以及连接数据源

13:30

126-通过ds的shell方式抽取mysql数据

35:15

127-通过sqoop将数据导入hive

37:33

128-使用ds进行用户主题的指标编写

42:59

129-使用ds中的datax导出数据到mysql

30:56

130-使用datax将ads层的数据导出mysql

10:47

131-可将jrxd_bi数据直接导入mysql

02:56

132-各种可视化工具介绍

08:33

133-datagear进行可视化展示案例一

19:26

134-datagear进行其他指标统计和最终效果

41:24

134-spark介绍

13:44

135-spark的5种运行模式

04:10

136-linux本地化安装spark

05:41

137-linux中安装python环境

11:07

138-使用spark计算数字的平方

07:23

139-使用spark计算wordcount

14:29

140-pycharm中创建spark项目

20:17

141-pycharm中wordcount代码编写

20:21

142-正则处理以及hdfs数据处理

24:18

143-读取外部传递的数据

10:27

144-4040端口以及输出文件数为2的原因

14:42

145-spark的yarn模式的安装与测试

27:27

146-spark中rdd的介绍

21:59

147-spark中创建分区的两种方式

16:54

148-spark中rdd的分区数如何计算

10:12

149-python代码复习

14:48

150-rdd中常见的转换算子

19:23

151-rdd中常见的触发算子

06:24

152-rdd中其他常见触发算子

26:35

153-rdd中其他常见的转换算子01

23:34

154-rdd中的其他常见转化算子02

34:27

155-kv类型的算子

11:29

156-分区算子的使用

21:46

157-sparksql介绍

14:10

158-sparksql的前两个案例

35:07

159-使用with优化sparksession对象

09:31

160-sparksql案例演示

40:44

161-rdd和dataframe的相互转换(重要)

33:57

162-员工信息统计案例01

19:01

163-员工信息统计案例02

40:12

164-sparksql中各种source操作

48:59

165-sparksql中将数据保存到普通文件

18:31

166-sparksql中将数据保存到数据库中

18:25

167-sparksql中将数据写入hive

10:36

168-sparksql中的udf自定义函数

20:02

169-sparksql中的远程连接以及上线问题

17:55

170-课程总结

04:38

顶部