首页

投稿

激活函数：为神经网络注入灵魂

3.4万

47

2026-05-21 22:00:00

未经作者授权，禁止转载

激活函数是做什么的，阶跃函数、Sigmoid、Tanh、ReLU、Leaky ReLU、GeLU、Swish...为什么搞出这么多激活函数，这么多该怎么选

谦行AIing 发消息

编程基础、AI 入门、Agent 开发分享。内容被侵权使用过多，不再线上开放使用，课程资料联系 @未定义的字符串

深度学习第一课

23:44

深度学习环境安装

11:14

感知机：深度学习的 Hello World

20:00

深度学习架构：MLP到神经网络的升级，理解反向传播的基础

16:18

反向传播：海量参数的神经网络如何训练

35:47

激活函数：为神经网络注入灵魂

29:04

梯度下降：神经网络是怎么找到一组好参数的

26:40

损失函数：告诉模型错了多少

15:50

识别手写数字——为什么你不该死磕 PyTorch 语法

24:10

小小学习率竟然能这么显著影响模型训练结果

24:16

参数初始化——你和调参高手就差一点点

17:14

归一化：Transformer 用了都说好的训练技巧

16:49

过拟合克星——正则化

19:13

如何训练一个深度学习模型

26:28

CNN 第一课：CV 任务为什么需要 CNN

21:45

CNN 核心：卷积层是如何提取图像特征的

18:32

CNN 3 池化、分类与代码示例

15:07

残差连接： CNN 和 Transformer 的共同捷径

33:26

NLP 概述：从规则穷举到 Transformer与大模型

25:58

Embedding 与word2vec：模型如何理解一个词

28:03

RNN：模型开始理解自然语言序列

30:51

LSTM 与 GRU 改进 RNN 带来长期记忆

25:40

编码器-解码器与 seq2seq

43:48

如何入门深度学习——不要死磕 PyTorch 和数学

16:25

注意力机制：大模型前夜的最后一块拼图

29:18

Transformer 前置概念复习

08:55

Transformer 第一课：整体架构

28:31

Transformer 注意力究竟在做什么

32:34

Muti-Head Attention：多个角度提取特征

10:18

位置编码：让注意力理解Token 在序列中的位置

16:53

手搓 Mini Transformer 前要知道的编码器工作流程

23:43

Transformer 解码器工作流程

30:36

学完Transformer理论，动手写个Mini版英译中

56:13

为什么是 Decoder-Only 的 GPT 赢了

27:22

一小时手搓现代 GPT，学会写古诗

01:04:58

深度学习课程内容串联&学习路径总结

47:07

顶部