課程大綱：

Dive into Deep Learning培訓

1 基礎數學知識

2 多層感知機

3 卷積神經網絡

4 線性神經網絡

5 深度學習計算

6 前沿神經網絡

階段 1 預備知識

1
課程說明
2
數據操作
3
Pandas 數據預處理
4
線性代數
5
微分、偏導數、梯度和鏈式法則
6
自動求梯度
7
概率的簡單介紹
8
查閱文檔

階段 2 線性神經網絡

9
線性回歸介紹
10
線性回歸從零實現
11
線性回歸簡潔實現
12
Fashion-MNIST 圖像分類
13
Softmax 回歸從零實現
14
Softmax 回歸簡潔實現

階段 3 多層感知機

15
多層感知機介紹
16
多層感知機從零實現
17
多層感知機簡潔實現
18
模型選擇，欠擬合和過擬合
19
權重衰減
20
Dropout 機制
21
數值穩定性和模型初始化
22
Kaggle 預測房價實戰項目

階段 4 深度學習計算

23
模型的構造
24
參數訪問、初始化和共享
25
自定義網絡層
26
文件讀取和存儲

階段 5 卷積神經網絡

27
卷積層介紹
28
填充和步幅
29
多通道輸入和輸出卷積層
30
池化層介紹
31
LeNet 卷積神經網絡

階段 6 前沿卷積神經網絡

32
AlexNet 深度卷積神經網絡
33
VGG 使用重復元素網絡
34
NiN 網絡中的網絡
35
GoogleNet 擁有并行連接的網絡
36
批量歸一化
37
ResNet 殘差網絡
38
DenseNet 稠密連接網絡

第一部分：會簡單介紹 PyTorch 的使用和一些學習深度學習基礎的數學知識。

第二部分：會應用之前學到的知識，從零開始實現線性回歸和分類問題，同時也會使用 PyTorch 中的高級 API 進行實現。

第三部分：會接觸深度神經網絡，會實現多層感知機，以及學習什么是過擬合，以及如何進行處理。

第四部分：會介紹如何使用 PyTorch 搭建深度模型，更進一步對 PyTorch 進行說明。

第五部分：介紹卷積網絡的相關知識，包括卷積層的基礎知識，池化層。后會實現 LeNet。

第六部分：關注前沿的卷積網絡，會講到新的卷積網絡殘差網絡 ResNet，稠密連接網絡 DenseNet 的實現。