【deeplearning.ai】吴恩达深度学习课程笔记目录
自2020年11月30日开始学习深度学习，该笔记最后一次更新于2021年2月21日。
### Part 1 深度学习概论
#### 第一课：深度学习概论
在开始深度学习之前，我们首先需要了解其核心概念和背景知识。这部分内容包括介绍深度学习的定义、历史发展以及与传统机器学习的区别等。
### Part 2 神经网络基础
#### 第二课：Logistic Regression 逻辑回归
通过本课程，我们将深入探讨逻辑回归的基本原理及其在分类问题中的应用。这将为后续的学习打下坚实的基础。
#### 第三课：计算图及其导数运算方法
介绍深度学习中常用的计算图技术及导数的计算方法，这对于理解和实现神经网络至关重要。
#### 第四课：Vectorization 向量化
通过向量化技术，我们将提高代码执行效率，并为后续的学习打下基础。
#### 第五课：Broadcasting in Python 广播
广播机制是深度学习中不可或缺的一部分，本课程将详细介绍如何在Python中使用广播进行数据处理。
### Part 3 浅层神经网络
#### 第六课：浅层神经网络的表示及输出
了解浅层神经网络的基本结构和功能，并理解其输出方式。
#### 第七课：浅层神经网络之激活函数
探讨各种常见的激活函数及其作用，包括ReLU、Sigmoid等。
#### 第八课：神经网络反向传播的梯度下降算法
介绍神经网络反向传播算法的具体步骤及梯度下降方法。
#### 第九课：随机初始化参数及参数VS超参数
讨论参数初始化的重要性以及超参数在深度学习中的角色和影响。
### Part 4 深层神经网络
#### 第十课：深层神经网络的表示及前向传播
深入探讨深层神经网络的基本结构及其前向传播过程。
#### 第十一课：核对矩阵的维度（确定矩阵维度的精髓）
通过本课程，我们将学习如何正确地计算和确认矩阵维度。
#### 第十二课：为什么用深层神经网络而非浅层？
解释在哪些情况下应该使用深层神经网络而避免使用浅层神经网络。
#### 第十三课：搭建深层神经网络块及前向反向传播过程
介绍如何构建深度神经网络的基本单元，并理解其前向和反向传播流程。
### Part 5 改善深层神经网络：超参数调试、正则化以及优化
#### 第十四课：数据集及偏差方差
了解如何选择和调整数据集以应对模型的过拟合或欠拟合问题。
#### 第十五课：深度学习框架和TensorFlow
介绍深度学习框架及其在TensorFlow中的应用，为后续的学习打下基础。
#### 第十六课：正则化（L2 dropout 数据扩增 Earlystopping）
讨论如何通过正则化方法来减少模型的复杂度，并增强泛化能力。
#### 第十七课：归一化输入
介绍如何归一化输入数据以改善模型的训练效果和稳定性。
#### 第十八课：梯度消失/爆炸、初始化权重及梯度检验
探讨梯度消失和爆炸问题以及权重的初始化策略，确保神经网络在训练过程中不会出现问题。
#### 第十九课：Mini-batch梯度下降法和指数加权平均
介绍Mini-batch梯度下降法及其与指数加权平均的区别，并讨论它们在实际应用中的优缺点。
#### 第二十课：Momentum动量梯度下降及RSMprop Adam优化算法
探讨动量梯度下降、随机梯度下降（RSMprop）、Adam等优化方法的原理和使用，以提高模型训练效率。
#### 第二十一课：学习率衰减和局部最优问题
讨论如何通过学习率衰减来解决过拟合的问题，并理解局部最优的概念及其应对策略。
#### 第二十二课：超参数调试处理
详细介绍超参数调试的方法和步骤，确保在深度学习的优化过程中取得最佳性能。
#### 第二十三课：Batch Norm归一化
介绍Batch Normalization技术在神经网络中的应用，提高模型的训练效率和稳定性。
#### 第二十四课：Softmax回归
通过本课程，我们将学习如何使用softmax回归来解决分类问题，并实现手势图像识别。
### Part 6 结构化机器学习项目
#### 第二十五课：结构化机器学习项目之机器学习策略1
介绍如何在深度学习中应用机器学习策略，为后续的学习提供实际案例和指导。
#### 第二十六课：结构化机器学习项目之机器学习策略2
继续深入探讨机器学习策略的使用方法，并通过具体项目进行实战演练。
#### 第二十七课：迁移学习和多任务学习
讨论如何利用迁移学习提高模型在新任务中的性能，以及多任务学习的概念及其应用。
#### 第二十八课：端到端的深度学习
介绍如何将传统机器学习与深度学习相结合，实现端到端的解决方案。
### Part 7 卷积神经网络
#### 第二十九课：卷积神经网络之卷积运算和边缘检测
通过本课程，我们将深入探讨卷积神经网络的基本原理及其在图像处理中的应用。
#### 第三十课：CNN的Padding及卷积步长Stride
介绍如何使用卷积操作处理输入数据，并讨论 Padding 和 stride 的作用。
#### 第三十一课：三维卷积及卷积神经网络
进一步介绍三维卷积的概念及其在深度学习中的应用。
#### 第三十二课：CNN的Pooling池化层
探讨如何通过池化层来降低模型复杂度并减少过拟合的风险。
#### 第三十三课：卷积神经网络识别手写数字的工作原理
详细描述卷积神经网络识别手写数字的过程，并解释其中的关键技术。
#### 第三十四课：经典卷积神经网络：LeNet-5 AlexNet VGG-16
介绍几个经典的卷积神经网络模型及其在实际应用中的表现。
#### 第三十五课：残差神经网络ResNet
探讨如何通过残差结构来提高深度神经网络的训练效率和性能。
#### 第三十六课：1x1卷积（网络中的网络）及谷歌Inception网络
介绍如何使用1x1卷积层，以及谷歌 Inception 网络在图像分类任务中的应用。
#### 第三十七课：迁移学习和数据扩增
讨论如何利用迁移学习技术提高模型在新任务上的性能，并通过数据扩增来增强训练集的多样性。
#### 第三十八课：目标检测及YOLO算法
介绍目标检测的基本原理及其常用的算法，如YOLO（You Only Look Once）等。
### 总结
到目前为止，我在深度学习方面的学习已经涵盖了从基本概念到高级应用的各个领域。我已经掌握了各种神经网络结构、优化方法以及数据处理技术。在实际项目中，我将尝试使用这些知识解决具体问题，并通过不断实践来提升理解和应用能力。未来，我将继续深入学习和探索深度学习这一领域的前沿知识。
感谢吴恩达老师的指导和支持，以及自己的努力和坚持。我相信，在未来的工作中，我会更加熟练地运用和理解深度学习技术，为实现我的目标而不懈努力。