关于ML/DL的一些基本问题的汇总及其解答-part1

机器学习/深度学习（ML/DL）是当前人工智能的核心基础课程和知识点，只有在充分理解了这些核心基础的内容后才能做好更多相关的研究和工程研发，这里收集汇总了之前回答一些基础的相关问题，以备后续查阅。

准备从1、通用的基本问题，2、回归和分类的基本问题，3、Cost Function（objective fuction，loss，error surface），4、Quality metric，5、Neural Network，6、CNN，7，RNN，8，Transformer，9，Reinforcement Learning等等方面进行汇总，后面欠缺的部分后面将要去进一步更新。

这是第一部分的内容。

References

一、通用的基本问题

• 1、机器学习的分类学系统： (2 条消息) 机器学习的分类有哪些？ – 知乎 (zhihu.com)
• 2、什么是范数： (4 条消息) 通俗地讲解什么是范数？ – 知乎 (zhihu.com)
• 3、信息熵、KL散度及交叉熵的相关概念：(4 条消息) kl 散度和交叉熵的区别有哪些？ – 知乎 (zhihu.com)

二、回归和分类的基本问题

• 4、一般线性回归，lasso回归，ridge回归等：(4 条消息) 线性回归模型有哪些？ – 知乎 (zhihu.com)
• 5、分类问题和回归问题的关系： (4 条消息) 回归问题 广义上是不是也是 分类问题？ – 知乎 (zhihu.com)
• 6、sigmoid函数为什么能够代表为真值为1的概率 (4 条消息) 通过逻辑回归的 sigmoid 函数把线性回归转化到 [0, 1] 之间，这个值为什么可以代表概率？ – 知乎 (zhihu.com)
• 7、 二分类和多分类器之间的区别： (4 条消息) 二分类器和多分类器之间有什么区别？是在参数上有区别还是什么呢？ – 知乎 (zhihu.com)
• 8、 SVM算法的基本原理和流程： (4 条消息) 支持向量机（SVM）是什么意思？ – 知乎 (zhihu.com)

三、Cost Function（objective fuction，loss，error surface）

• 9、分类中为什么用交叉熵损失函数: (5 条消息) 分类问题中为什么用交叉熵代替 MSE？ – 知乎 (zhihu.com)
• 10、交叉熵和KL散度之间的关系：(5 条消息) 为什么交叉熵和 KL 散度在作为损失函数时是近似相等的？ – 知乎 (zhihu.com)
• 11、 为什么逻辑回归不用LMS：(5 条消息) 为什么逻辑回归不使用平方损失？ – 知乎 (zhihu.com)
• 12、 如何理解机器学习问题中的正则化： (5 条消息) 如何理解机器学习中的正则化？ – 知乎 (zhihu.com)
• 13、 余弦距离与欧式距离： (5 条消息) 计算机视觉为什么要使用余弦距离而不是欧式距离？ – 知乎 (zhihu.com)

四、Quality metric

• 14、分类模型的性能度量： (5 条消息) Python机器学习如何正确评估分类模型的准确性？ – 知乎 (zhihu.com)
• 15、 混淆矩阵的画法： (5 条消息) 深度学习中如何画一个具有40个类的混淆矩阵？ – 知乎 (zhihu.com)
• 16、AP和mAP以及AUC，precision/recall的相关定义： (5 条消息) 小样本分类任务为什么都使用accuracy作为评价指标？为何都不使用 P R F1？ – 知乎 (zhihu.com)
• 17、 目标检测指标： (5 条消息) 如何解读目标检测指标？ – 知乎 (zhihu.com)

五、Neural Network

• 18、 反向传播算法： Unsupervised Feature Learning and Deep Learning Tutorial (stanford.edu)
• 19、反向传播算法的复合函数的链式规则： (5 条消息) pytorch 如何根据底层梯度计算上层梯度? – 知乎 (zhihu.com)
• 20、神经网络的学习路线： (5 条消息) 入门机器学习可以直接学神经网络吗？ – 知乎 (zhihu.com)
• 21、神经网络为何能拟合任意函数： (6 条消息) 神经网络为什么可以（理论上）拟合任何函数？ – 知乎 (zhihu.com)
• 22、为什么深度学习采用神经网络这种层级网络结构：(7 条消息) 为何深度学习采用神经网络这种层次网络结构？ – 知乎 (zhihu.com)
• 23、神经网络中间层的辅助loss： (7 条消息) 中间层的loss应该是中间层的输出和什么值计算呢？ – 知乎 (zhihu.com)
• 24、多个loss的线性组合进行梯度回传机制： (7 条消息) Pytorch里面多任务Loss是加起来还是分别backward？ – 知乎 (zhihu.com)
• 25、从函数拟合和函数逼近论的视角看神经网络： 什么是深度学习？（从函数逼近论的角度来理解） (ustc.edu.cn)
• 26、如何理解卷积神经网络： 如何理解卷积神经网络（An Intuitive Explanation of Convolutional Neural Networks）_对于每一个网络,我们去掉最终的分类层-CSDN博客
• 27、神经网络功能可视化： Neural Networks, Manifolds, and Topology — colah’s blog
• 28、MLP的手动实现： (7 条消息) 如何自己从零实现一个神经网络? – 知乎 (zhihu.com)