昨天忘记保存了，痛失笔记
https://blog.csdn.net/zhaohongfei_358/article/details/122797190
标量、向量和张量之间的区别：https://blog.csdn.net/weixin_44010756/article/details/119940429
标量：一个单独的数
向量：一列数，
张量：给予向量和矩阵的推广，标量可视为零阶张量，矢量是一阶张量，矩阵是二阶
向量对向量进行求导得到的是矩阵啦：
https://img2020.cnblogs.com/blog/1990595/202011/1990595-20201126113046947-1748296930.png
Q：
本来觉得这个转置也有点奇怪，但是前面是对角矩阵欸，转不转置都无所谓的
A：
Q：独立同分布(iid)
A:就是比如x1,x2满足独立同分布，那么就有x1和x2互不干扰，而且满足同一分布
https://zhuanlan.zhihu.com/p/52530189
Q：之前一直纳闷为啥采取关于原点对称的激活函数效果更好
A：https://www.bilibili.com/video/BV1u64y1i75a/?p=2&spm_id_from=pageDriver&vd_source=ecc1d6ed857f92e7a208df74b73a7c94
Q：1x1的卷积核有什么作用，和全连接层相比为什么可以减少参数的个数，是如何对每一个像素增加非线性的？
A：1.增加网络深度（增加非线性映射次数）[注]：使用1x1的kernel时，不会改变input的形状，但是在这个convention之后会有激活函数，这不就增加了非线性。
升维/降维 （）[注]：就是后面得到的通道数跟kernel的是一样的，至于为啥通道里的形状变了，是因为reshape啦。
跨通道的信息交互
减少卷积核参数（简化模型）
参考：https://blog.csdn.net/m0_47146037/article/details/127769028
Q：感受野，为啥层数越深，感受野会越大？
A：这个是很好理解的，比如第一层的kernel使用的是3x3，那么第二层里面的一个点就相当于浓缩了这3x3中的某种特征，往下一层如果还是3x3就会叠加感受野。