02深度学习笔记

发布时间 2023-11-19 16:44:30作者: 酒戴

1.二元分类

一些基本符号含义:

输入一幅以特征向量x表示的图像,预测对应的输出的y(0 or 1)

单个样本(x,y)

n(x)特征向量,y训练结果

m表示训练集样本总数,{(x(1),y(1)),(x(2),y(2))...,((x(m),y(m))}

M=M(train) 训练集

m(test)测试集样本总数

X矩阵 n(x)*m维的矩阵

(Python)X.sharp 得到矩阵形状的命令输出是n(x),m

输出标签Y =[y(1) y(2)...y(m)] (1*m大小的矩阵)

2.逻辑回归

 3逻辑回归损失函数

 

在深度学习中,逻辑回归损失函数通常被称为二元交叉熵损失函数(binary cross-entropy loss function)。对于二分类问题,其数学表达式如下:

L(y, f(x)) = - (y * log(f(x)) + (1 - y) * log(1 - f(x)))

其中,L表示损失函数,y表示真实标签(0或1),f(x)表示模型的预测值。这个损失函数的目标是最小化预测值与真实标签之间的差异,以便训练模型能够更好地进行二元分类任务。

损失函数反映的是参数成本

4.梯度下降

J(w,b)损失函数是凹函数,无论在哪一点初始化,应该达到同一点或大致相同的点。

以初始点开始,网最陡的方向走,最后收敛到全局最优值或接近全局最优值。

梯度下降法会朝着全局最小值的方向移动,让代价函数J逐渐减少

 5.计算图

 从左往右可以计算J