信源与信息熵

发布时间 2023-04-11 17:32:29作者: asandstar

信源:发出消息的源,输出以符号形式出现的具体消息

1.符号确定、预先知道,则无信息可言

2.符号出现随机,预先无法确定,则给观察者提供了信息

这些符号的出现在统计上有某些规律→

可用随机变量或随机矢量表示信源,用概率论、随机过程研究信息

离散信源:时间、幅度都是离散分布的离散消息的信源 eg.文字、数字、数据等符号

连续信源:时间、幅度都是离散分布的连续消息(模拟消息)的信源 eg.语音、图像、图形