熵模型-为什么使用条件概率优于个元素独立的全分解模型?

发布时间 2023-11-26 21:20:55作者: 浪矢-CL

熵模型

论文<VARIATIONAL IMAGE COMPRESSION
WITH A SCALE HYPERPRIOR 提出使用超先验,来捕获潜在表示的超先验。
追根溯源发现:在香农的通信理论中给出数学解释
image
即,使用联合分布比独立分布更优
image
如果有先验的信息,对后续编码而言其不确定性会更小,从而获得更小的比特流。
image

该博客提供了compressAi中高斯模型的解释