条目

視覺信號保真度

Visual information fidelity

視覺信號保真度（VIF）是一種評估影像品質的方法，為基於自然場景統計和由人類視覺系統提取影像信號的概念的圖像質量評估參數。它由Hamid R Sheikh和Alan Bovik於2006年在德克薩斯大學奧斯汀分校圖像和視頻工程實驗室（LIVE）開發，結果顯示它與人類對影像質量的判斷非常相近。VIF部署在Netflix VMAF的視頻質量監控系統中，該系統控制Netflix傳輸的所有編碼視頻的影像質量。這占美國所有頻寬消耗的35％，並且在全球視頻流量中也不斷增加。

概述

编辑记录文档讨论

阅读详细介绍

概述

三維視覺環境的圖像和視頻都來自於自然場景（natural scene）。自然場景在所有可能的信號空間形成一個微小的子空間，科學家發明了複雜的模型來描述這些統計數據。但是大多數真實世界都會造成這些統計數據的失真，並使圖像或視頻信號不自然。VIF假設測試和參考圖像之間的共享訊息與視覺品質高度相關，並採用自然場景統計（NSS）模型結合失真（通道）模型來量化這種共享訊息。與基於人類視覺系統（HVS）錯誤敏感度和結構測量的先前方法相比，VIF在消息理論中被使用，且不需要任何HVS或其他觀察幾何參數，就能產生完全參考（FR）質量評估（QA）方法；VIF也不需要任何需要優化的常數，就能與現有的QA方法相競爭。

具體來說，參考圖像被建模後通過HVS通道，接著由大腦處理的隨機「自然」源輸出。參考圖像的資訊被量化為HVS頻道的輸入和輸出之間的相互資訊（mutual information），這是大腦可以從HVS輸出中提取的最理想資訊。然後讓相同的參考圖像通過失真通道，並對測量進行量化。將這兩個訊息組合，形成視覺質量與相對圖像信息相關聯的視覺信息保真度。

來源模型(source model)

圖像的的小波係數可用高斯尺度混和(Gaussain Scale Mixture, GSM)建模，以下針對特定子帶進行多尺度多方位分解的模型，其他子帶可以進行相似的模型。設給定子帶中的小波係數為
C
=
{
C
i
¯
:
i
∈
I
}
{\displaystyle {\mathcal {C}}=\{{\bar {\mathit {C_{i}}}}:{\mathit {i}}\in {\mathcal {I}}\}}
，
I
{\displaystyle {\mathcal {I}}}
表示整個子帶和每個子帶的空間索引集合，子帶被分割成M塊不重疊的區域，每塊對應到一個M維的向量
C
i
¯
{\displaystyle {\bar {\mathit {C_{i}}}}}
。
根據GSM模型
C
=
S
⋅
U
=
{
S
i
U
i
¯
:
i
∈
I
}
{\displaystyle {\mathcal {C}}={\mathcal {S}}\cdot {\mathcal {U}}=\{{\mathit {S_{i}}}{\mathit {\bar {U_{i}}}}:{\mathit {i}}\in {\mathcal {I}}\}}
其中
S
i
{\displaystyle {\mathit {S_{i}}}}
是一個正數，
U
i
¯
{\displaystyle {\mathit {\bar {U_{i}}}}}
是一個平均為0且協方差為
C
U
{\displaystyle \mathrm {C_{U}} }
的高斯向量。我們假設這M塊區域彼此獨立，且隨機場
S
{\displaystyle {\mathcal {S}}}
和
U
{\displaystyle {\mathcal {U}}}
相互獨立。

失真模型(distortion model)

我們利用小波域中的信號衰減和加性噪聲來對失真過程進行建模。以數學式表示，如果
D
=
{
D
i
¯
:
i
∈
I
}
{\displaystyle {\mathcal {D}}=\{{\bar {D_{i}}}:i\in {\mathcal {I}}\}}
表示來自失真圖像的特定子帶的隨機場，
G
=
{
g
i
¯
:
i
∈
I
}
{\displaystyle {\mathcal {G}}=\{{\bar {g_{i}}}:i\in {\mathcal {I}}\}}
是一個確定的常量場且
V
=
{
v
i
¯
:
i
∈
I
}
{\displaystyle {\mathcal {V}}=\{{\bar {v_{i}}}:i\in {\mathcal {I}}\}}
，
V
i
¯
{\displaystyle {\bar {V_{i}}}}
是一個平均為0且協方差為
C
V
{\displaystyle \mathrm {C_{V}} }
的高斯向量，其中
C
V
=
σ
v
2
I
{\displaystyle \mathrm {C_{V}} =\sigma _{v}^{2}\mathrm {I} }
，那麼
D
=

来源：視覺信號保真度（CC BY-SA）

结构化信息、用户意见与 AI 提取的关系会分别标注。

在地图中展开

链接 1

衍生作品1

文档讨论

等待第一条评论。

补充到文档

阅读并补充事件档案引用的人物、机构与背景资料。

编辑文档从此条目开始调查评论

编辑记录文档讨论

阅读详细介绍

概述

來源模型(source model)

圖像的的小波係數可用高斯尺度混和(Gaussain Scale Mixture, GSM)建模，以下針對特定子帶進行多尺度多方位分解的模型，其他子帶可以進行相似的模型。設給定子帶中的小波係數為
C
=
{
C
i
¯
:
i
∈
I
}
{\displaystyle {\mathcal {C}}=\{{\bar {\mathit {C_{i}}}}:{\mathit {i}}\in {\mathcal {I}}\}}
，
I
{\displaystyle {\mathcal {I}}}
表示整個子帶和每個子帶的空間索引集合，子帶被分割成M塊不重疊的區域，每塊對應到一個M維的向量
C
i
¯
{\displaystyle {\bar {\mathit {C_{i}}}}}
。
根據GSM模型
C
=
S
⋅
U
=
{
S
i
U
i
¯
:
i
∈
I
}
{\displaystyle {\mathcal {C}}={\mathcal {S}}\cdot {\mathcal {U}}=\{{\mathit {S_{i}}}{\mathit {\bar {U_{i}}}}:{\mathit {i}}\in {\mathcal {I}}\}}
其中
S
i
{\displaystyle {\mathit {S_{i}}}}
是一個正數，
U
i
¯
{\displaystyle {\mathit {\bar {U_{i}}}}}
是一個平均為0且協方差為
C
U
{\displaystyle \mathrm {C_{U}} }
的高斯向量。我們假設這M塊區域彼此獨立，且隨機場
S
{\displaystyle {\mathcal {S}}}
和
U
{\displaystyle {\mathcal {U}}}
相互獨立。

失真模型(distortion model)

我們利用小波域中的信號衰減和加性噪聲來對失真過程進行建模。以數學式表示，如果
D
=
{
D
i
¯
:
i
∈
I
}
{\displaystyle {\mathcal {D}}=\{{\bar {D_{i}}}:i\in {\mathcal {I}}\}}
表示來自失真圖像的特定子帶的隨機場，
G
=
{
g
i
¯
:
i
∈
I
}
{\displaystyle {\mathcal {G}}=\{{\bar {g_{i}}}:i\in {\mathcal {I}}\}}
是一個確定的常量場且
V
=
{
v
i
¯
:
i
∈
I
}
{\displaystyle {\mathcal {V}}=\{{\bar {v_{i}}}:i\in {\mathcal {I}}\}}
，
V
i
¯
{\displaystyle {\bar {V_{i}}}}
是一個平均為0且協方差為
C
V
{\displaystyle \mathrm {C_{V}} }
的高斯向量，其中
C
V
=
σ
v
2
I
{\displaystyle \mathrm {C_{V}} =\sigma _{v}^{2}\mathrm {I} }
，那麼
D
=

来源：視覺信號保真度（CC BY-SA）

结构化信息、用户意见与 AI 提取的关系会分别标注。

概述

概述

來源模型(source model)

失真模型(distortion model)

相关事件档案

在地图中展开

文档讨论

补充到文档

相关事件档案

在地图中展开

概述

來源模型(source model)

失真模型(distortion model)

文档讨论