【】本發(fā)明涉及使用基于子塊的時(shí)間運(yùn)動(dòng)矢量預(yù)測(cè)(subblock-based?temporalmotion?vector?prediction，簡(jiǎn)稱sbtmvp)的視頻編解碼系統(tǒng)。特別地，本發(fā)明涉及改進(jìn)sbtmvp編解碼效率的技術(shù)。

背景技術(shù)

0、
背景技術(shù)：

1、背景和相關(guān)技術(shù)

2、多功能視頻編解碼(versatile?video?coding，簡(jiǎn)稱vvc)是由國(guó)際電信聯(lián)盟-電信標(biāo)準(zhǔn)化部門(itu-t)視頻編解碼專家組(video?coding?experts?group，簡(jiǎn)稱vceg)和國(guó)際標(biāo)準(zhǔn)化組織/國(guó)際電工委員會(huì)(iso/iec)運(yùn)動(dòng)圖像專家組(moving?picture?expertsgroup，簡(jiǎn)稱mpeg)共同組成的聯(lián)合視頻專家團(tuán)隊(duì)(joint?video?experts?team，簡(jiǎn)稱jvet)開(kāi)發(fā)的最新國(guó)際視頻編解碼標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)已作為iso標(biāo)準(zhǔn)發(fā)布：iso/iec?23090-3：2021，信息技術(shù)-沉浸式媒體的編碼表示-第3部分：多功能視頻編解碼，發(fā)布于2021年2月。vvc是在其前身高效視頻編解碼(high?efficiency?video?coding，簡(jiǎn)稱hevc)的基礎(chǔ)上開(kāi)發(fā)的，通過(guò)增加更多編解碼工具來(lái)提高編解碼效率，并處理包含三維(3d)視頻信號(hào)的各種類型視頻源。

3、圖1a展示了一個(gè)示例性的適應(yīng)性交錯(cuò)/幀內(nèi)視頻編解碼系統(tǒng)，其中包含環(huán)路處理。對(duì)于幀內(nèi)預(yù)測(cè)，預(yù)測(cè)數(shù)據(jù)是基于當(dāng)前圖片中先前編碼的視頻數(shù)據(jù)派生的。對(duì)于幀間預(yù)測(cè)112，在編碼器端執(zhí)行運(yùn)動(dòng)估計(jì)(motion?estimation，簡(jiǎn)稱me)，并基于me的結(jié)果執(zhí)行運(yùn)動(dòng)補(bǔ)償(motion?compensation，簡(jiǎn)稱mc)，以提供從其他圖片和運(yùn)動(dòng)數(shù)據(jù)派生的預(yù)測(cè)數(shù)據(jù)。開(kāi)關(guān)114選擇幀內(nèi)預(yù)測(cè)110或幀間預(yù)測(cè)112，所選的預(yù)測(cè)數(shù)據(jù)被提供給加法器116以形成預(yù)測(cè)誤差，也稱為殘差。然后，預(yù)測(cè)誤差經(jīng)過(guò)變換(t)118處理，隨后是量化(q)120。變換和量化后的殘差隨后由熵編碼器122編碼，以包含在對(duì)應(yīng)于壓縮視頻數(shù)據(jù)的視頻比特流中。與變換系數(shù)相關(guān)的比特流隨后與側(cè)信息打包，例如與幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)相關(guān)的運(yùn)動(dòng)和編解碼模式，以及與應(yīng)用于底層圖像區(qū)域的環(huán)路濾波器相關(guān)的參數(shù)等其他信息。與幀內(nèi)預(yù)測(cè)110、幀間預(yù)測(cè)112和環(huán)路濾波器130相關(guān)的側(cè)信息，如圖1a所示，被提供給熵編碼器122。當(dāng)使用幀間預(yù)測(cè)模式時(shí)，參考圖片或圖片也必須在編碼器端重建。因此，變換和量化后的殘差經(jīng)過(guò)逆量化(iq)124和逆變換(it)126處理以恢復(fù)殘差。然后，殘差被添加回預(yù)測(cè)數(shù)據(jù)136，在重建(rec)128處重建視頻數(shù)據(jù)。重建的視頻數(shù)據(jù)可能被存儲(chǔ)在參考圖片緩沖區(qū)134中，并用于其他幀的預(yù)測(cè)。

4、如圖1a所示，傳入的視頻數(shù)據(jù)在編碼系統(tǒng)中經(jīng)歷一系列處理。來(lái)自rec?128的重建視頻數(shù)據(jù)可能會(huì)因?yàn)橐幌盗刑幚矶艿礁鞣N損害。因此，環(huán)路濾波器130通常在重建的視頻數(shù)據(jù)存儲(chǔ)到參考圖片緩沖區(qū)134之前應(yīng)用于重建的視頻數(shù)據(jù)，以提高視頻質(zhì)量。例如，可以使用去塊濾波器(deblocking?filter，簡(jiǎn)稱df)、樣本適應(yīng)性偏移(sample?adaptiveoffset，簡(jiǎn)稱sao)和適應(yīng)性環(huán)路濾波器(adaptive?loop?filter，簡(jiǎn)稱alf)。環(huán)路濾波器信息可能需要被納入比特流，以便解碼器能夠正確恢復(fù)所需信息。因此，環(huán)路濾波器信息也被提供給熵編碼器122以納入比特流。在圖1a中，環(huán)路濾波器130被應(yīng)用于重建的視頻，然后重建的樣本被存儲(chǔ)在參考圖片緩沖區(qū)134中。圖1a中的系統(tǒng)旨在說(shuō)明典型視頻編碼器的示例性結(jié)構(gòu)。它可能對(duì)應(yīng)于高效視頻編解碼(hevc)系統(tǒng)、vp8、vp9、h.264或vvc。

5、如圖1b所示的解碼器，可以使用與編碼器相同或部分相同的功能塊，除了變換118和量化120，因?yàn)榻獯a器只需要逆量化124和逆變換126。解碼器使用熵解碼器140代替熵編碼器122，以將視頻比特流解碼為量化變換系數(shù)和所需的編解碼信息(例如，ilpf信息、幀內(nèi)預(yù)測(cè)信息和幀間預(yù)測(cè)信息)。解碼器端的幀內(nèi)預(yù)測(cè)150不需要執(zhí)行模式搜索。相反，解碼器只需要根據(jù)從熵解碼器140接收的幀內(nèi)預(yù)測(cè)信息生成幀內(nèi)預(yù)測(cè)。此外，對(duì)于幀間預(yù)測(cè)，解碼器只需要根據(jù)從熵解碼器140接收的幀間預(yù)測(cè)信息執(zhí)行運(yùn)動(dòng)補(bǔ)償(mc?152)，而無(wú)需進(jìn)行運(yùn)動(dòng)估計(jì)。

6、根據(jù)vvc，輸入圖片被劃分為不重疊的正方形塊區(qū)域，稱為編解碼樹(shù)單元(codingtree?units，簡(jiǎn)稱ctus)，類似于hevc。每個(gè)ctu可以被劃分為一個(gè)或多個(gè)較小尺寸的編解碼單元(scoding?units，簡(jiǎn)稱cus)。結(jié)果產(chǎn)生的cu劃分可以是正方形或矩形。此外，vvc將ctu劃分為預(yù)測(cè)單元(prediction?units，簡(jiǎn)稱pus)，作為應(yīng)用預(yù)測(cè)過(guò)程(例如，幀間預(yù)測(cè)、幀內(nèi)預(yù)測(cè)等)的單元。

7、vvc標(biāo)準(zhǔn)納入了各種新的編解碼工具，以進(jìn)一步提高相對(duì)于hevc標(biāo)準(zhǔn)的編解碼效率。在各種新的編解碼工具中，一些與本發(fā)明相關(guān)的編解碼工具如下所述。

8、vvc中的基于子塊的時(shí)間運(yùn)動(dòng)矢量預(yù)測(cè)(subblock-based?temporal?motionvector?prediction，簡(jiǎn)稱sbtmvp)

9、vvc支持基于子塊的時(shí)間運(yùn)動(dòng)矢量預(yù)測(cè)(sbtmvp)方法。與hevc中的時(shí)間運(yùn)動(dòng)矢量預(yù)測(cè)(temporal?motion?vector?prediction，簡(jiǎn)稱tmvp)類似，sbtmvp使用共位圖片中的運(yùn)動(dòng)場(chǎng)來(lái)改進(jìn)當(dāng)前圖片中cus的運(yùn)動(dòng)矢量預(yù)測(cè)和合并模式。tmvp使用的共位圖片也用于sbtmvp。sbtmvp與tmvp的兩個(gè)主要區(qū)別如下：

10、tmvp在cu級(jí)別預(yù)測(cè)運(yùn)動(dòng)，而sbtmvp在子cu級(jí)別預(yù)測(cè)運(yùn)動(dòng)；

11、tmvp從共位圖片中的共位塊(即，相對(duì)于當(dāng)前cu的底部右側(cè)或中心塊)獲取時(shí)間運(yùn)動(dòng)矢量，而sbtmvp在從共位圖片獲取時(shí)間運(yùn)動(dòng)信息之前應(yīng)用運(yùn)動(dòng)位移，其中運(yùn)動(dòng)位移是從當(dāng)前cu的空間相鄰塊之一的運(yùn)動(dòng)矢量獲得的。

12、sbtmvp過(guò)程如圖2a-b所示。sbtmvp在兩個(gè)步驟中預(yù)測(cè)當(dāng)前cu內(nèi)子cus的運(yùn)動(dòng)矢量。在第一步中，檢查圖2a中當(dāng)前圖片220的當(dāng)前塊222的空間鄰居a1。如果a1有一個(gè)使用共位圖片作為其參考圖片的運(yùn)動(dòng)矢量，則選擇此運(yùn)動(dòng)矢量作為要應(yīng)用的運(yùn)動(dòng)位移。如果沒(méi)有識(shí)別到這樣的運(yùn)動(dòng)，則將運(yùn)動(dòng)位移設(shè)置為(0，0)。

13、在第二步中，如圖2b所示，應(yīng)用在第一步中確定的運(yùn)動(dòng)位移240(即加到當(dāng)前塊的坐標(biāo)上)，以從共位圖像230中獲得子cu級(jí)別的運(yùn)動(dòng)信息(運(yùn)動(dòng)矢量和參考索引)。圖2b中的示例假設(shè)運(yùn)動(dòng)位移設(shè)置為塊a1的運(yùn)動(dòng)，并且可以基于共位參考子塊a1′定位共位圖像230中的共位塊232。然后，對(duì)于當(dāng)前cu?222的每個(gè)子cu，其對(duì)應(yīng)塊(覆蓋中心樣本的最小運(yùn)動(dòng)網(wǎng)格)在共位圖像中的運(yùn)動(dòng)信息被用來(lái)推導(dǎo)共位cu?232的子cu的運(yùn)動(dòng)信息。例如，共位cu?232的左上子塊的運(yùn)動(dòng)信息被用來(lái)推導(dǎo)當(dāng)前cu?222的左上子塊的運(yùn)動(dòng)信息。在確定了共位子cu的運(yùn)動(dòng)信息后，它被轉(zhuǎn)換為當(dāng)前子cu的運(yùn)動(dòng)矢量和參考索引，這與hevc的tmvp過(guò)程類似，其中應(yīng)用了時(shí)間運(yùn)動(dòng)縮放以將時(shí)間運(yùn)動(dòng)矢量的參考圖像與當(dāng)前cu的參考圖像對(duì)齊。在圖2b中，共位圖像230中每個(gè)子塊的箭頭對(duì)應(yīng)于共位子塊的運(yùn)動(dòng)矢量(粗線箭頭表示l0?mv，細(xì)線箭頭表示l1?mv)。對(duì)于當(dāng)前圖像220，每個(gè)子塊中的箭頭對(duì)應(yīng)于當(dāng)前子塊的縮放運(yùn)動(dòng)矢量(粗線箭頭表示l0?mv，細(xì)線箭頭表示l1?mv)。如果沒(méi)有可用的共位子cu的運(yùn)動(dòng)信息(例如，內(nèi)部編碼的子塊)，則使用默認(rèn)運(yùn)動(dòng)。

14、在vvc中，使用了一個(gè)結(jié)合了基于子塊的合并列表，其中包含了sbtmvp候選和仿射合并候選，用于基于子塊的合并模式的信號(hào)傳遞。sbtmvp模式由序列參數(shù)集(sps)標(biāo)志啟用/禁用。如果啟用了sbtmvp模式，則sbtmvp預(yù)測(cè)器作為基于子塊的合并候選列表的第一個(gè)條目被添加，并且其后是仿射合并候選。基于子塊的合并列表的大小在sps中被信號(hào)傳遞，vvc中基于子塊的合并列表的最大允許大小為5。

15、在sbtmvp中使用的子cu大小固定為8x8，并且與仿射合并模式一樣，sbtmvp模式僅適用于寬度和高度均大于或等于8的cu。

16、附加sbtmvp合并候選的編碼處理流程與其他合并候選相同，即對(duì)于p或b切片中的每個(gè)cu，執(zhí)行額外的rd檢查以決定是否使用sbtmvp候選。

17、非相鄰空間候選

18、在vvc標(biāo)準(zhǔn)的開(kāi)發(fā)過(guò)程中，提出了一種稱為非相鄰運(yùn)動(dòng)矢量預(yù)測(cè)(namvp)的編解碼工具，在jvet-l0399(yu?han等，″ce4.4.6：merge/skip模式的改進(jìn)″，聯(lián)合視頻探索小組(jvet)的itu-t?sg?16wp?3和iso/iec?jtc?1/sc?29/wg?11，第12次會(huì)議：中國(guó)澳門，2018年10月3日至12日，文件：jvet-l0399)中提出。根據(jù)namvp技術(shù)，非相鄰空間合并候選被插入到常規(guī)合并候選列表中的tmvp(即時(shí)間mvp)之后。空間合并候選的模式如圖3所示。非相鄰空間候選與當(dāng)前編解碼塊之間的距離基于當(dāng)前編解碼塊的寬度和高度。在圖3中，每個(gè)小編號(hào)框?qū)?yīng)一個(gè)namvp候選，并且候選按照距離(如方框內(nèi)的數(shù)字所示)排序。

19、多通道解碼器側(cè)運(yùn)動(dòng)矢量細(xì)化(mp-dmvr)

20、應(yīng)用了多通道解碼器側(cè)運(yùn)動(dòng)矢量細(xì)化。在第一通道中，對(duì)編解碼塊應(yīng)用雙邊匹配(bm)。在第二通道中，對(duì)編解碼塊內(nèi)的每個(gè)16x16子塊應(yīng)用bm。在第三通道中，通過(guò)應(yīng)用雙向光流(bdof)對(duì)每個(gè)8x8子塊中的mv進(jìn)行細(xì)化。細(xì)化后的mvs被存儲(chǔ)，用于空間和時(shí)間運(yùn)動(dòng)矢量預(yù)測(cè)。

21、第一通道-基于塊的雙邊匹配mv細(xì)化

22、在第一通道中，通過(guò)對(duì)編解碼塊應(yīng)用bm來(lái)推導(dǎo)出一個(gè)細(xì)化的mv。類似于解碼器側(cè)運(yùn)動(dòng)矢量細(xì)化(dmvr)，在雙預(yù)測(cè)操作中，在參考圖像列表l0和l1中的兩個(gè)初始mv(即mv0和mv1)周圍搜索一個(gè)細(xì)化的mv。基于l0和l1中兩個(gè)參考?jí)K之間的最小雙邊匹配成本，推導(dǎo)出細(xì)化的mvs(即mv0_pass1和mv1_pass1)。

23、bm執(zhí)行局部搜索以推導(dǎo)整數(shù)樣本精度intdeltamv。局部搜索應(yīng)用3×3方形搜索模式在水平方向的搜索范圍[-shor，shor]和垂直方向的搜索范圍[-sver，sver]中循環(huán)，其中，shor和sver的值由塊尺寸決定，shor和sver的最大值為8。

24、雙邊匹配成本計(jì)算為：bilcost＝mvdistancecost+sadcost。當(dāng)塊大小cbw*cbh大于64時(shí)，應(yīng)用mrsad成本函數(shù)來(lái)消除參考?jí)K之間失真的dc效應(yīng)。當(dāng)3×3搜索模式中心點(diǎn)的bilcost具有最小成本時(shí)，終止intdeltamv局部搜索。否則，當(dāng)前最小成本搜索點(diǎn)成為3×3搜索模式的新中心點(diǎn)，并繼續(xù)搜索最小成本，直到達(dá)到搜索范圍的末端。

25、進(jìn)一步應(yīng)用現(xiàn)有的分?jǐn)?shù)樣本細(xì)化來(lái)推導(dǎo)最終的deltamv。第一通道后推導(dǎo)出的細(xì)化mvs為：

26、mv0_passl＝mv0+deltamv

27、mv1_pass1＝mv1-deltamv

28、第二通道-基于子塊的雙邊匹配mv細(xì)化

29、在第二通道中，通過(guò)對(duì)16×16網(wǎng)格子塊應(yīng)用bm來(lái)推導(dǎo)出一個(gè)細(xì)化的mv。對(duì)于每個(gè)子塊，在參考圖像列表l0和l1中的兩個(gè)mv(例如mv0_pass1和mv1_pass1)周圍搜索一個(gè)細(xì)化的mv，這些mv是在第一通道期間獲得的。基于l0和l1中兩個(gè)參考子塊之間的最小雙邊匹配成本，推導(dǎo)出細(xì)化的mvs(即mv0_pass2(sbidx2)和mv1pass2(sbidx2))。

30、對(duì)于每個(gè)子塊，bm執(zhí)行全搜索以推導(dǎo)整數(shù)樣本精度intdeltamv。全搜索具有水平方向的搜索范圍[-shor,shor]和垂直方向的搜索范圍[-sver，sver]，其中，shor和sver的值由塊尺寸決定，shor和sver的最大值為8。

31、雙邊匹配成本通過(guò)將成本因子應(yīng)用于兩個(gè)參考子塊之間的satd成本來(lái)計(jì)算，如下所示：bilcost＝satdcost*costfactor。搜索區(qū)域(2*shor+1)*(2*sver+1)被劃分為圖4所示的5個(gè)菱形搜索區(qū)域，其中5個(gè)搜索區(qū)域以5種不同的陰影顯示。每個(gè)搜索區(qū)域都被分配了一個(gè)costfactor，該costfactor由每個(gè)搜索點(diǎn)與起始mv之間的距離(intdeltamv)決定，每個(gè)菱形區(qū)域按從搜索區(qū)域中心開(kāi)始的順序處理。在每個(gè)區(qū)域內(nèi)，搜索點(diǎn)按從左上角開(kāi)始到區(qū)域右下角的光柵掃描順序處理。當(dāng)當(dāng)前搜索區(qū)域內(nèi)的最小bilcost小于等于sbw*sbh的閾值時(shí)，整像素全搜索終止；否則，整像素全搜索繼續(xù)到下一個(gè)搜索區(qū)域，直到檢查所有搜索點(diǎn)。此外，如果迭代中前一個(gè)最小成本與當(dāng)前最小成本之間的差異小于等于塊面積的閾值，則搜索過(guò)程終止。

32、現(xiàn)有的vvc?dmvr分?jǐn)?shù)樣本細(xì)化進(jìn)一步應(yīng)用于推導(dǎo)最終的deltamv(sbidx2)。第二遍的細(xì)化mv然后推導(dǎo)為：

33、mv0_pass2(sbidx2)＝mv0_pass1+deltamv(sbidx2)

34、mv1_pass2(sbidx2)＝mv1_pass1-deltamv(sbidx2)

35、第三遍-基于子塊的雙向光流mv細(xì)化

36、在第三遍中，通過(guò)將bdof應(yīng)用于8×8網(wǎng)格子塊來(lái)推導(dǎo)出細(xì)化的mv。對(duì)于每個(gè)8×8子塊，從第二遍的父子塊的細(xì)化mv開(kāi)始，應(yīng)用bdof細(xì)化來(lái)推導(dǎo)出未經(jīng)剪輯的縮放vx和vy。推導(dǎo)出的biomv(vx，vy)四舍五入到1/16樣本精度，并剪輯在-32和32之間。

37、第三遍的細(xì)化mv(例如mv0_pass3(sbidx3)和mv1_pass3(sbidx3))推導(dǎo)為：

38、mv0_pass3(sbidx3)＝mv0_pass2(sbidx2)+biomv

39、mv1_pass3(sbidx3)＝mv0_pass2(sbidx2)-biomv

40、適應(yīng)性解碼器側(cè)運(yùn)動(dòng)矢量細(xì)化

41、適應(yīng)性解碼器側(cè)運(yùn)動(dòng)矢量細(xì)化方法是多遍dmvr的擴(kuò)展，它包括兩種新的合并模式，只在雙向預(yù)測(cè)的l0或l1方向上細(xì)化mv，用于滿足dmvr條件的合并候選。多遍dmvr過(guò)程應(yīng)用于選定的合并候選以細(xì)化運(yùn)動(dòng)矢量，但是在1st遍(即pu級(jí)別)dmvr中，mvd0或mvd1被設(shè)置為零。

42、新合并模式的合并候選是從空間相鄰編碼塊、tmvps、非相鄰塊、hmvps、成對(duì)候選中推導(dǎo)出的，與常規(guī)合并模式相似。不同之處在于，只有滿足dmvr條件的候選才被添加到候選列表中。兩種新合并模式使用相同的合并候選列表。如果bm候選列表包含繼承的bcw權(quán)重，并且dmvr過(guò)程保持不變，除了如果權(quán)重不相等并且雙向預(yù)測(cè)與bcw權(quán)重加權(quán)，則使用mrsad或mrsatd計(jì)算失真。合并索引如常規(guī)合并模式中編碼。

43、模板匹配用于mv細(xì)化

44、模板匹配(tm)是一種解碼器側(cè)mv推導(dǎo)方法，用于通過(guò)在當(dāng)前圖像510的當(dāng)前cu512的模板(即，頂部514和/或左側(cè)516相鄰塊)和參考圖像520中的塊(即，與模板同等大小，塊524和526)之間找到最接近的匹配來(lái)細(xì)化當(dāng)前cu的運(yùn)動(dòng)信息，如圖5所示。在圖5中，在參考圖像520中的位置528周圍的[-8，+8]-像素搜索范圍522內(nèi)，圍繞當(dāng)前cu?512的初始運(yùn)動(dòng)530搜索更好的mv。jvet-j0021中的模板匹配方法(yi-wen?chen等，″qualcomm和technicolor提出的sdr、hdr和360°視頻編解碼技術(shù)提案描述-低和高復(fù)雜度版本″，聯(lián)合視頻編解碼團(tuán)隊(duì)(jct-vc)itu-t?sg16?wp3和iso/iec?jtc?1/sc?29/wg11，第10次會(huì)議：美國(guó)圣地亞哥，2018年4月10-20日，文件：jvet-j0021)使用以下修改：搜索步長(zhǎng)基于amvr模式確定，tm可以與合并模式中的雙邊匹配過(guò)程級(jí)聯(lián)。

45、在amvp模式中，基于模板匹配誤差確定mvp候選，以選擇達(dá)到當(dāng)前塊模板與參考?jí)K模板之間最小差異的那個(gè)。然后只對(duì)這個(gè)特定的mvp候選進(jìn)行tm以進(jìn)行mv細(xì)化。tm通過(guò)從整像素mvd精度(或?qū)τ?-像素amvr模式的4-像素)開(kāi)始的迭代菱形搜索在[-8，+8]-像素搜索范圍內(nèi)細(xì)化這個(gè)mvp候選。根據(jù)amvr模式的規(guī)定，amvp候選可能會(huì)進(jìn)一步通過(guò)使用交叉搜索與整像素mvd精度(或?qū)τ?-像素amvr模式的4-像素)，然后依次是半像素和四分之一像素的搜索來(lái)細(xì)化。這個(gè)搜索過(guò)程確保了mvp候選在tm過(guò)程后仍然保持amvr模式所指示的相同mv精度。在搜索過(guò)程中，如果迭代中前一個(gè)最小成本與當(dāng)前最小成本之間的差異小于等于塊面積的閾值，則搜索過(guò)程終止。

46、表1-amvr以及具有amvr的合并模式的搜索態(tài)樣

47、

48、在合并模式中，應(yīng)用類似的搜索方法到合并索引指示的合并候選。如表1所示，tm可能一直執(zhí)行到1/8-像素mvd精度，或者根據(jù)合并運(yùn)動(dòng)信息是否使用替代插值濾波器(用于amvr為半像素模式)跳過(guò)超出半像素mvd精度的那些。此外，當(dāng)tm模式啟用時(shí)，模板匹配可以作為一個(gè)獨(dú)立的過(guò)程或者在塊基和子塊基雙邊匹配(bm)方法之間的額外mv細(xì)化過(guò)程，這取決于根據(jù)其啟用條件檢查是否可以啟用bm。

49、適應(yīng)性重排序合并候選與模板匹配(armc-tm)

50、合并候選根據(jù)使用模板匹配(tm)評(píng)估的成本適應(yīng)性重排序。重排序方法可以應(yīng)用于常規(guī)合并模式、模板匹配(tm)合并模式和仿射合并模式(不包括sbtmvp候選)。對(duì)于tm合并模式，在細(xì)化過(guò)程之前對(duì)合并候選進(jìn)行重排序。

51、在構(gòu)建合并候選列表后，合并候選被分為多個(gè)子組。常規(guī)合并模式和tm合并模式的子組大小設(shè)置為5。仿射合并模式的子組大小設(shè)置為3。每個(gè)子組中的合并候選根據(jù)基于模板匹配的成本值按升序重新排序。對(duì)于armc-tm，如果子組滿足以下2個(gè)條件，則跳過(guò)子組中的候選：(1)子組是最后一個(gè)子組；(2)子組不是第一個(gè)子組。為了簡(jiǎn)化，最后一個(gè)但不是第一個(gè)子組的合并候選不會(huì)被重新排序。

52、合并候選的模板匹配成本被測(cè)量為當(dāng)前塊的模板樣本與其相應(yīng)參考樣本之間的絕對(duì)差異之和(sad)。模板包括一組重建樣本，鄰近于當(dāng)前塊。模板的參考樣本由合并候選的運(yùn)動(dòng)信息定位。

53、當(dāng)合并候選使用雙向預(yù)測(cè)時(shí)，合并候選的模板的參考樣本也由雙預(yù)測(cè)生成，如圖6所示。在圖6中，塊612對(duì)應(yīng)于當(dāng)前圖片610中的當(dāng)前塊，塊622和632分別對(duì)應(yīng)于列表0和列表1中的參考圖片620和630中的參考?jí)K。模板614和616用于當(dāng)前塊612，模板624和626用于參考?jí)K622，模板634和636用于參考?jí)K632。運(yùn)動(dòng)矢量640、642和644是列表0中的合并候選，運(yùn)動(dòng)矢量650、652和654是列表1中的合并候選。

54、對(duì)于基于子塊的合并候選，其子塊大小等于wsub×hsub，上述模板包括幾個(gè)大小為wsub×1的子模板，左側(cè)模板包括幾個(gè)大小為1×hsub的子模板。如圖7所示，當(dāng)前塊的第一行和第一列的子塊的運(yùn)動(dòng)信息用于推導(dǎo)每個(gè)子模板的參考樣本。在圖7中，塊712對(duì)應(yīng)于當(dāng)前圖片710中的當(dāng)前塊，塊722對(duì)應(yīng)于參考圖片720中的共位塊。當(dāng)前塊和共位塊中的每個(gè)小方塊對(duì)應(yīng)一個(gè)子塊。當(dāng)前塊的左側(cè)和頂部的點(diǎn)填充區(qū)域?qū)?yīng)當(dāng)前塊的模板。邊界子塊從a到g標(biāo)記。與每個(gè)子塊相關(guān)的箭頭對(duì)應(yīng)于子塊的運(yùn)動(dòng)矢量。參考子塊(標(biāo)記為aref到gref)根據(jù)與邊界子塊相關(guān)的運(yùn)動(dòng)矢量定位。

55、帶mvd的合并模式(mmvd)

56、除了合并模式，其中隱含派生的運(yùn)動(dòng)信息直接用于當(dāng)前cu的預(yù)測(cè)樣本生成外，還引入了帶運(yùn)動(dòng)矢量差異(mmvd)的合并模式。在發(fā)送常規(guī)合并標(biāo)志后立即傳信mmvd標(biāo)志，以指定是否為cu使用mmvd模式。

57、在mmvd中，選擇合并候選后，將通過(guò)傳信的mvd信息進(jìn)一步細(xì)化。進(jìn)一步的信息包括合并候選標(biāo)志、指定運(yùn)動(dòng)幅度的索引和指示運(yùn)動(dòng)方向的索引。在mmvd模式中，合并列表中的前兩個(gè)候選之一被選定用作mv基礎(chǔ)。mmvd候選標(biāo)志被傳信以指定使用第一個(gè)還是第二個(gè)合并候選。

58、距離索引指定運(yùn)動(dòng)幅度信息，并指示從起始點(diǎn)(812和822)到l0參考?jí)K810和l1參考?jí)K820的預(yù)定義偏移，如圖8所示。在圖8中，偏移被添加到起始mv的水平分量或垂直分量，其中不同樣式的小圓圈對(duì)應(yīng)于中心的不同偏移。距離索引與預(yù)定義偏移的關(guān)系在表2中指定。

59、表2-距離索引與預(yù)定義偏移的關(guān)系

60、 距離索引 0 1 2 3 4 5 6 7 像素距離 1/4-像素 1/2-像素 1-像素 2-像素 4-像素 8-像素 16-像素 32-像素

61、方向索引表示相對(duì)于起始點(diǎn)的mvd的方向。方向索引可以表示如下所示的四個(gè)方向。方向索引表示相對(duì)于起始點(diǎn)的mvd的方向。方向索引可以表示表3中所示的四個(gè)方向。需要注意的是，mvd符號(hào)的含義可能根據(jù)起始mv的信息而變化。當(dāng)起始mv是未預(yù)測(cè)mv或雙預(yù)測(cè)mv，并且兩個(gè)列表都指向當(dāng)前圖片的同一側(cè)時(shí)(即兩個(gè)參考的poc都大于當(dāng)前圖片的poc，或都小于當(dāng)前圖片的poc)，表3中的符號(hào)指定添加到起始mv的mv偏移的符號(hào)。當(dāng)起始mv是雙預(yù)測(cè)mv，并且兩個(gè)mv指向當(dāng)前圖片的不同側(cè)時(shí)(即一個(gè)參考的poc大于當(dāng)前圖片的poc，另一個(gè)參考的poc小于當(dāng)前圖片的poc)，并且列表0中的poc差大于列表1中的poc差時(shí)，表3中的符號(hào)指定添加到列表0?mv分量的mv偏移的符號(hào)，而列表1mv的符號(hào)具有相反的值。否則，如果列表1中的poc差大于列表0，則表3中的符號(hào)指定添加到列表1mv分量的mv偏移的符號(hào)，而列表0?mv的符號(hào)具有相反的值。

62、根據(jù)每個(gè)方向的poc差異，mvd被縮放。如果兩個(gè)列表中的poc差異相同，則不需要縮放。否則，如果l0(即l0)參考圖片與當(dāng)前圖片之間的poc差異大于l1(即l1)圖片與當(dāng)前圖片之間的poc差異，則根據(jù)td和tb的比例縮放列表1的mvd，其中td對(duì)應(yīng)于l0參考圖片與當(dāng)前圖片的poc差異，tb對(duì)應(yīng)于l1參考圖片與當(dāng)前圖片的poc差異。如果l1參考圖片與當(dāng)前圖片之間的poc差異大于l0參考圖片與當(dāng)前圖片之間的poc差異，則以類似方式縮放列表0的mvd。如果起始mv是單預(yù)測(cè)的，則將mvd添加到可用mv。

63、表3-方向索引指定的mv偏移符號(hào)

64、

65、

66、在本發(fā)明中，公開(kāi)了進(jìn)一步改進(jìn)sbtmvp性能的方案。

技術(shù)實(shí)現(xiàn)思路

0、
技術(shù)實(shí)現(xiàn)要素：

1、本發(fā)明公開(kāi)了一種使用基于子塊的時(shí)間運(yùn)動(dòng)矢量預(yù)測(cè)(subblock-basedtemporalmotion?vector?prediction，簡(jiǎn)稱sbtmvp)的視頻編解碼方法和裝置。根據(jù)該方法，接收與當(dāng)前塊相關(guān)的輸入數(shù)據(jù)，其中輸入數(shù)據(jù)包括用于在編碼器端編碼的當(dāng)前塊的像素?cái)?shù)據(jù)或與在解碼器端解碼的當(dāng)前塊相關(guān)的編碼數(shù)據(jù)。基于當(dāng)前塊的一個(gè)或多個(gè)空間相鄰塊確定一個(gè)或多個(gè)運(yùn)動(dòng)位移候選。基于所述一個(gè)或多個(gè)運(yùn)動(dòng)位移候選和所述當(dāng)前塊的一個(gè)或多個(gè)空間相鄰塊分別確定位于共位圖像中的兩個(gè)或多個(gè)共位參考?jí)K。從所述兩個(gè)或多個(gè)共位參考?jí)K中確定一個(gè)目標(biāo)共位參考?jí)K。基于目標(biāo)共位參考?jí)K相應(yīng)子塊的目標(biāo)運(yùn)動(dòng)信息，為當(dāng)前塊的子塊推導(dǎo)子塊運(yùn)動(dòng)信息。基于當(dāng)前塊的子塊的子塊運(yùn)動(dòng)信息，為當(dāng)前塊生成一個(gè)sbtmvp候選。使用包括sbtmvp候選的運(yùn)動(dòng)預(yù)測(cè)集對(duì)當(dāng)前塊進(jìn)行編碼或解碼。

2、在一個(gè)實(shí)施例中，位于共位圖像中的所述兩個(gè)或多個(gè)共位參考?jí)K是通過(guò)根據(jù)當(dāng)前塊的目標(biāo)空間相鄰塊的位置和與當(dāng)前塊的目標(biāo)空間相鄰塊相關(guān)的目標(biāo)運(yùn)動(dòng)位移候選來(lái)定位基礎(chǔ)共位參考?jí)K所確定的，并通過(guò)向基礎(chǔ)共位參考?jí)K添加一個(gè)或多個(gè)額外運(yùn)動(dòng)位移來(lái)定位一個(gè)或多個(gè)額外共位參考?jí)K。在一個(gè)實(shí)施例中，當(dāng)前塊的目標(biāo)空間相鄰塊對(duì)應(yīng)于左下相鄰塊，并且三個(gè)額外共位參考?jí)K分別位于基礎(chǔ)共位參考?jí)K的上側(cè)、左側(cè)和底側(cè)。在一個(gè)實(shí)施例中，目標(biāo)共位參考?jí)K是根據(jù)與所述兩個(gè)或多個(gè)共位參考?jí)K相關(guān)的速率失真成本從所述兩個(gè)或多個(gè)共位參考?jí)K確定的。

3、在一個(gè)實(shí)施例中，第一語(yǔ)法被傳信或解析以指示是否使用所述兩個(gè)或多個(gè)共位參考?jí)K。在一個(gè)實(shí)施例中，當(dāng)?shù)谝徽Z(yǔ)法指示所述兩個(gè)或多個(gè)共位參考?jí)K被使用時(shí)，第二語(yǔ)法被傳信或解析以指示被選定的目標(biāo)共位參考?jí)K。

4、在一個(gè)實(shí)施例中，當(dāng)基于當(dāng)前塊的兩個(gè)或多個(gè)空間相鄰塊確定兩個(gè)或多個(gè)運(yùn)動(dòng)位移候選時(shí)，在共位圖像中的所述兩個(gè)或多個(gè)共位參考?jí)K包括來(lái)自所述兩個(gè)或多個(gè)運(yùn)動(dòng)位移候選的每一個(gè)的一個(gè)基礎(chǔ)共位參考?jí)K，并且所述一個(gè)基礎(chǔ)共位參考?jí)K是根據(jù)當(dāng)前塊的每一個(gè)空間相鄰塊的位置和與所述一個(gè)基礎(chǔ)共位參考?jí)K相關(guān)的目標(biāo)運(yùn)動(dòng)位移候選定位的。在一個(gè)實(shí)施例中，第一語(yǔ)法被傳信或解析以指示是否使用所述兩個(gè)或多個(gè)運(yùn)動(dòng)位移候選。在一個(gè)實(shí)施例中，當(dāng)?shù)谝徽Z(yǔ)法指示所述兩個(gè)或多個(gè)運(yùn)動(dòng)位移候選被使用時(shí)，第二語(yǔ)法被傳信或解析以指示哪一個(gè)基礎(chǔ)共位參考?jí)K被選定。在另一個(gè)實(shí)施例中，第一語(yǔ)法僅在當(dāng)前塊的仿射多模式向量差分(affine?multiple?mode?vector?difference，簡(jiǎn)稱mmvd)被禁用時(shí)被傳信或解析。

5、在一個(gè)實(shí)施例中，與所述兩個(gè)或多個(gè)共位參考?jí)K相關(guān)的相應(yīng)sbtmvp候選根據(jù)適應(yīng)性重排序合并候選與模板匹配(adaptive?reordering?of?merge?candidates?withtemplate?matching，簡(jiǎn)稱armc-tm)重新排序。在一個(gè)實(shí)施例中，重新排序后的相應(yīng)sbtmvp候選中，n個(gè)最佳候選用于進(jìn)一步的速率失真成本評(píng)估，其中n小于或等于相應(yīng)sbtmvp候選的總數(shù)。在一個(gè)實(shí)施例中，一組索引用于指示n個(gè)最佳候選，并且使用縮短的碼字傳信較小的索引值。在一個(gè)實(shí)施例中，使用當(dāng)前塊的一個(gè)或多個(gè)模板和目標(biāo)共位參考?jí)K的一個(gè)或多個(gè)相應(yīng)模板進(jìn)行armc-tm。在另一個(gè)實(shí)施例中，使用當(dāng)前塊的一個(gè)或多個(gè)模板和目標(biāo)共位參考?jí)K的一個(gè)或多個(gè)相應(yīng)模板進(jìn)行armc-tm，其中目標(biāo)共位參考?jí)K的子塊是基于子塊運(yùn)動(dòng)定位的。