Paper Preparation and Submission Instructions for EUSIPCO 2004
Transkript
Paper Preparation and Submission Instructions for EUSIPCO 2004
STEREO VİDEODA HAREKET VE AYKIRILIK KULLANAN TÜM ÇERÇEVE KAYBI HATA GİZLEME YÖNTEMİ MOTION AND DISPARITY AIDED STEREOSCOPIC FULL FRAME LOSS CONCEALMENT METHOD Çağdaş Bilen, Anıl Aksay, and Gözde Bozdağı Akar Orta Doğu Teknik Üniversitesi, Elektrik ve Elektronik Mühendisliği Bölümü Ankara, 06531, Türkiye Tel: +90 312 2104509, faks: +90 312 2101261, e-posta: {cbilen, anil, bozdagi}@eee.metu.edu.tr ÖZETÇE Çift Görüşlü (stereo) video özellikle video kodlamayla uğraşanlar için ilgi çeken araştırma alanlarından biri haline gelmektedir. Çift görüşlü ve çok görüşlü videoları sıkıştırma için yapılan çalışmalarla beraber pratik uygulamalardaki veri iletimi hatalarını aşamak için yeni hata engelleme ve hata gizleme yöntemleri de gereklidir. Bu bildiride çift görüşlü (stereo) videolarda tüm çerçeve kaybında hata gizlemek için bir yöntem önerilmiştir. Önerilen yöntem iki görüş arasındaki artıklık ve aykırılık bilgisiyle beraber önceden çözülmüş çerçevelerin zamansal bilgilerini de kayıp çerçevenin kestirimi için kullanmaktadır. Sonuçlara göre önerilen algoritma aynı kayıp çerçeve üzerinde kullanıldığında, tek görüşlü videoda kullanılan yöntemlerden daha iyi başarım göstermiştir. ABSTRACT Stereoscpic video is one of the emerging research areas especially among the video coding community. Along with the studies for efficiently compressing the stereoscopic and multiview video, new error concealment and error protection methods are also necessary to overcome the problems due to erroneous channel conditions in practical applications. In this paper we propose a full frame loss concealment algorithm for stereoscopic sequences. The proposed method uses redundancy and disparity between the two views and motion information between the previously decoded frames to estimate the lost frame. The results show that, the proposed algorithm outperforms the monoscopic methods when they are applied to the same view as they are simulcast coded. komşu makbloklardaki hareket vektörleri veya piksel bilgilerini kullanarak gizleyebilir ([1], [2]). Ancak düşük bithızındaki video iletimi sırasında oluşabilecek hatalar bütün bir çerçevenin kaybına neden olabilir. Çerçeve kaybı durumlarında çerçeve içi zamansal veya uzamsal aradeğerleme veya hareket dışdeğerleme gibi yöntemler kullanılamaz. Son zamanlarda tek görüşlü video için tüm çerçeve hata gizleme yöntemleri önerilmiştir ([3]-[7]). Tek görüşlü video üzerinde yapılmış çalışmalar olsa da, literatürde çift görüşlü (stereo) video üzerinde bu konuda yapılmış çok az çalışma bulunmuştur. [9] ve [10]’da, stereo videoda blok kayıpları için bir hata gizleme yöntemi önerilmiştir. Hatalı bloklar stereo resim ikilisindeki görüşler arasındaki ilişkili noktalar kullanılarak gizlenmektedir. Bu tip yöntemler resmin bir kısmının geri çatılmasında faydalı olmasına rağmen tüm çerçeve kayıplarında uygulanabilir değillerdir. Kayıp çerçeveyi geriçatmanın birbaşka yolu da görüş aradeğerlemesi yapmaktır [13, 14]. Ancak son zamanlardaki çalışmalar göstermiştir ki, çift görüşlü ve çok görüşlü videolar tek görüşlü videolarda kullanılan yöntemlerle sahnenin derinlik bilgisi kullanılmadan dahi verimli bir şekilde kodlanabilir ([8], [11]). Bu kodlama yapılarında derinlik bilgisi kullanılmadığından, hatta çoğu durumda kodlanan video kaldırılmış [12] bile olmadığından, stereo eşleme ve görüş aradeğerleme yöntemleri [14] başarısız sonuçlar vermektedir. Bu bildiride önceki çerçevelerdeki hareket bilgisi ile görüşler arası aykırılık bilgisini kullanan bir tüm çerçeve kaybı gizleme yöntemi önerilmiştir. Algoritmanın uygulandığı kodlama yapısı ve önerilen algoritma sırasıyla Bölüm 2 ve 3’te anlatılmıştır. 2. 1. GİRİŞ İnternet gibi veriyolu üzerinden video gönderimi içeren uygulamalar, veriyolunun durumuna göre hatalara ve paket kayıplarına maruz kalırlar. Video verisini hataya dayanıklılık yöntemleriyle korumak bir dereceye kadar mümkün olsa da, hataya dayanıklılığın tüm hataları engelleyemediği durumlarda verimli hata gizleme yöntemlerine ihtiyaç duyulmaktadır. Literatürde bulunan hata gizleme yöntemlerinin çoğu makroblok veya dilim kayıplarını Bu çalışma Avrupa Komisyonu tarafından FP6-511568 3DTV sözleşmesi altında desteklenmektedir. A.A ve C.B Tübitak tarafından kısmen desteklenmektedir. STEREO VİDEO KODLAYICININ YAPISI Bu çalışmada kullanılan çok görüşlü video kodlayıcı ([11]) çift görüşlü ve çok görüşlü videoları kodlamak için tasarlanmış H.264 tabanlı bir kodlayıcıdır. Stereo videolar kodlanırken sol görüş tek görüşlü gibi, sağ görüş de iki görüşteki hareket ve aykırılık bilgisi (her bir makroblokta hangi bilgi daha verimli ise o kullanılarak) kullanılarak kodlanabilir. Videolar kodlanırken derinlik bilgisi gibi sahneye dair herhangi bir bilgi kullanılmamaktadır. Aykırılık da kodlayıcıda hareket bilgisi gibi tahmin edilmektedir. Hem aykırılık hem de hareket tahmini başarımı artırmak için çeyrek-piksel dğruluğunda ve 16x16dan 4x4e kadar değişen blok boylarında yapılmaktadır. Makrobloklar çerçeve içi bloklar, esgeçilmiş bloklar, hareket dengelenmiş bloklar ve aykırılık dengelenmiş bloklar olarak kodlanabilirler. Kodlayıcıdaki referans yapısı Şekil 1de görülebilir. Bu çalışmada [11] kullanılmasına rağmen, Bileşik Video Takımının (Joint Video Team - JVT) yeni standardı Bileşik Çokgörüşlü Video Modeli (Joint Multiview Video Model – JMVM [8]) de önerilen yöntemle kullanılabilir. t-2 mv R, t -1 mv L, t -1 d R, t -1 t-1 Kaynak Çerçeve 3. ÖNERİLEN HATA GİZLEME YÖNTEMİ Hareket vektörü izdüşümü yöntemleri genellikle sahnedeki objelerin doğrusal kameraya paralel hareketi (linear translational motion – LTM) varsıyımınada dayanır. Bu varsayım doğru olduğunda, optik akış cisimlerin gerçek hareketine çok yakın olur. Ayrıca dikkat edilmelidir ki, sadece doğrusal kameraya paralel hareket varsa, derinlik değiştiren (trans-depth) hareketi yok demektir ve objelerin aykırılıklarının sabit kalacağı varsayılır. Gerçek videolardaki objelerin hareketi tamamıyla LTM olmasa da, bir video çerçevesi, bir önceki çerçevelerin hareket bilgisi kullanılarak LTM varsayımı ile kestirilebilir. Önceki çerçevelerin hareket ve aykırılık bilgisi ve LTM varsayımı ile Bölüm 2’de anlatılan stereo video kodlayıcı ile kodlanmış kayıp sağ çerçeveyi 5 adımda kestirip geriçatabiliriz. Önerilen stereo kayıp çerçeve geriçatma algoritması Şekil 2’de gösterilmiştir. 3.1. Kaynak Çerçevenin Seçimi Geriçatma algoritmasının ilk adımı hareket vektörlerinin izdüşümü yapılacağı kaynak çerçeveyi seçmektir. Hareket vektörü izdüşümü, kaynak çerçeve ve kestirilecek çerçeve arasındaki hareketin doğrusal olduğu varsayımına dayandığı için, kaynak çerçeveye en yakın geçmiş çerçeveyi almak en iyi çözümdür. Algoritmanın geri kalanında kaynak çerçevenin bir önceki sağ çerçeve olduğu varsayılmıştır. (Şekil 3’teki (t-1) ile gösterilen sağ çerçeve kaynak çerçevedir). 3.2. Zamansal Vektör Alanının İzdüşümü Kaynak çerçevenin bazı makroblokları bir önceki sağ çerçeveye Kaynak Çerçevenin Seçilmesi Aykırılık Alanının İzdüşümü Zamansal Alanın İzdüşümü Aykırılık Alanının İstatiksel Çözümlemesi Zamansal Alanın İstatistiksel Çözümlemesi Bileşik Vektör Alanının Oluşturulması Bileşik Vektör Alanına 7x7 Ortanca Süzgecinin Uygulanması Bileşik Vektör Alanıyla Kayıp Çerçevenin Kestirilmesi disp t mv_temp b c a Kestirilen Çerçeve Sol Sağ Şekil 3: Önerilen algoritmada t anındaki sağ çerçevenin kestiriminde kullanılan izdüşüm yöntemleri hareket vektörü ile, bazıları da aynı zamandaki sol çerçeveye aykırılık vektörü ile işaret eder. Bu iki makroblok grubu ayrı şekilde ele alınmalıdır. Önceki sağ çerçeveleri işaret eden hareket vektörleri izdüşümlenerek, zamansal vektör alanını (1)’deki denklemlere göre oluştururlar. Burada mvR, t-1 , x(i , j) ve mvR, t-1 , y(i,j) sırasıyla kaynak çerçevenin (i , j)’deki pikselinin hareket vektörünün yatay ve dikey kısımlarını, refR(i , j) ise referans gösterilen çerçevenin kaynak çerçeveye göre olan zamanını gösterir. Zamansal vektör alanının oluşturulması mono videodaki yöntemlere benzerdir ve Şekil 3’te (a) ile gösterilmiştir. 3.3. Aykırılık Alanının İzdüşümü Kaynak çerçevedeki tüm makrobloklar hareket dengelenmiş olmadığı için, kayıp çerçeveyi daha iyi bir kestirebilmek için aykırılık dengelenen makroblok bilgilerini de izdüşmek durumundayız. İstatistiklere göre aykırılık dengelemesinde en yakın zamandaki sol çerçeve baskın olmaktadır ve bu yüzden önerilen algoritmada kaynak çerçeve sadece kendisine en yakın sol çerçeveyi kullanarak aykırılık dengelemesi yapar. (Şekil 3’teki (t1) zamanındaki sol çerçeve kullanılarak). Aykırılık alanını oluşturan hareket vektörleri (2)’deki denklemlere göre oluşturulurlar. Burada mvL, t-1 , x(i , j) ve mvL, t-1 , y(i , j) sırasıyla (t-1)’deki sol çerçevenin (i , j)’deki pikselinin hareket vektörünün yatay ve dikey kısımlarını, dR, t-1 , x(i , j) ve dR, t-1 , y(i , j) sırasıyla (t-1)’deki sağ çerçevenin (i , j)’deki pikselinin aykırılık vektörünün yatay ve dikey kısımlarını ve refL(i , j) ise hareket vektörü mvL, t-1 , x(i , j) ile referans gösterilen çerçevenin kaynak çerçeveye göre olan zamanını gösterir. İzdüşüm yöntemi Şekil 3’te (b) ile gösterilmiştir. Eğer kaynak çerçeve tarafından aykırılık vektörü ile işaret edilen makroblok çerçeve içi kodlamış ise, hareket vektörleri (2)’deki gibi hesaplanamaz. Bu durumda, t’deki sol çerçeveden hareket vektörü ilen bu makrobloğu işaret eden makroblok bulunup, Şekil 3’te (c) ile gösterilen şekilde izdüşüm yapılır. Şekil 3’te (b) ve (c) ile gösterilen yöntemler objelerin derinliklerinin korunması varsayımına dayanır. 3.4. Vektör Alanlarının İstatistiksel Çözümlemesiyle Hesaplama Veriminin Artırılması Hesaplama zamanını azaltmak için hareket vektörleri pikseller Şekil 2: Önerilen Çift Görüşlü tüm çerçeve kaybı hata gizleme yönteminin blok diyagramı mv_temp x (i - mv R, t -1 , x (i , j) , j - mv R, t -1 , y (i , j)) = mv R, t -1 , x (i , j) / ( (t - 1) - ref R (i , j) ) mv_temp y (i - mv R, t -1 , x (i , j) , j - mv R, t -1 , y (i , j)) = mv R, t -1 , y (i , j) / ( (t - 1) - ref R (i , j) ) (1) yerine bloklar için hesaplanabilir. 16x16 ve 4x4 blokları doğru hareket vektörleri ile betimlemek için istatistiksel işlemler uygulanacaktır. Aykırılık ve zamansal vektör alanlarını oluşturduktan sonra, her alan için vektörlerin ortalaması ve değişintisi hesaplanır. Her 4x4 ve 16x16 blok için, bloktaki vektör ortalaması (mean16x16, mean4x4), değişintisi (var16x16, var4x4) ve bu vektörlerin sayısı (N16x16, N4x4) hesaplanır. Eğer var16x16 bir eşik değerinden (ThrV) küçük ise ve N16x16 başka bir eşik değerinden (ThrN) büyük ise, mean16x16 bütün blok için kullanılır. Aksi halde, eğer N4x4 1’den büyük ise makroblok içindeki tüm 4x4 bloklar için mean4x4 değeri kullanılır. Bu prosedür aykırlık ve zamansal vektör alanları için uygulanır. 3.5. Vektör Alanlarının Süzülmesi Ve Kayıp Çerçevenin Oluşturulması İlk dört adımdan sonra, kestirilen çerçevenin blokların çoğu için kestirilmiş hareket vektörü oluşur. Bu vektörler, ya zamansal ya aykırılık vektör alanından ya da ikisinden birden kestirilmiştir. Aykırılık vektör alanından kestirimin zamansal vektör alanından kestirime göre daha iyi sonuç verdiği gözlemlenmiştir. Bunun sebebi, sol çerçeveye işaret eden aykırılık vektörlerinin değişintisinin zamansal hareket vektörlerini değişintisine göre daha düşük olmasından olabilir. Uzaysal vektör alanındaki boş bölgeler, zamansal vektör alanındaki vektörler ile doldurularak bileşik vektör alanı oluşturulur. Boş bölgelerdeki bileşik hareket vektörleri 7x7’lik ortanca filtresi ile hesaplanır. Eğer ortanca filtresine uygulanacak vektör yoksa, (eğer 7x7’den büyük boşluk varsa), blok için sıfır hareket vektörü ve kaynak çerçeve referansı olarak ayarlanır. En son olarak, birleşik vektör alanı, kayıp çerçevenin hareket vektörleri olarak ayarlanır ve bu vektörler kullanılarak kestirilir. 4. SONUÇLAR Önerilen algoritmanın testi için beş çift görüşlü (stereo) video [11]’de anlatılan çok görüşlü video kodlayıcıyla kamera sayısı iki olarak ayarlanarak kodlanmıştır. Kodlanan sağ görüş çerçeveleri daha önce kodlanmış dört sağ ve beş sol görüş çerçevesini referans olarak kullanırken, sol görüş çerçeveleri sadece önceden kodlanmış dört sol görüş çerçevesini kullanmaktadır. Kullanılan videolar farklı hareket özelliklerine sahip ve hepsi 320x240 piksel büyüklüktedirler. Xmas videosu bazıları oldukları yerde dönen farklı objeler içerirken, Botanical videosu belli bir bölgede sınırlanmış doğrusal hareketler içermektedir. Train ve Balloons videoları ise hızlı hareketler içeren videolar olarak tanımlanabilir. Testler sırasında Xmas videosunun 41. çerçevesi, Botanical videosunun 11. çerçevesi, Train videosunun 11. çerçevesi ve Balloons videosunun 81. ve 191. çerçeveleri kaybedilmiş ve değişik yöntemlerle hata gizleme uygulanmıştır. Kayıp çerçevelerin hepsi sağ görüşe aittir. Videolar [11]’deki kodlayıcıyla kodlanmış ve ayrıca sadece sağ görüşler referans yazılımı JM 10.1 kullanılarak standart H.264 ile kodlanmışlardır. Çift görüşlü (stereo) olarak kodlanmış videoların çözülüşü sırasında kayıp çerçeveler önerilen algoritmayla gizlenmiştir. Ayrıca tek görüşlü videolarda kullanılan iki tüm çerçeve kaybı gizleme algoritması da standart H.264 ile kodlanmış sağ görüşler üzerinde uygulanmıştır. Bu iki algoritmadan biri [4]’te anlatılan Bloklar Üzerinde Gizleme Yöntemi (Concealment Algorithm on Blocks, CAb) ve diğeri de JM 10.1 referans yazılımının bir parçası olan ve [7]’de anlatılan gizleme yöntemidir. Algoritmalar eniyilenmiş değerleri bulmak amacıyla mv_leftx (i , j) = mvL, t -1 , x (i + mvR, t -1 , x (i , j) , j + mvR, t -1 , y (i , j)) / ((t - 1) - ref L (i , j)) mv_left y (i , j) = mvL, t -1 , y (i + mvR, t -1 , x (i , j) , j + mvR, t -1 , y (i , j)) / ((t - 1) - ref L (i , j)) disp x (i - mv_leftx (i , j) - d R, t -1 , x (i , j) , j - mv_left y (i , j) - d R, t -1 , y (i , j)) = d R, t -1 , x (i , j) disp y (i - mv_leftx (i , j) - d R, t -1 , x (i , j) , j - mv_lefty (i , j) - d R, t -1 , y (i , j)) = d R, t -1 , y (i , j) (2) Xmas 41 Train 11 Botanical 11 Baloons 191 Baloons 81 Previous Frame 20,4998 24,0693 CAb JM 20,8291 26,3874 21,0075 27,227 Stereo Concealment 32,1943 27,7992 28,7949 28,7607 28,8205 37,6071 26,2306 29,721 29,7217 31,1727 22,164 25,1544 26,599 28,2975 Tablo 1: Hata gizleme yöntemlerinin sinyal gürültü oranları (ThrV=50 ThrN=200) Max SNR ThrN ThrV Xmas 41 32,1943 200 50 Train 11 27,8339 150 50 Botanical 11 37,6435 150 999 Baloons 191 31,3886 200 300 Baloons 81 29,1097 100 200 Tablo 2: Maksimum sinyal gürültü oranı veren ThrV ve ThrN değerleri değişik ThrV ve ThrN değerleri için denenmiştir. Kayıp çerçeve ile aynı görüşten olan son çerçeveyi tekrarlayarak elde edilen sonuçlar da karşılaştırma için ayrıca sunulmuştur. Sonuçlar, kodlanmış videoya göre hesaplanan sinyal gürültü oranları ile Tablo 1’de gösterilmiştir. Önerilen çift görüşlü hata gizleme yöntemi ThrVnin 999, 300, 200, 100, 50 değerleriyle ve ThrNnin de 0, 100, 150, 200 değerleriyle denenmiştir. Tablo 2de gizlenen her bir çerçeve için en iyi sonucu veren ThrV ve ThrN değerleri verilmiştir. Tablo 1’de ThrV=50 ve ThrN=200 değerleri için elde edilen sinyal gürültü oranları da ayrıca gösterilmiştir. Tablo 1 ve Tablo 2’deki sonuçlarda, en iyileştirilmiş ThrV ve ThrN değerleriyle elde edilen sinyal gürültü oranı sonuçları ile sabit ThrV ve ThrN ile elde edilmiş sonuçlar arasında ihmal edilebilecek kadar küçük bir fark olduğu görülebilir. Buna göre ThrV ile ThrN için sırasıyla 200 ve 50 uygun değerler olarak seçilebilir. Xmas videosu için aykırılıkla ve zamansal vektörlerle hata gizleme yapılmış pikseller Şekil 4’te görülebilir. Şekil 4’ten de çıkarılabileceği üzere hareketli bölgelerin neredeyse tamamı aykırılık vektörleriyle dengelenmiştir. Şekil 5’te sonuçta kayıp 1 2 Şekil 4: Xmas videosunun ortanca süzgeci uygulanmadan önceki (1) ve sonraki (2) zamansal olarak kestirilmiş (kırmızı), aykırılıkla kestirilmiş (mavi), kestirilmemiş (siyah), hem zamansal hem de aykırılıkla kestirilmiş (yeşil) ve ortanca süzgeciyle kestirilmiş (beyaz) pikselleri 6. CAb ESTIMATE SNR= 20.8291 TEŞEKKÜRLER Xmas videosu Tanimoto Labratuvarı tarafından sağlanmıştır. MMRG H.264 Çok Kodlayıcısı Görüşlü Video http://mmrg.eee.metu.edu.tr/multiview adresinden indirilebilir. JM referans yazılımı ise http://iphome.hhi.de/suehring/tml/ adresinden indirilebilir. KAYNAKÇA 1 [1] Y. Xu, Y. Zhou, "H.264 video communication based refined error concealment schemes", IEEE Transactions on Consumer Electronics, 50(2):1135 - 1141, Nov. 2004 [2] D. Agrafiotis, D.R. Bull, C.N. Canagarajah, "Enhanced Error Concealment With Mode Selection", IEEE Transactions on Circuits and Systems for Video Technology, 16(8): 960 - 973, Aug. 2006 [3] S. Belfiore, M. Grangetto, E. Magli, G. Olmo, “An error concealment algorithm for streaming video”, ICIP 2003. [4] P. Baccichet, A. Chimienti, "A Low Complexity Concealment Algorithm for the Whole-Frame Loss in H.264/AVC", MMSP 2004. [5] Q. Peng, T.W. Yang and C.Q. Zhu, “Block-based temporal error concealment for video packet using motion vector extrapolation,” Proc. IEEE Communications, Circuits and Systems and West Sino Expositions, 2002. [6] Y. Chen, K. Yu, J. Li and S. Li, “An Error Concealment Algorithm for Entire Frame Loss in Video Transmission”, Picture Coding Symposium 2004, 15-17 December 2004, San Francisco, USA. [7] ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, “Frame Loss Error Concealment for H.264/AVC” JVT document JVT-P072, July 2005 [8] ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, “Joint Multiview Video Model (JMVM) 2.0” JVT document JVTU207, October 2006 [9] M. Kunter, S. Knorr, C. Clemens, T. Sikora, “A Gradient Based Approach For Stereoscopic Error Concealment”,ICIP 2004, Volume 1, 24-27 Oct. 2004 Page(s):183 - 186 Vol. 1 [10] S. Knorr, C. Clemens, M. Kunter, T. Sikora, “Robust concealment for erroneous block bursts in stereoscopic images”, 3DPVT 2004, 6-9 Sept. 2004 Page(s):820 - 827 [11] C. Bilen, A. Aksay, G. Bozdagi Akar, "A Multi-View Video Codec based on H.264", IEEE ICIP 2006, Atlanta, GA, USA, Oct. 2006. [12] N. Ayache, and C. Hansen, “Rectification of images for binocular and trinocular stereovision”, in Proceedings of the 9th International Conference on Pattern Recognition. 1988. Rome, Italy.: p. 11-16. [13] C. L. Zitnick et al. “High-quality video view interpolation using a layered representation”, ACM Transactions on Graphics, 23(3):600-608, August 2004. [14] D. Scharstein, R. Szeliski, “A taxonomy and evaluation of dense two-frame stereo correspondence algorithms”, International Journal of Computer Vision, 47(1):7-42, May 2002. CONCEALMENT IN JM 10.1 SNR=21.0075 2 STEREO ESTIMATED SNR= 32.1943 3 ORIGINAL 4 Şekil 5: Xmas videosunun (1) CAb ile kestirilmiş çerçevesi (SNR=20.8291) (2) JM 10.1 ile kestirilmiş çerçevesi (SNR=21.0075) (3) önerilen çift görüşlü yöntemle kestirilmiş çerçevesi (SNR=32.1943) ve (4) orjinal çerçevesi çerçeve için oluşturulan çerçeveler görülebilir. 5. VARGILAR VE GELECEK ÇALIŞMALAR Neredeyse tüm karşılaştırmalarda önerilen hata gizleme yöntemi tek görüşlü videolarda kullanılan hata gizleme yöntemlerinden daha iyi sonuçlar vermiştir. Kamera mesafesi ve ışıklandırma koşulları göz önüne alındığında ideal sayılabilecek Xmas ve Botanical videolarında, tek görüşte kullanılan yöntemlere göre sinyal gürültü oranında 8 dBnin üzerinde performans artışı gözlenmiştir. Bu iki videonun ortak özelliği hareketin çerçeve içinde belli bir bölgede kalması ve dağınık olmamasıdır. Dağınık harekete sahip objeler içeren Balloons videosunda bile, Xmas ve Botanical videolarına göre düşük olsa da, tek görüşlü yöntemlere göre sinyal gürültü oranında 2-3 db kadar artırım sağlanmıştır. Kullanılan yöntemin standartlaşan çok görüşlü video kodlayıcının referans yazımına (JMVM) göre basit bir kodlama şekli üzerine uygulanmasına rağmen, yöntem JMVM üzerinde uygulanabilecek bir şekilde geliştirilebilir. Bu konu üzerinde ileriki aşamalarda çalışılacaktır.