Görüntü Birleştirme Yöntemlerinin Karşılaştırmalı Analizi
Transkript
Görüntü Birleştirme Yöntemlerinin Karşılaştırmalı Analizi
GÖRÜNTÜ BİRLEŞTİRME YÖNTEMLERİNİN KARŞILAŞTIRMALI ANALİZİ A COMPARATIVE ANALYSIS OF IMAGE FUSION METHODS İrfan Kösesoy, Abdulkadir Tepecik, Müfit Çetin Altan Mesut Bilgisayar Mühendisliği Bölümü Trakya Üniversitesi Bilgisayar Mühendisliği Bölümü Yalova Üniversitesi altanmesut@trakya.edu.tr {ikosesoy, atepecik, mcetin }@yalova.edu.tr ÖZETÇE Literatürde yüksek spektral çözünürlüklü multispektral görüntü ve mekânsal çözünürlüğü yüksek pankromatik görüntünün birleştirilmesi ile yüksek çözünürlüklü çok bantlı görüntü elde etmek için kullanılan birçok yöntem mevcuttur. Bu yöntemlerde karşılaşılan en yaygın problem birleştirme sonrasında meydana gelen renk bozulmalarıdır. Bununla birlikte, renklerin korunması nesne tanıma, obje çıkarımı ve görüntü analizi gibi işlemlerin yapıldığı birçok uygulamada elde edilen sonuçların doğruluğu açısından önemlidir. Bu çalışmada literatürde en çok kullanılan GIHS, GIHSF, PCA ve Wavelet görüntü birleştirme yöntemlerinin spektral bilgiyi ne kadar iyi koruyabildikleri SSIM, ERGAS ve SAM istatistiksel yöntemleri kullanılarak analiz edilmiştir. Elde edilen sonuçlara göre, spektral bilgiyi en iyi koruyan yöntemin Wavelet olduğu görülmüştür. GIHS, GIHSF ve PCA yöntemlerinde ise görüntü kalitesinin birbirine yakın olduğu görülmüştür. Diğer yandan, Wavelet yönteminden elde edilen mekansal zenginleştirmenin diğer yöntemlere göre daha başarısız olduğu görülmüştür. ABSTRACT In literature, several methods are available to combine both low spatial multispectral and low spectral panchromatic resolution images to obtain a high resolution multispectral image. One of the most common problems encountered in these methods is spectral distortions introduced during the merging process. At the same time, the spectral quality of the image is the most important factor affecting the accuracy of the results in many applications such as object recognition, object extraction, image analysis. In this study, the most commonly used methods including GIHS, GIHSF, PCA and Wavelet are analyzed using image quality metrics such as SSIM, ERGAS and SAM. At the same time, Wavelet is the best method for obtaining the fused image having the least spectral distortions according to obtained results. At the same time, image quality of GIHS, GIHSF and PCA methods are close to each other, but spatial qualities of the fused image using the wavelet method are less than others. 1. GİRİŞ Sivil amaçlı yer gözlem uydularından elde edilen yüksek çözünürlüklü uydu görüntülerinin elde edilmesi ile yeryüzü hakkında detaylı bilgiler elde edilmektedir. Bu gözlem uydularından detaylı bilgilerin elde edilmesi ile birlikte verilerin günlük hayatta kullanımı da yaygınlaşmaktadır. Uydu 978-1-4673-0056-8/12/$26.00 ©2012 IEEE görüntüleri telekomünikasyon, lojistik, ulaştırma gibi lokal ve bölgesel çalışmaların yanında Google Earth gibi ücretsiz teknolojik hizmetlerle hem iş hem de günlük yaşamda kullanılmaktadır. Yeni nesil algılayıcıların (QuickBird, IKONOS, WorldView vb.) geliştirilmesi ile spektral ve mekansal olarak daha üstün görüntülerin elde edilmesi başarılmıştır. Bu algılayıcılardan elde edilen mekânsal ve spektral çözünürlüğü yüksek görüntülerin farklı özellikleri görüntü birleştirme algoritmaları ile bir araya getirilerek kullanılan uygulamalarda daha başarılı sonuçlar elde edilmektedir[3]. Görüntü birleştirme, yüksek çözünürlüklü multispektral (MS) görüntü elde etmek amacıyla, yüksek çözünürlüklü pankromatik (PAN) görüntünün geometrik bilgisi ile düşük çözünürlüklü MS görüntünün renk bilgisinin birleştirilmesidir [8]. Literatürde görüntü zenginleştirme işlemini yapan birçok yöntem mevcuttur. Bunlardan en çok kullanılanları IntensityHue-Saturation (IHS), Principal Component Analysis (PCA) ve Dalgacık dönüşümü (WT) yöntemleridir[5]. Bu yöntemler aynı zamanda günümüzde yaygın olarak kullanılmakta olan PCI Geomatics, RSI ENVI ve ERDAS gibi ticari yazılımlarda da yerini almıştır. Görüntü birleştirme yöntemi literatür çalışmalarının büyük çoğunluğunda görsel amaçlı yorumlamada kullanılsa da nesne çıkarımı, obje sınıflandırma gibi birçok görüntü analiz işlemlerinde de etkili olarak kullanılmaktadır [4]. Bu sebeple birleştirilen görüntüde mekânsal zenginleştirme yanında spektral bilginin de korunması istenir. Klasik yöntemler büyük boyutlardaki verileri hızlı bir şekilde birleştirip mekânsal zenginleştirmede başarılı olmalarına rağmen birleştirilen görüntüde spektral bozulmalar meydana gelmiştir. Son yıllarda literatürde, birleştirilmiş görüntüdeki spektral bozulmaları azaltmak amacı ile Wavelet dönüşümüne dayalı çoklu çözünürlüklü ayrıştırma yönteminin uygulandığı çalışmalar yapılmıştır[2]. Ayrıca üç bantlı görüntülerde kullanılan klasik IHS yönteminde bant sınırlandırmasını kaldıran ve spektral bozulmaları azaltmak için GIHS, GIHSF gibi farklı yöntemler önerilmiştir[10]. Bu çalışmada literatürde en çok kullanılan GIHS, GIHSF, WT ve PCA yöntemleri ile elde edilen görüntüler SSIM, ERGAS ve SAM istatistiksel yöntemleri spektral açıdan karşılaştırılacaktır. 2. Görüntü Birleştirme Yöntemleri Bu bölümde çalışmada kalite analizleri yapılacak yöntemlerin multispektral ve pankromatik görüntüleri nasıl birleştirdikleri kısaca anlatılmıştır. 2.1. Genelleştirilmiş IHS (GIHS) Klasik IHS dönüşümü RGB formatındaki görüntüyü yoğunluk (Intensity) ve renk (Hue, Saturation) değerlerine ayırır (Denklem 1). Spektral çözünürlüğün yüksek olduğu görüntüden elde edilen yoğunluk bileşeni ile mekânsal çözünürlüğün yüksek olduğu Pan görüntü yer değiştirir. Daha sonra elde edilen yeni bileşenlere ters IHS uygulanarak birleştirilmiş görüntüye ait RGB değerleri elde edilir (Denklem 3). 1 − 1⁄√2 1⁄√2 +( − ) R′ = G′ 1 − 1⁄√2 − 1⁄√2 B′ 1 0 √2 1 − 1⁄√2 1⁄√2 + = 1 − 1⁄√2 − 1⁄√2 1 0 √2 + = (1) + + (2) 1 − 1⁄√2 1⁄√2 R′ G′ = 1 − 1⁄√2 − 1⁄√2 B′ 1 0 √2 (3) Denklem (1) sadece üç bantlı görüntülerin zenginleştirilmesinde kullanılan bir lineer dönüşümdür. Multispektral uydu görüntüleri dört veya daha fazla bant içerir. Bu tür uydu görüntülerinde zenginleştirme yapılması için TeMing Tu ve arkadaşlarının 2001 yılında yayınladıkları makalede genelleştirilmiş IHS (GIHS) yöntemi önerilmiştir[7]. Bu yönteme göre: = + (4) Denklem 4’te , multispektral görüntüye ait i. bandı ve δ, denklem 1’de ifade edildiği gibi I bileşeni ile tek bantlı görüntü arasındaki farkı temsil eder. δ hesaplanırken kullanılan çok bantlı görüntüye ait I bileşeni şöyle hesaplanır: = ∑ = ( + 0.75 ∗ GIHSF, Te-Ming Tu ve arkadaşlarının 2004 Ekim ayında yayınladıkları makalede IKONOS görüntülerindeki renk bozulmalarını azaltmak için önerilmiş bir yöntemdir[6]. Bu yöntem kendinden önceki IHS yöntemlerinden farklı olarak I bileşeni hesaplanırken eşit katsayı kullanmak yerine yeşil ve mavi bantlara farklı katsayılar kullanılmıştır. Dört bantlı görüntülerde GIHS yöntemine göre I bileşeni denklem (5) ile bantların aritmetik ortalaması alınarak bulunuyordu. GIHSF yeşil ve mavi bantları sırası ile 0.75 ve 0.25 katsayılarla çarparak yeşil ve mavi bantları tek bant gibi kabul eder. I bileşeni hesaplanırken R, G, B ve NIR bantlarının toplamı dört yerine üçe bölünür. )/3 (6) PCA, veri sıkıştırma, görüntü iyileştirme, görüntüde farklılık tespiti ve görüntü birleştirme alanlarında kullanılan faydalı bir yöntemdir. PCA çok değişkenli ve aralarında yüksek korelasyon bulunan veri dizisini, aralarında korelasyon olmayan yeni veri kombinasyonuna dönüştürür[6]. PCA dönüşümü sonrası oluşan bileşenler dik eksenlere sahip olduğundan aralarında korelasyon yoktur. Bulunan bileşenlerden ilki en fazla varyansı içerir daha sonraki bileşenlerin varyansları azalmaktadır. 2.4. Dalgacık Dönüşümü Dalgacık dönüşümü sinyal işleme alanında geliştirilmiş matematiksel bir araçtır. Bu dönüşüm dalgacık katsayıları ile sayısal bir görüntüyü farklı seviyelerdeki (çözünürlükteki) bir dizi görüntüye ayrıştırır. Her seviyedeki dalgacık katsayıları sıralı iki çözünürlük seviyesi arasındaki mekânsal farklılığı verir. Dalgacık dönüşümü yöntemi ile görüntü birleştirme işlemi aşağıdaki işlem adımlarından oluşur. Yüksek çözünürlüklü pankromatik görüntü dalgacık katsayıları kullanılarak düşük çözünürlüklü görüntülere ayrıştırılır. Düşük çözünürlüklü pankromatik görüntü aynı seviyedeki multispektral görüntü ile yer değiştirilir. Ayrıştırılmış ve yer değiştirilmiş pankromatik görüntü dizisine ters dalgacık dönüşümü uygulanarak orijinal pankromatik görüntünün çözünürlük seviyesine gelinir. Yukarıdaki işlem adımları multispektral bantların her biri için dönüşüm ve yer değişim işlemi üç kez yapılır. 3. KALİTE ANALİZ YÖNTEMLERİ 3.1. SSIM (Structural Similarity Index Method ) İki görüntü arasındaki benzerliği ölçmek için kullanılan tam referans bir kalite ölçüsüdür[5]. SSIM Denklem 7’deki gibi hesaplanır. Sonuçlar -1 ile +1 arasında değer alır. Sonucun +1’e yaklaşması benzerliğin arttığı anlamına gelir. SSIM(x, y) = 2.2. Genelleştirilmiş Sabit IHS (GIHSF) + 2.3. Principal Components Analysis(PCA) (5) Denklem 5’te n görüntüdeki bant sayısını ifade eder. Görüntüye ait I bileşeni hesaplanırken çok bantlı görüntünün her bir bandı için ağırlık katsayısı eşit kabul edilir. + 0.25 ∗ μ μ μ μ ( ( ) ) (7) 3.2. ERGAS (Erreur Relative Globale Adimensionnelle de Synthêse) 2000 yılında Lucien Wald tarafından düşük çözünürlüklü multispektral görüntülerin zenginleştirilmesinde kullanılması önerilmiş bir kalite ölçüsüdür[9]. Ortalama Karesel Hata Karekökü(RMSE) temel alınarak geliştirilmiş bir yöntemdir. Çok bantlı görüntülerin birleştirilmesinde yöntemlerin spektral kalite metriğini ölçmede kullanılır. Analizleri yapılacak görüntülerde bant sayısının bir önemi yoktur. Bu sebeple Klasik IHS gibi sadece üç bantlı görüntüleri birleştiren yöntem ile bant sınırlaması olmayan GIHS yönteminin birleştirdiği görüntüler arasında kalite analizi yapılabilmektedir. ( )= ∑ ( − ∗ ) (8) = ∑ (9) ( ∑ ERGAS = 100 ) ( ) (10) 3.3. SAM (Spectral Angle Mapper) 4.1. Deneysel Sonuçlar Görüntü birleştirme yöntemlerinin görüntüye kazandırdığı mekânsal belirginlik görsel ve istatistiksel olarak değerlendirilebilir. Görsel yorumlamada renk benzerlikleri, görüntü bozulmaları ve nesnelerin ayırt edilebilirliği dikkate alınır [1]. Görsel değerlendirmeler kişiden kişiye farklılık gösterdiği için yöntemin başarısını ölçmede tek başına kullanılacak bir yol değildir. Değerlendirmenin objektif yapılabilmesi için istatistiksel yöntemler kullanılır. Çalışmada elde edilen görsel sonuçlar Şekil (3-6)’da verilmiştir. İstatistiksel sonuçlar ise Tablo 1’de görülmektedir. SAM algoritması, görüntüler arasındaki spektral benzerlikleri iki vektör (orijinal ve birleştirilmiş görüntü) arasındaki açıya bakarak hesaplar. Görüntüleri vektör olarak kabul eder ve denklem 11 ile aralarındaki α açısını bulur[10]. Denklemde geçen ve r sırasıyla test ve referans (orijinal) görüntülerin i. bandını, b ise görüntülerdeki bant sayısını temsil eder. = ( (∑ 4. ∑ ) ) (∑ (11) ) KULLANILAN VERİLER VE DENEYSEL SONUÇLAR Şekil 3: GIHS ile birleştirilmiş görüntü Yöntemlerin uygulamadaki başarılarını karşılaştırmak için QuickBird uydusundan 12 Nisan 2011 tarihinde havaalanından alınan multispektral ve pankromatik (Şekil 1,2) görüntüler kullanılmıştır. Multispektral görüntü Kırmızı, Yeşil, Mavi ve Kızılötesi olmak üzere dört banttan oluşmaktadır. Alınan multispektral ve pankromatik görüntülerin boyutları eşit olup 1000x1000 pikseldir. Görüntüler PCA, Wavelet, GIHS ve GIHSF yöntemleri ile birleştirilmiştir (Şekil 3-6). Şekil 4: GIHSF ile birleştirilmiş görüntü Şekil 1: Orijinal MS Görüntü Şekil 5: PCA ile birleştirilmiş görüntü Şekil 2: Orijinal PAN Görüntü Şekil 6: WT ile birleştirilmiş görüntü ERGAS SAM SSIM GIHS 5,0301 17,0853 0,8449 GIHSF 5,1179 16,8968 0,8351 PCA 3,6242 17,8873 0,8393 WAVELET 16,6318 1,2472 0,8786 Tablo 1: Birleştirilmiş Görüntülerin İstatistiksel Analiz Sonuçları 5. SONUÇLAR Tablo 1’de birleştirme yöntemlerinin spektral bilgiyi korumalarına ilişkin analiz sonuçları görülmektedir. Analiz sonuçlarına bakıldığında her üç analiz yönteminde de Wavelet yönteminin spektral bilgiyi en iyi koruduğu görülmektedir. Wavelet yönteminden sonra GIHSF, GIHS ve PCA yönteminin spektral bilgiyi koruma konusunda birbirlerine yakın oldukları gözlemlenmiştir. Bunun yanında sonuç görüntülerde yöntemlerin mekânsal zenginleştirmelerine bakıldığında Wavelet yönteminin diğer yöntemlere göre başarısız olduğu şekil (3-6)’daki görsel sonuçlardan anlaşılmaktadır. Ayrıca yöntemin işlem karmaşıklığı diğer yöntemlere göre daha fazladır buda yeni nesil algılayıcılardan alınan yüksek çözünürlüklü, büyük boyutlu verilerin birleştirilmesinde algoritmanın performansını etkileyecektir. GIHS, GIHSF ve PCA yöntemlerinin işlem karmaşıklığı Wavelet algoritmasına göre daha azdır ayrıca görsel sonuçlara bakıldığında sonuç görüntülerde mekansal zenginleştirme konusunda daha başarılı olduğu görülmektedir. IHS tabanlı GIHS ve GIHSF yöntemlerinden elde edilen birleştirilmiş görüntüler kendi arasında kıyaslandığında GIHSF yönteminin SAM ve ERGAS analizlerinde daha başarılı olduğu SSIM yönteminde ise az bir farkla GIHS yönteminin gerisinde kaldığı görülmüştür. Bu sonuçlardan yola çıkarak GIHSF yönteminde yeşil ve mavi bantlar için kullanılan farklı ağırlık katsayılarının spektral bilginin korunmasında başarılı olduğu söylenebilir. 6. KAYNAKÇA [1] Balçık F. B., Göksel Ç., 2009, SPOT 5 ve Farklı Görüntü Birleştirme Algoritmaları, 12. Türkiye Harita Bilimsel ve Teknik Kurultayı. 11 Mayıs- 15 Mayıs, Ankara. [2] Cetin, M., Musaoglu, N., 2009, Merging hyperspectral and panchromatic image data: Qualitative and quantitative analysis, International Journal of Remote Sensing, 30(7), 1779-1804. [3] Kösesoy, İ., “Uydu görüntülerinin zenginleştirilmesinde IHS tabanlı yeni bir yaklaşım” , Yüksek Lisans Tezi, 2011 [4] Munechika, C. K., Warnick, J. S., Salvaggio, C., Schott., J. R., 1993, Resolution enhancement of multispectral image data to improve calssification, Photogramm. Geng. Remote Sens., s. 67-72 [5] Ou, T., Huang, Y., Chen, H., 2011 “SSIM-Based perceptual rate control for video coding”, IEEE transactions on circuits and systems for video technology, Vol. 21, NO. 5. [6] Pohl, C. and Van Genderen, J. L., 1998, Multisensor Image Fusion in Remote Sensing: Concepts, Methods and Applications, International Journal of Remote Sensing, s. 823-854. [7] Tu, T.M., Ping S. Huang, Chung-Ling Hung, and ChienPng Chang, 2004, A Fast Intensity-Hue-Saturation Fusion Technique With Spectral Adjustment for IKONOS Imagery, IEEE Geoscience And Remote Sensing Letters, Vol. 1, No. 4. [8] Tu, T.M., Shun-Chi Su, Hsuen-Chyun Shyu, Ping S. Huang, 2001, A new look at IHS-like image fusion methods, Information. 84, 1988, p S213(A). [9] Wald, L., 2000, Quality of high resolution synthesised images: is there a simple criterion?, Fusion of Earth Data, Sophia Antipolis, 26-28 January, France. [10] Wang, Z., 2004, Image Quality Assessment: From Error Visibility to Structural Similarity, IEEE Transactions on image processing, vol. 13, no. 4, april. [11] Zhang, Y., 2004, Understanding Image Fusion, Photogrammetric Engineering & Remote Sensing, s. 657661.