FBE_tez yazim kilavuzu
Transkript
FBE_tez yazim kilavuzu
İSTANBUL ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ DOKTORA TEZİ İMGE KAYNAKLARININ AYRILMASINDA BAYESÇİ YAKLAŞIMLAR Koray KAYABOL Elektrik-Elektronik Mühendisliği Anabilim Dalı Danışmanlar Prof. Dr. Hakan A. ÇIRPAN Doç. Dr. Ercan E. KURUOĞLU Eylül, 2008 İSTANBUL İSTANBUL ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ DOKTORA TEZİ İMGE KAYNAKLARININ AYRILMASINDA BAYESÇİ YAKLAŞIMLAR Koray KAYABOL Elektrik-Elektronik Mühendisliği Anabilim Dalı Danışmanlar Prof. Dr. Hakan A. ÇIRPAN Doç. Dr. Ercan E. KURUOĞLU Eylül, 2008 İSTANBUL Bu çalışma 08/09/2008 tarihinde aşağıdaki jüri tarafından Elektrik-Elektronik Mühendiliği Anabilim Dalı, Elektrik-Elektronik Mühendisliği programında Doktora Tezi olarak kabul edilmiştir. Tez Jürisi Prof.Dr. Hakan A. ÇIRPAN (Danışman) İstanbul Üniversitesi Mühendislik Fakültesi Prof.Dr. Bülent SANKUR Boğaziçi Üniversitesi Mühendislik Fakültesi Prof.Dr. Aydın AKAN İstanbul Üniversitesi Mühendislik Fakültesi Prof.Dr. Ayşın Baytan ERTÜZÜN Boğaziçi Üniversitesi Mühendislik Fakültesi Doç.Dr. Yücel YEMEZ Koç Üniversitesi Elektrik-Elektronik Fakültesi ÖNSÖZ Bayesçi felsefe birbirinden çok farklıymış gibi görünen çözüm yollarına tek bir pencereden bakılarak büyük resmin görülmesini sağladığından bilim insanlarına problemler ve çözümleri için geniş bir bakış açısı sunmaktadır. Günümüzde de fizikteki tüm doğa kuvvetlerinin aslında tek bir kuvvetten farklılaşarak oluştuğu, evrenin tek bir noktadan genişleyerek bugünkü haline geldiği ve canlıların tek bir canlıdan evrimleşerek ortaya çıktığı kuramları düşünülürse bütünleştirici ve genel ilkeleri olan yaklaşımların detaycı ve özel amaca yönelik ilkesiz yaklaşımlardan daha gerçekçi ve kalıcı olduğu söylenebilir. Elektrik, elektronik ve bilgisayar mühendisliği alanında da bu yaklaşımların kullanılması araştırmacıları gereksiz ayrıntılarla uğraşmadan doğrudan hedefe ulaştıracaktır. Örneğin değişimsel yaklaşımlar, eniyileme, yapay sinir ağları ve son yıllarda yaygınlaşan genetik ve evrimsel algoritmalar Bayesçi bakış açısıyla aynı çatı altında değerlendirilip gerekli olduğu yerlerde kullanılabilirler. Bayesçi yaklaşımın diğer bir önemli tarafı bilinmeyene ait önsel bilginin de probleme eklenebilmesi olanağını sağlamasıdır. Böylelikle bilinmeyen bir yandan somut gözlem ve verilere bağlanırken diğer yandan somut olmayan bilgi ve inançlara bağlanır. Bilinmeyene ait olan gözlemesel olmayan bu bilgi insanların o konudaki tecrübelerine, beklentilerine ve öngörülerine dayalı olarak oluşturulabilir. Bu sayede elde olan somut ve soyut tüm ipuçları kullanılarak bilinmeyene ulaşılmaya çalışılır. Bu çalışmanın başından sonuna kadar yapmış olduğu öneriler, karşılıklı tartışmalar, yurtdışından davet etmiş olduğu bilim insanları ile sağlamış olduğu tartışma ortamı ve hem bu tezde hem de dergi çalışmalarımızda yapmış olduğu detaylı incelemeler ve katkıları için Prof. Dr. Bülent Sankur'a, beni Bayesçi yaklaşım ile çalışmaya teşvik eden ve verdiği Bayes dersleri ve kişisel tartışmalar ile tezime yön veren ve İtalya'daki çalışmalarım sırasında her türlü desteği sağlayan Doç. Dr. Ercan Engin Kuruoğlu'na, beni CNR-TÜBİTAK ortak projesine dahil ederek İtalya'da çalışma olanağı tanıyan proje yürütücüleri Prof. Dr. Bülent Sankur ve Doç. Dr. Ercan Engin Kuruoğlu'na, İtalya'daki çalışmalarımda kaynak ayrıştırmadaki tecrübelerinden yararlanmış olduğum Luigi Bedini, Anna Tonazzini ve Emanuele Salerno'ya, tezde kullanmış olduğum astrofizik imgeleri sağlayan ve gerekli açıklamaları yapan Diego Herranz'a ve PLANCK proje ekibine, değerli destek ve yardımları için Prof. Dr. Aydın Akan, Prof. Dr. Hakan Ali Çırpan ve Dr. Mesut Çevik'e teşekkür ederim. Bu tezi, beni Araştırma Görevlisi olmaya teşvik eden, yüksek lisans tez danışmanım ve doktora çalışmasına beraber başladığımız fakat genç yaşta aramızdan ayrılan hocam Doç. Dr. Emir Tufan Akman'a armağan ediyorum. 17.07.2008 İstanbul Koray Kayabol i İÇİNDEKİLER ÖNSÖZ .........................................................................................................i İÇİNDEKİLER ......................................................................................... ii ŞEKİL LİSTESİ ......................................................................................... v TABLO LİSTESİ .................................................................................... vii SEMBOL LİSTESİ ...................................................................................ix KISALTMALAR LİSTESİ .................................................................... xii ÖZET ....................................................................................................... xiii SUMMARY ............................................................................................ xiv 1. GİRİŞ ......................................................................................................1 2. GENEL KISIMLAR ...............................................................................9 2.1. BAYESÇİ ÇATI ALTINDA PROBLEM TANIMI ...................................... 10 2.2. GÖZLEM MODELİ: OLABİLİRLİK .......................................................... 11 2.2.1. Karışım Matrisinin Sonsal Dağılımı ........................................................ 12 2.2.2. Gürültü Değişintilerinin Sonsal Dağılımı................................................. 13 2.2.2.1 Gürültü Gücünün Bilinmediği Durum ................................................... 13 2.2.2.2 Gürültü Gücünün Bilindiği Durum ........................................................ 14 2.3 KAYNAK MODELİ: MARKOV RASGELE ALANLARI........................... 15 2.3.1 Markov Şartı ve Gibbs Dağılımı................................................................ 16 2.4 AYRIŞTIRILABİLİRLİK VE MRF................................................................ 22 2.4.1 Gauss Olmama ............................................................................................ 22 2.4.2 Beyaz Olmama............................................................................................. 24 2.4.3 Durağan Olmama........................................................................................ 25 2.5 MRF’LARDA PARAMETRE KESTİRİMİ ................................................... 25 ii 2.5.1 Sözde Olabilirlik Yaklaşıklığı .................................................................... 25 2.5.2 Cauchy Dağılımında Parametre Kestirimi ............................................... 26 2.6 ICA TABANLI AYRIŞTIRMA YÖNTEMLERİ ........................................... 27 2.6.1 FPICA: Sabit Noktalı ICA ......................................................................... 27 2.6.2 SOBI: İkinci Dereceden Gözü Kapalı Tanılama...................................... 29 2.6.3 SMICA ......................................................................................................... 30 3. MALZEME VE YÖNTEM .................................................................32 3.1 DETERMİNİSTİK ENİYİLEMEYE DAYALI BAYESÇİ KAYNAK AYRIŞTIRMA.......................................................................................................... 32 3.1.1 ICM: Döngüsel Koşullu Doruk.................................................................. 32 3.1.2 ICM-var: Gibbs Önselinin Değişimsel Yaklaşıklığı ile Kaynak Ayrıştırma............................................................................................................. 35 3.1.3 Yaklaşık Kaynak Modeli ............................................................................ 36 3.1.3.1 Yaklaşık Kaynak Modeli Parametrelerinin Belirlenmesi....................... 37 3.1.4 Benzetim Sonuçları ..................................................................................... 40 3.1.5 Deterministik Eniyileme için Vargılar ...................................................... 48 3.2 MCMC İLE BAYESÇİ KAYNAK AYRIŞTIRMA........................................ 50 3.2.1 Gibbs Örnekleme ile Kaynak Ayrıştırma................................................. 50 3.2.1.1 Markov Zincirleri ................................................................................... 51 3.2.1.2 Metropolis Yöntemi ................................................................................ 53 3.2.1.3 Gibbs Örneklemesi ................................................................................. 55 3.2.2 Benzetim Sonuçları ..................................................................................... 57 3.1.5 MCMC Yöntemi için Vargılar................................................................... 63 3.3 İSTATİSTİKSEL EM İLE ÖĞRETİCİSİZ KAYNAK AYRIŞTIRMA...... 64 3.3.1 İstatistiksel Beklenti-Enbüyükleme........................................................... 64 3.3.2 Benzetim Sonuçları ..................................................................................... 68 3.4 DÖNGÜSEL SONSAL NOKTA KESTİRİMİ İLE KAYNAK AYRIŞTIRMA.......................................................................................................... 71 3.4.1 Parçacık Yöntemleri ................................................................................... 73 3.4.1.1 Ardışıl Öneme Göre Örnekleme............................................................. 74 3.4.1.2 Döngüsel Sonsal Nokta Kestirimi .......................................................... 75 3.4.2 Benzetim Sonuçları .................................................................................... 78 iii 3.4.3 IPP Yöntemi için Vargılar......................................................................... 81 4. BULGULAR .........................................................................................82 4.1 ASTROFİZİK İMGELERDE BİLEŞEN AYRIŞTIRMA ............................. 82 4.2 ASTROFİZİK İMGELER İÇİN BENZETİM SONUÇLARI....................... 84 5. TARTIŞMA VE SONUÇ .....................................................................92 KAYNAKLAR ..........................................................................................97 ÖZGEÇMİŞ ............................................................................................104 iv ŞEKİL LİSTESİ Şekil 2.1 Şekil 2.2 Şekil 2.3 Şekil 2.4 Şekil 2.5 Şekil 2.6 Şekil 3.1 Şekil 3.2 Şekil 3.3 Şekil 3.4 Şekil 3.5 Şekil 3.6 Şekil 3.7 Şekil 3.8 Şekil 3.9 Şekil 3.10 Şekil 3.11 : (a), (b) ve (c) sırasıyla 1., 2. ve 8. dereceden komşuluk sistemleri. (d) 1. dereceden komşuluk sistemi için klikler, (e) 2. dereceden komşuluk için (d)’dekilere ek olan klikler .......................................... 16 : ( sl ,n − sl ,m ) ’ye karşılık potansiyel fonsiyonları. Kesikli dikey çizgiler δ = 0.1 değerini göstermektedir r .......................................... 20 : Bir imgenin ve gradyeninin histogramları. Ayrıt imgenin histogramı özgün imgeninkine göre daha kolay modellenebilir .......................... 21 : İki iid birbiçimli kaynak ve doğrusal karışımları. Soldakiler zaman serilerini sağdakiler 2B saçılım diagramlarını göstermektedir. Gözlemlerden ters dönüşüm bulunabilir .................. 22 : İki iid Gauss kaynak ve doğrusal karışımları. Soldakiler zaman serilerini sağdakiler 2B saçılım diagramlarını göstermektedir. Gözlemlerden ters dönüşümün bulunması dairesel yapı yüzünden olanaksız ............................................................................................. 23 : İki iid Cauchy kaynak ve doğrusal karışımları. Soldakiler zaman serilerini sağdakiler 2B saçılım diagramlarını göstermektedir. Gözlemlerden ters dönüşüm bulunabilir ............................................ 23 : Birinci satır: Özgün imgeler; İkinci satır: (3.36)’daki A matrisi ile karıştırılmış imgeler ...................................................................... 42 : β parametresinin SNR’ye göre değişimi ........................................ 43 : ICM ve ICM-var yöntemlerinin gürültüsüz durum için ayrıştırma sonuçları.............................................................................. 44 : ICM ve ICM-var algoritmaları ile diğer algoritmalar için PSNR’ye göre ortalama PSIR iyileşmesi ........................................... 46 : SMICA, ICM ve ICM-var algoritmaları sonuçlarının 35 dB SNR’de görsel olarak karşılaştırılması ............................................... 47 : ICM-var algoritması ile birbirine karışmış kameraman ve yazı imgelerinin ayrıştırılması ..................................................................... 48 : Son 1000 döngüde elde edilen değerler kullanılarak oluşturulmuş histogramları. Birinci histogram: İkinci kaynağın (32,32)’nci pikselinin, ikinci histogram: A matrisinin (1,1)’inci elemanının, üçüncü histogram: gürültü değişintisinin histogramıdır .................... 58 : FPICA+GS-MRF ile GS-MRF algoritmalarının ayrıştırma sonuçları ile özgün imgeler arasındaki karesel hatalar ...................... 60 : FPICA, SMICA ve GS-MRF algoritmaları sonuçlarının 35 dB SNR’da görsel olarak karşılaştırılması ................................................ 61 : Farklı doku imgeleri için FPICA+GS-MRF ile FPICA ve SMICA algoritmaları sonuçlarının 35 dB SNR’de görsel olarak karşılaştırılması .................................................................................... 62 : SEM, GS-MRF ve ICM algoritmaları sonuçlarının 35 dB SNR’de görsel olarak karşılaştırılması ............................................................. 69 v Şekil 3.12 Şekil 3.13 Şekil 3.14 Şekil 4.1 Şekil 4.2 Şekil 4.3 Şekil 4.4 Şekil 4.5 Şekil 4.6 Şekil 4.7 Şekil 4.8 : 40 dB SNR altında doku imgeleri için benzetim sonuçları. Birinci sütun, karışmış imgeler; ikinci sütun, özgün imgeler; üçüncü sütun, IPP; dördüncü sütun, FPICA; beşinci sütun, GS ............................... 79 : 16, 32 ve 64 parçacık için döngü sayısına karşın üçüncü kaynağın PSIR’sinin değişimi. var(PSIR), son 500 döngü kullanılarak hesaplanmış değişintilerdir ................................................................ 80 : Bir pikselin örneklenmiş dağılımları ................................................ 80 : (a) Özgün astrofizik imgeler, (b) Gibbs örnekleme ile kestirilen imgeler ................................................................................ 84 : Birinci satır: Şekil 4.1’deki astrofizik imgelerin histogramları. İkinci satır: Bileşenlere ait ayrıt (gradyen) imgelerinin histogramları. Düz (kırmızı) çizgi yaklaşık Cauchy dağılımını göstermektedir .................................................................................... 85 : Şekil 4.1’deki astrofizik bileşenlerin DFT’lerinin genlikleri ........... 85 : 30, 44, 70, 100, 143, 217, 353, 545, ve 857 GHz’deki gerçek gözlemlere benzetilen yapay karışım imgeleri ................................... 87 : Gürültüsüz durumda tüm yöntemlerin CMB ve synchrotron için PSIR sonuçlarının dağılımı ................................................................ 88 : Gürültü eklenmiş yapay astrofizik bileşenlerin karışımları. SNR değerleri herbir imgenin üzerinde gösterilmiştir ................................ 89 : SOBI 2B SMICA ve GS-MRF ile gürültülü gözlemlerden ayrıştırılan astrofizik bileşenler .......................................................... 90 : SEM, ICM-var ve GS-(GMRF+CMRF) ile gürültülü gözlemlerden ayrıştırılan astrofizik bileşenler ................................... 91 vi TABLO LİSTESİ Tablo 1.1 Tablo 2.1 Tablo 3.1 Tablo 3.2 Tablo 3.3 Tablo 3.4 Tablo 3.5 Tablo 3.6 Tablo 3.7 Tablo 3.8 Tablo 3.9 Tablo 3.10 Tablo 3.11 Tablo 3.12 Tablo 3.13 Tablo 3.14 : Ayrıştırma yöntemlerinin Bayesçi bakış açısı ile karşılaştırılması ... 8 : SMICA algoritması ......................................................................... 31 : Newton-Raphson adımları ile ICM algoritması. Δ PSIR: Tepe İşaret Girişim Oranındaki (PSIR: Peak Signal-to-Inference Ratio) değişimi ve e kullanıcı tarafından belirlenen en küçük değişim miktarını göstermektedir ................................................................... 35 : Yaklaşık önsel ile ICM-var algoritması .......................................... 40 : ICM yöntemleriyle, FPICA, SOBI 1B (70 öteleme), SOBI 2B (8 öteleme), SMICA (4 frekans bandı) yöntemlerinden elde edilen ortalama PSIR değerlerinin karşılaştırılması ..................................... 43 : ICM yöntemleriyle, FPICA, SOBI 1B (70 öteleme), SOBI 2B (8 öteleme), SMICA (4 frekans bandı) yöntemlerinden elde edilen M ( R ) ölçüsünün karşılaştırılması .................................................... 44 : ICM ve ICM-var yöntemlerinin hesap yüklerinin karşılaştırılması. 47 : Bir kaynak imgesi için Metropolis algoritması. qn ( sl , n , w) : l ’inci imgenin n ’inci pikseli için öneri dağılımı; u : [0,1] aralığında birbiçimli pozitif rasgele sayı; w : denemek için üretilen rasgele sayı; r : üretilen örneğin kabul olasılığı ........................................... 54 : Metropolis gömülü Gibbs örneklemenin bir döngüsü ..................... 55 : GS-iid ve GS-MRF yöntemleriyle, FPICA, SOBI 1B (70 öteleme), SOBI 2B (8 öteleme), SMICA (4 frekans bandı) yöntemlerinden elde edilen ortalama PSIR değerlerinin karşılaştırılması ................................................................................. 58 : GS-iid ve GS-MRF yöntemleriyle, FPICA, SOBI 1B (70 öteleme), SOBI 2B (8 öteleme), SMICA (4 frekans bandı) yöntemlerinden elde edilen M ( R ) ölçüsünün karşılaştırılması ....... 59 : Gürültüsüz durumda kaynak imgelerin bireysel PSIR (dB) değerleri ............................................................................................. 59 : Şekil 3.10’daki imgeler için FPICA+GS-MRF yöntemiyle, FPICA, SOBI 1B (70 öteleme), SOBI 2B (8 öteleme), SMICA (4 frekans bandı) yöntemlerinden elde edilen ortalama PSIR değerlerinin karşılaştırılması ............................................................. 61 : Şekil 3.10’daki imgeler için FPICA+GS-MRF yöntemiyle, FPICA, SOBI 1B (70 öteleme), SOBI 2B (8 öteleme), SMICA (4 frekans bandı) yöntemlerinden elde edilen M ( R ) ölçüsünün karşılaştırılması ................................................................................. 62 : SEM algoritması ............................................................................. 68 : 35 dB PSNR altında GS-MRF, ICM ve SEM algritmalarının karşılaştırılması. İkinci sütün: PSIR (dB) değerleri üçüncü sütun: vii Tablo 3.15 Tablo 3.16 Tablo 3.17 Tablo 4.1 Tablo 4.2 Tablo 4.3 Tek bir döngünün saniye olarak işlem süresi; dördüncü sütun: Döngü sayısı; beşinci sütun: Dakika olarak toplam süre ................... 69 : Üç kaynak için 35 dB PSNR altında GS-MRF ve ICM’de sabit seçilen ve SEM’de kestirilen β ve δ parametreleri......................... 70 : Döngüsel sonsal nokta kestirimi ile kaynak ayrıştırma algoritması ............................................................................................................ 78 : Parçacık sayılarına göre PSIR (dB) değerleri. Üçüncü sütun: tek bir döngünün saniye olarak işlem süresi; dördüncü sütun: döngü sayısı; beşinci sütun: dakika olarak toplam süre ................................ 79 : Gürültüsüz durumda ayrıştırılan bileşenlere ait PSIR (dB) ve karışım matrisi için M ( R ) değerleri ................................................. 87 : Astofizik bileşenler için kullanılan kaynak modelleri .................... 88 : Gürültülü durumda ayrıştırılan bileşenlere ait PSIR (dB) ve karışım matrisi için M ( R ) değerleri ................................................. 91 viii SEMBOL LİSTESİ A ak , l : Karşım Matrisi : Karışım matrisinin elemanı α g (.) H hm , n : α -kararlı dağılımın parametresi : α -kararlı dağılımının momentinin hesaplanmasında kullanılan fonksiyon : Özdeğerlerden oluşan köşegen beyazlatma matrisi : Birinci dereceden piksel komşularının kümesi : x pikselinin komşularının kümesi : MRF Gibbs dağılımının parametresi : Ayrıt imgesinin bağımsız fakat duruğan olmayan değişinti matrisinin tersi : Klikler kümesi : MRF klikleri gösteren indis : Gamma integrali fonksiyonu : Karışım matrisinin sonsal dağılımının değişintisi : Metropolis kabul oranında kullanılan değişken : Uzamsal frekans bölgesi : Komşu pikselleri gösteren indis : Metropolis’teki birbiçimli öneri dağılımının genişliğinin yarısı : Cauchy dağılımının ölçek parametresi : Delta Dirac fonksiyonu : Algoritmalardaki durma kriteri : Gürbüz hatanın beklenen değeri : Yüksek geçiren süzgeç operatörü : Frekans bölgesini gösteren indis : α -kararlı dağılımın karakteristik fonksiyonu : İmgeler için yönlü gradyen operatörü : Gürbüz hata fonksiyonu : Hessian matrisinin köşegeninden oluşan matris : Çizgi alanı I i J j K k κ L : Pikseller için toplam parçacık sayısı : Rasgele piksel değişkenlerinin aldığı yeğinlik değeri : Kaışım matrisi için toplam parçacık sayısı : Rasgele piksel değişkenlerinin aldığı yeğinlik değeri : Tolam gözlem sayısı : Gözlem sayısını gösteren indis : Endik iniş adım büyüklüğü : Tolam kaynak imge sayısı B (.) B̂ B1 Bx β C C c Γ(.) γ D D d Δ δ δ (.) e ε F f ϕ (.) G ix l A λ m μ N n O P p p (.) Π π π (.) Ψ ψ Q (. | .) q (.) R r ρ (.) S s s Σ σ2 T t U V v ν W w w ξ Y y y η Z (.) z ζ Ω Ω0 ω : Kaynak imge sayısını gösteren indis : Frekans bölgesini gösteren indis : Çizgi alanının katsayısı : Ayrık uzamsal piksel indisi : Karışım matrisinin sonsal dağılımının ortalaması : Toplam piksel sayısı : Ayrık uzamsal piksel indisi : Döngü sayısı : Markov zincirindeki geçiş olasılığı matrisi : Momentin ve gürbüz hata fonksiyonunun derecesi : Olasılık yoğunluk fonksiyonu : Çarpım sembolü : pi sayısı : Markov zincirinin limit dağılımı : Rasgele imgelerin oluşturduğu örneklem uzayı : Rasgele imgelerin örneklem uzayından bir örneklem : EM yönteminin maliyet fonksiyonu : Öneri dağılımı : Karışım matrisinin tersiyle kendisinin çarpımından oluşan matris : Metropolis kabul oranı : Gibbs dağılımının potansiyel fonksiyonu : Kaynak imgelerden oluşan matrisi : Kaynak imgelerin vektör gösterimi : Kaynak imgelerin piksel bölgesi gösterimi : Toplam sembolü : Gürültü değşintisi : Sıcaklık parametresi : Döngü sayısını gösteren indis : Dikgen matris : Gürültü matrisi : Gürültü vektörü : Rasgele adım süreci : Karışım matrisinin tersi : Parçacık ağırlıklarının vektör gösterimi : Parçacık ağırlıkları : Gamma integralindeki değişken : Gözlem imgelerden oluşan matrisi : Gözlem imgelerin vektör gösterimi : Gözlem imgelerin piksel bölgesi gösterimi : Ölçeklenmiş ters chi-kare dağılımının serbetlik derecesi : Gibbs dağılımın bölüntü fonksiyonu : Gürültünün ortalama gücü : FPICA yönteminin adım büyüklüğü : MCMC’deki döngü sayısı : MCMC’de alıştrıma dönemindeki döngü sayısı : MCMC’deki döngü sayısını gösteren indis x ∇ ςi : Gradyen operatörü : i ’nci pikselin kabul olasılığı xi KISALTMALAR LİSTESİ AR BF BSS CMB COBE DFT ESA fMRI FPICA GNC GS ICA ICM i.i.d IPP IS LMS MAP MFA MCMC ML MRF MSE NBF PL PSIR SA SEM SMICA SNR SOBI WMAP : Auto-Regressive; Özbağlanımlı : Belief Propagation; İnanç Yayılımı : Blind Source Separation; Gözü kapalı Kaynak Ayrıştırmada : Cosmic Microwave Background; Kozmik Mikrodalga Arkafon : COsmic Background Explorer; Kozmik Arkafon Kaşifi : Discrete Fourier Transform; Ayrık Fourier Dönüşümü : European Space Agency; Avrupa Uzay Ajansı : functional Magnetic Resonance Imaging; İşlevsel Magnetik Rezonans Görüntüleme : Fixed Point Independent Component Analysis; Sabit Noktalı Bağımsız Bileşen Analizi : Graduated Non-Convexity; Aşamalı Dışbükeysizlik : Gibbs Sampling; Gibbs örneklemesi : Independent Component Analysis; Bağımsız Bileşen Analizi : Iterated Conditional Mode; Döngüsel Koşullu Doruk : independent and identically distributed; bağımsız ve özdeşçe dağılmış : Iterated Posterior Point; Döngüsel Sonsal Nokta : Importance Sampling; Öneme göre Örnekleme : Least Mean Square; Enküçük Ortalama Karesel : Maximum-a-Posteriori; Enbüyük Sonsal : Mean Field Approximation; Ortalama Alan Yaklaşıklığı : Markov Chain Monte Carlo; Markov Zinciri Monte Carlo : Maximum Likelihood; Enbüyük Olabilirlik : Markov Random Field; Markov Rasgele Alanları : Mean Square Error; Ortalama Karesel Hata : Nonparametric BF; Parametrik olmayan İnanç Yayılımı : Pseudo Likelihood; Sözde Olabilirlik : Peak Signal-to-Inference Ratio; Tepe İşaret-Girişim Oranı : Simulated Annealing; Benzetimli Tavlama : Stochastic Expectation-Maximization; İstatistiksel BeklentiEnbüyükleme : Spectral Matching ICA; Spektral Eşleme ICA : Signal-to-Noise Ratios; İşaret-Gürültü Oranı : Second Order Blind Identification; İkinci Dereceden Gözükapalı Tanılama : Wilkinson Microwave Anisotropy Probe; Wilkinson Mikrodalga Yönbağımlılık Sondası xii ÖZET İMGE KAYNAKLARININ AYRILMASINDA BAYESÇİ YAKLAŞIMLAR Bu tezde, imgelerde kaynak ayrıştırma problemi için genel bir çözüm yöntemi tanıtılmıştır. Ayrıştırma sürecinde, diğer mevcut çalısmalardan farklı olarak, imgelerdeki uzamsal bağımlılık Markov Rasgele Alanları (MRF: Markov Random Field) ile modellenmiştir. MRF modelinde, fark imgeler için Cauchy dağılımı kullanılmıştır. Bayesçi yaklaşım, kaynaklar hakkındaki önsel bilginin de ayrıştırma problemine katılmasını sağlamaktadır. Kaynak ayrıştırmada karışım matrisi ve gürültü değişintileri de bilinmediğinden kaynaklar, karışım matrisi ve gürültü değişintilerinin ortak kestiriminin elde edilmesindeki zorluğun üstesinden sayısal yöntemler kullanılarak gelinmiştir. Sayısal çözüm için dört farklı yöntem önerilmiştir. Bunlardan birincisinde, MRF'nin genel Gibbs dağılımıyla analitik olarak çalışmanın zorluğu bu dağılımın yönlü Gauss'ların çarpımına yaklaştırılmasıyla aşılmıştır. Kaynaklar yaklaşık dağılımın önsel olarak kullanıldığı Enbüyük Sonsal (MAP: Maximum-a-Posteriori) kestirimi ile bulunmuştur. İkinci yöntem Markov Zinciri Monte Carlo'yu (MCMC: Markov Chain Monte Carlo) kullanan tam Bayesçi bir yöntemdir. Metropolis adımları gömülerek değiştirilen Gibbs örnekleme yöntemi ile kaynaklar, karışım matrisi ve gürültü değişintilerinin ortak kestirimi bulunmuştur. Üçüncü yöntem ikincinin MRF parametrelerini de kestirecek şekilde genişletilmesiyle elde edilmiştir. Dördüncü yöntemde kaynak piksellerinin nokta kestirimlerini döngüsel olarak bulmak için öneme göre örnekleme kullanılmıştır. Önerilen yöntemler Döngüsel Koşullu Doruk (ICM: Iterated Conditional Mode) gibi Bayesçi ve Sabit Noktalı Bağımsız Bileşen Analizi (FPICA: Fixed Point Independent Component Analysis), İkinci Dereceden Gözükapalı Tanılama (SOBI: Second Order Blind Identification) ve Spektral Eşleme ICA (SMICA: Spectral Matching ICA) gibi Bağımsız Bileşen Analizi (ICA: Independent Component Analysis) tabanlı yöntemlerle karşılaştırılmıştır. Yöntemlerin başarımları hem sentetik doku imgeleri karışımlarında hem de astrofizik imgelerde çesitli gürültü koşulları altında sınanmıştır. Yöntemler halen keşfedilmemiş bir nokta olan astrofizik kaynakların ayrıştırılması probleminde kullanılmıştır. Bu problem yayımlanan WMAP ( Wilkinson Microwave Anisotropy Probe) uydu sonuçları ve beklenen PLANCK uydu ölçümlerinden dolayı çok önemli bir gerçekliktir. Önerilen yöntemlerle diğer yöntemlere göre daha iyi sonuçlar alınmıştır. xiii SUMMARY BAYESIAN APPROACHES in IMAGE SOURCES SEPARATION In this thesis, a general solution to the component separation problem in images is introduced. Unlike most existing works, the spatial dependencies of images are modelled in the separation process with the use of Markov random fields (MRFs). In the MRFs model, Cauchy density is used for the gradient images. We provide a general Bayesian framework for the estimation of the parameters of this model. Due to the intractability of the problem we resort to numerical solutions for the joint maximization of the a posteriori distribution of the sources, the mixing matrix and the noise variances. For numerical solution, four different methods are proposed. In first method, the difficulty of working analytically with general Gibbs distributions of MRF is overcome by using an approximate density. In this approach, the Gibbs distribution is modelled by the product of directional Gaussians. The sources are estimated by Maximum-aPosteriori (MAP) estimation using the approximate density as the prior. The second method that uses the Markov Chain Monte Carlo (MCMC) is a fully Bayesian method. In this method, modified-Gibbs embedded with the Metropolis steps is used to find the joint estimate of sources, mixing matrix and noise variances. The third method is improved version of the second method by adding learning steps of the MRF parameters. In the last method, importance sampling is used to find point estimates of source pixels iteratively. The proposed methods are contrasted to approximate Bayesian solutions such as Iterated Conditional Modes (ICM) and to non-Bayesian solutions of Independent Component Analysis (ICA) variety namely, Fixed Point Independent Component Analysis (FPICA), Second Order Blind Identification (SOBI) and Spectral Matching ICA (SMICA). The performance of the method is tested on synthetic mixtures of texture images and astrophysical images under various noise scenarios. The techniques have been exploited in yet unexplored issues for the astrophysical source separation problem which has important actuality due to the WMAP satellite results published and the PLANCK satellite measurements anticipated. The proposed methods are shown to outperform significantly both its approximate Bayesian and non-Bayesian competitors. xiv 1 1. GİRİŞ Görüntüleme sistemlerinde, özgün imge veya imgeler bir takım bozulmalara uğrar. Bunlardan bazıları şöyle sıralanabilir: Odaklamadan ve kamera açıklığından kaynaklanan optik bozulmalar, zamandaki örnekleme sonucu oluşan hareket bulanıklığı, algılayıcılar tarafından üretilen veya iletim esnasında oluşan gürültü ve sonlu sayıda algılayıcı kullanılması sebebiyle oluşan sahte spektrum etkisidir. Bu bozulmaları dikkate alarak kurulan gözlem modeline ileri yönde imge modeli denilebilir. Gözlemlenen imgelerden geriye doğru gidip özgün imge veya imgelerin bulunması işlemine tersine imge problemi denir. İleri imge modelinin doğrudan tersinin bulunması, çok noktanın tek noktaya eşlenmesi sonucu ortaya çıkan iğretilik (ill-posedness) ve gürültüden kaynaklanan belirsizlikten dolayı kolay değildir. Tersine problemler imge işleme alanında en fazla yer tutan zor uğraşlardan bir tanesidir. Tersine imge problemlerine birçok örnek verilebilir. Gürültü temizlemede, gerçek durumu bilinmeyen kaynak imge, gürültülü bir gözlemden kestirilirken imge onarımında gürültünün yanında görüntüleme sisteminin nokta dağılım fonksiyonundan kaynaklanan bulanıklık da giderilmeye çalışılır [1,2,3]. Süper çözünürlüklü imge geriçatımında amaç örnek seyreltilmiş, bulanıklaşmış ve gürültü eklenmiş düşük çözünürlüklü imgelerden yüksek çözünürlüklü bir imge elde etmektir [4,5,6]. Gözü kapalı Kaynak Ayrıştırmada (BSS: Blind Source Separation) amaç, kaynakların farklı oranlarda karışmasıyla oluşmuş K adet gözlemden, L adet kaynağın bağımsız olarak geri elde edilmesidir. İşlemin gözü kapalı olması demek sadece kaynakların değil karışıma yol açan karışım matrisi ve gürültü değişintilerinin de bilinmemesidir. Bayesçi kestirim yöntemleri bu problemin çözümü için etkili ve düzenli bir yol sağlamaktadır. Bu tezde imge kaynaklarının ayrıştırılması problemi göz önüne alınmıştır. İmge kaynaklarının ayrıştırılmasına bazı gerçek yaşam uygulamalarında gereksinim duyulmaktadır. Bunlardan bazıları astrofizik imgeler, belge işleme ve fMRI (functional Magnetic Resonance Imaging) verilerinin analizi olarak sıralanabilir. Astrofizik imgeler 2 farklı frekanslarda çalışan antenlerle elde edilmiş gözlemlerden oluşur. Bu gözlemlerden birbirine karışmış farklı astrofizik bileşenlerin ayrıştırılması gerekmektedir [7]. Belge işleme alanında ise tarama ile elde edilmiş imgelerde arka sayfanın ön sayfaya sızması probleminin ortadan kaldırılması ve silinerek tekrar tekrar kullanılmış olan tarihi parşömen belgelerindeki altta kalan yazıların ortaya çıkarılmasında kaynak ayrıştırma kullanılmaktadır [8]. fMRI imgelerinde ise beynin farklı bölgelerinde oluşan etkinlik haritalarının uzamsal ve zamansal olarak ayrıştırılması işleminde kaynak ayrıştırmaya gereksinim duyulmaktadır [9]. Bu tezde, bu uygulamalardan astrofizik bileşenlerin ayrıştırılması üzerinde durulmuştur. Klasik kaynak ayrıştırma yöntemleri kaynakların birbirinden bağımsız olması kabulüne dayanır. Doğrusal olmayan karışımlar için önerilen çözümler olsa da [10], klasik yöntemlerdeki en genel kabul karışımın doğrusal olmasıdır. Bu çalışmada gözlemler, bilinmeyen kaynakların bilinmeyen doğrusal karışımları olarak modellenmiştir. Bir başka deyişle ne kaynaklar ne de karışım mekanizması bilinmektedir. Kaynak ayrıştırma problemi için en fazla kullanılan terimlerden bir tanesi de Bağımsız Bileşen Analizidir (ICA: Independent Component Analysis) [11]. Klasik ICA tabanlı yöntemler dört yaklaşım altında toplanabilir. Bunlardan bir tanesi karışım matrisinin katsayılarını kaynaklar arası karşılıklı bilgiyi enküçük yapacak şekilde bulmaktır [12]. Çok iyi bilinen ICA yöntemi, sabit noktalı (Fixed Point) veya hızlı (Fast) ICA (FPICA veya FastICA) [13] bu yaklaşıma dayanmaktadırlar. FPICA yönteminde kaynaklar ve gürültüyle ilgili herhangi bir kabul yapılmaz. Gürültünün temizlenmesi için ya gözlemler bir ön süzgeçleme ya da ayrıştırılan kaynaklar bir art süzgeçleme işleminden geçirilir. FPICA’da bu işlem bazı bilgilerin kaybına ve ayrıştırma başarımının kötüleşmesine yol açabilir. İkinci yaklaşımda, kaynakların ve karışım matrisinin olabilirliği enbüyüklenmeye çalışılır [14]. Üçüncü yaklaşım kaynakların Gauss olmamasını enbüyüklemeye dayanmaktadır. Bu yaklaşımda Gauss olmama ölçüsü olarak kurtosis [15], Gauss momentleri [16] ve negentropi [11] kullanılabilir. Dördüncü yaklaşım ise ayırıcılığı sağlamak için kaynaklardaki zaman ilintisi veya beyaz olmamayı kullanmaktadır [17,18]. İkinci Dereceden Gözü kapalı Tanılama (SOBI: Second Order Blind Identification) 3 algoritması [17] ikinci derece durağan istatistikleri kullanarak kaynak işaretlerindeki zaman uyumunu işin içine katmış ve gürültüyü de dikkate almıştır. Herhangi bir 1B yöntemi, 2B işaretleri 1B olacak şekilde dizerek 2B’ye uygulamak mümkün olmasına rağmen 2B’nin tüm potansiyeli kullanılmamış olur, çünkü piksel komşulukları arası farklı etkileşimlerden yararlanılmamaktadır. Bu çalışmada, 2B yerel bilginin kaybolmaması için en basit komşuluk olan birinci dereceden piksel komşulukları kullanılmıştır. İleriki çalışmalarda daha yüksek dereceden komşuluklar da kullanılabilir. Karşılaştırma amacıyla SOBI algoritması da 1B’deki zaman gecikmeleri yerine uygun 2B ötelemeler ile 2B’ye uyarlanmıştır. Karşılaştırmanın en eşit ve uygun şartlarda yapılması için birinci derece ötelemeler kullanılmıştır. Kaynak ayrıştırma çalışmaları Bayesçi çerçeve altında gelişme göstermektedir. Klasik ICA tabanlı yöntemlere karşı Bayesçi yaklaşımla tüm değişkenlere ve parametrelere ait önsel bilgi çözüme katılmaktadır. Örneğin, gözlem gürültüsü sıklıkla bağımsız ve özdeş dağılımlı köşegen değişinti matrisli sıfır ortalamalı Gauss olarak kabul edilir. İmge ayırma bağlamında ise kaynak pikseller arasındaki uzamsal bağımlılık modeli önsel bilgi olarak kullanılabilir. İğreti (ill-possed) problemlerde, önsel bilgi kullanımı her zaman daha gerçekçi ve akılcı kestirimlerin elde edilmesini sağlar. Pikseller arası ilişkinin Markov Rasgele Alanı (MRF: Markov Random Field) olarak modellenmesi ile pikseller artık herhangi bir 2B yapıya sahip olamayacaktır. Pikseller artık birbirinden bağımsız hareket edemeyeceği için kaynak ayrıştırmadaki çözüm uzayı da bir miktar küçülmüş olacaktır. Bayesçi yaklaşım ayrıca tüm parametreler için eniyi çözümün bulunabilmesine uygun bir çerçeve sağlamaktadır. Bayesçi kaynak ayrıştırma alanında yapılan ilk çalışmalar [14], [19], [20] ve [21]’de bulunabilir. Ayrık kaynakların ayrıştırılması için Enbüyük Olabilirlik (ML: Maximum Likelihood) kestirimi Belouchrani ve diğ. [14] tarafından Beklenti-Enbüyükleme (EM: Expectation-Maximization) algoritması ile bulunmuştur. Knuth [19] BSS probleminin Bayesçi çatı altında tekrar düzenlenebileceğini göstermiştir. Mohammad-Djafari [20] olabilirlik fonksiyonunu oluşturup, kaynaklar ve karışım matrisi için önsel olasılık yoğunluk fonksiyonları atamıştır. Rowe [21] da BSS problemi için Bayesçi çözümü önermiş ve Döngüsel Koşullu Doruk (ICM: Iterated Conditional Mode) ve Gibbs örneklemesi (GS: Gibbs Sampling) yordamlarını kullanmıştır. 4 Bayesçi kaynak ayrıştırma algoritmaları iki yaklaşım altında toplanabilir. Birinci yaklaşımda, kaynaklar saklı (gizli) değişkenler olarak kabul edilir [14] ve işlem iki aşamada gerçekleştirilir: 1) Karışım matrisini ve gözlem gürültüsünün değişintisini öğrenmek , 2) Kaynakları bu öğrenilen parametrelere göre kestirmek. Bu yaklaşımdaki yöntemler kaynaklar üzerinden integral almayı gerektirdiği için analitik olarak integrali alınabilen olasılık modelleri tercih edilir. Bu yaklaşım, farklı kaynak modelleri ile çeşitli uygulamalarda kullanılmıştır. Bu çalışmalardan bazıları şöyle sıralanabilir: Gauss’ların karışımı modelindeki parametreler Moulines ve diğ. [22], Snoussi ve diğ. [23] ve Attias [24] tarafından EM yöntemi ile elde edilmiştir. Miskin [25] aynı amaçla değişimsel EM yöntemini kullanmıştır. Miskin [25], ve Kuruoğlu ve diğ. [26] kendi yöntemlerini çeşitli imge ayrıştırma problemlerine uygulamışlardır. Karmaşık modeller için integraller kolay hesaplanamayabilir. İkinci yaklaşımda, tüm değişkenlere ait ortak kestirimin bulunması için değişkenlerin hepsine ait ortak sonsal dağılım kullanılır. Bu yaklaşımda, Bayesçi kaynak ayrıştırma problemi kaynaklar, karışım matrisi ve gürültünün değişintisinin ortak sonsal dağılımı enbüyüklenerek çözülür. Sonsalın ortak enbüyüklemesi genellikle kolay gerçekleştirilebilen bir işlem olmadığından birçok sayısal yöntem önerilmiştir. Ortak sonsalın doruksal kestiriminin bulunması için bir yöntem ICM’dir. Bu yöntemle herbir değişkene ait koşullu olasılık yoğunluk fonksiyonları üzerinde enbüyükleme döngüleri uygulanır [21]. Eğer koşullu dağılımın doruk noktası analitik olarak bulunamıyorsa, herhangi bir belirlenimci eniyileme yöntemi kullanılabilir. Ne var ki, eğer sonsal dağılım Gauss biçiminde değilse ICM yöntemi global tek çözümü garanti etmez. Diğer bir seçenek sonsal dağılımdan rasgele örnekler üretilerek çözüme yaklaşılan, bir Monte Carlo yöntemi olan Gibbs örneklemesidir. Rasgele adımlardan oluşan bu benzetimde bir alıştırma (kızdırma) dönemi ardından üretilen rasgele örnekler, doğru ortak sonsal dağılımdan gelmeye başlayacaktır. Bundan sonra elde edilen örneklerden hem MAP hem de Ortalama Karesel Hata (MSE: Mean Square Error) kestirimi elde edilebilir. Kaynak ayrıştırma çalışmalarının ilerlediği başka bir alan da kaynak modelleme problemidir. Basit bağımsız ve özdeşçe dağılmış (i.i.d: independent and identically distributed) Gauss modeli kaynak ayrıştırma için gerçekçi bir model olmamasına 5 rağmen Cardoso ve diğ. [27,28] durağan Gauss modelini kullanmış ve ayrıştırılabilme özelliği olarak spektral çeşitliliği işin içine katmıştır. Sıkça kullanılan diğer bir i.i.d model ise Gauss’ların karışımıdır [22], [23], [24], [25], [26]. Hosseini ve diğ. [29] kaynakları Markov zinciri modeli kullanarak ayrıştırmayı önermiştir. Böylelikle kaynakların zaman ilinti bilgisi kullanılabilmektedir. Bu yöntemlerin bazıları [25], [26] pikseller arka arkaya dizilerek 2B imgelere uygulanmış olmasına rağmen gerçek 2B durum ihmal edilmektedir. İmgelerin bu şekilde 1B olarak işlenmesi imgelerdeki zengin 2B yapının tam olarak işin içine katılmasını engelleyebilir. Literatürde 2B’ye özel Bayesçi kaynak ayrıştırma çalışmaları da vardır. Tonazzini ve diğ. [30] gözü kapalı ayrıştırma için MRF kaynak modelini önermişlerdir. [30]’da, benzetimli tavlama (SA: simulated annealing) yordamı içinde karma bir sıralı enbüyükleme yöntemi kullanmışlardır. Kaynaklar dışbükey ve dışbükey olmayan enerji fonksiyonları ile modellenmiş ve belirlenimci eniyileme yöntemi ile kestirilmiştir. Karışım matrisi ise Metropolis yöntemi ile güncellenmiştir. Snoussi ve diğ. [31], kaynaklar için Gauss MRF modeli ve karışım imgelerinin ortak ayrıştırılması ve bölütlenmesi için hızlı bir Markov zinciri Monte Carlo (MCMC: Markov Chain Monte Carlo) algoritması önermişlerdir. Kuruoğlu ve diğ. [32] pikseller arası etkileşimi modellemek için MRF modeli ve ayrıt koruyucu düzenlileştiricileri kullanmışlardır. Çalışmalarında, karışım matrisinin parametrelerini Enbüyük Olabilirlik (ML: Maximum Likelihood) kestirimi ile bulurken kaynak pikselleri döngüsel olarak eniyileyerek kestirmişlerdir. Bir başka çalışmada [8], ortalama alan yaklaşıklığı (MFA: Mean Field Approximation) MRF’ye uygulanmış ve kaynaklar ve karışım matrisi EM algoritması ile kestirilmiştir. Ortalama alan yaklaşımı her piksel yerel olarak durağan olan bir Gauss dağılımı olarak kabul edilerek elde edilir. Bu çalışmada, gürültü değişintisi ve Gibbs dağılımının parametreleri sabit kabul edilmiştir. MRF modelinde olasılık yoğunluk fonksiyonları genellikle Gibbs biçiminde verilmektedir. Gibbs dağılımı klik enerjilerinden oluşturulan bir dağılım biçimidir. Gibbs dağılımında ayrıt koruma için seçilen dışbükey olmayan potansiyel fonksiyonları, belirlenimci eniyilemeyi zorlaştırmakta ve eniyi noktaya yakınsama garanti olmamaktadır. MAP kestiriminin bulunması için kullanılan yöntemler belirlenimci ve istatistiksel olarak ikiye ayrılabilir. Belirlenimci yöntemlerin başarımı maliyet 6 fonksiyonunun dışbükeyliğine kuvvetli bir şekilde bağlıdır. En dik iniş ve NewtonRaphson en çok kullanılan belirlenimci yöntemlerdir. İstatistiksel yöntemler dışbükey olmama durumundan pek etkilenmezler. Bu yüzden MC benzetiminde kullanılan Gibbs örnekleme ve benzetimli tavlama gibi yöntemler yerel enküçük noktalara saplanma probleminden kurtulmaktadırlar. Önerilen yöntemler astrofizik imgelere uygulanmıştır. Çünkü astrofizik imgelerin ayrıştırılmasına halen devam etmekte olan PLANCK projesinde [33], gereksinim duyulmaktadır. Maino ve diğ. [34], hızlı ICA algoritmasını gürültüsüzlük kabulu altında astrofiziksel bileşen ayrıştırmada kullanmışlardır. SMICA algoritması durağan Gauss modelli astrofizik bileşenleri için [27] ve [28]’de geliştirilmiştir. Piksellerin Gauss olarak dağılmış olmalarına karşın karışmış bileşenlerin Fourier bölgesinde ayrılabilir olduğu kabul edilmektedir. [27]’deki çalışmanın tam Bayesçi sürümü [35]’te önerilmiştir. Bu sürümde, karışım matrisi, gürültü ve kaynakların değişinti matrislerinden frekans bölgesinde Gibbs örnekleme ile rasgele örnekler üretilmiştir. Karışım ve gürültü değişinti matrislerinin en son kestirimleri Markov zincirinin deneysel ortalaması kullanılarak bulunmuştur. Bu aşamadan sonra, kaynak bileşenler [27]’de olduğu gibi Wiener süzgeç ile bulunmaktadır. SOBI yaklaşımı [36]’da ilintili astrofizik imgelere uygulanmıştır. Astrofizik bileşen ayrıştırmada MRF modeli ilk olarak [32]’de kullanılmıştır. Bileşenlerin ve karışım matrisinin ortak kestirimi ICM tabanlı Bayesçi bir yöntemle bulunmuştur. Bu tezde, Bayesçi imge ayrıştırma problemi için yeni sayısal çözüm yöntemleri sunulmuştur. Tezde sunulan yöntemlerin diğer çalışmalar arasındaki yerini göstermek için Tablo 1.1 hazırlanmıştır. Bu tabloda tüm yöntemler Bayesçi bakış açısı ile değerlendirilmiş ve herbir yöntemde kullanılan olabilirlik, önsel dağılım ve algoritmalar sunulmuştur. Çalışmanın diğer çalışmalardan ayrılan tarafı: 1. MRF ile modellenmiş imgeler için tam Bayesçi MCMC kestirimi bu tezde sunulmuştur. MCMC yöntemi negatif logaritması dışbükey olmayan piksel önselleri için en iyi kestirim yöntemidir. Bu sayede yerel eniyi noktalara saplanma şansı deterministik eniyileme yöntemlerinde olduğundan çok daha azdır. Kaynaklar, karışım matrisi ve gürültü değişintilerinin ortak sonsal 7 dağılımının enbüyük değerini bulmak için Gibbs örnekleme yöntemi kullanılmıştır. Bu yöntemle herbir değişkenden rasgele örnekler üretilerek, üretilen örneklerin ortak sonsal dağılımdan gelmesi beklenir. Belirli bir alıştırma döneminden sonra üretilen rasgele örneklerin ortak sonsal dağılımdan geldiği kabul edilir. Kaynak ayrıştırma için önerilen Gibbs örnekleme algoritmasının içine örnek üretilmesi zor olan MRF ile modellenmiş imgeler için Metropolis adımları gömülmüştür. MRF imge modeli kaynak ayrıştırmada daha önce kullanılmış olmasına karşı [30], [31], [32], [8], MCMC yöntemi ile MRF kaynaklarının ayrıştırılması ilk defa bu tezde sunulmuştur. 2. İmge modeli olarak ayrıt (gradyen) imgeleri için Cauchy modeli kullanılmıştır. MRF’deki bu uzamsal bağımlı piksel modeli ayrıtların keskinliğini korurken aynı zamanda uzamsal bağımlılığa dayalı bir ayrıştırma özelliği sağlamaktadır. Bu özellik imgelerde bağımsız ve özdeş Gauss olmama özelliğine göre daha iyi bir modeldir ve daha iyi ayrıştırma sonuçları elde edilmiştir. 3. Daha önceki MRF modeli kullanılarak yapılan kaynak ayrıştırma problemlerinde [26], [32], [8] MRF parametreleri sabit kabul edilmiştir. MRF modelinin yaklaşımı olan sözde olabilirlik yaklaşıklığı MRF parametrelerinin kestirilmesi için bu tezde kullanılmıştır. 4. Sunulan yöntemler literatürdeki rakip yöntemlerle karşılaştırılmıştır. Bu yöntemler ICA tabanlı Gauss olmamaya dayalı olan FPICA, beyaz olmamaya dayalı olan SOBI ve spektral çeşitlemeye bağlı SMICA ile i.i.d kaynak modelli Bayesçi yöntemdir. 5. Önerilen Bayesçi yaklaşımlar ve MC çözümleri asrtrofizik imge ayrıştırma probleminde sınanmıştır. Elde edilen sonuçlar MRF modeli ve Bayesçi çözüm yöntemlerinin gürültülü astrofizik karışımlarında daha iyi olduğunu göstermiştir. Bu tezin imge ayrıştırma problemine katkısı, önerilen Cauchy MRF imge modeli sayesinde Gauss olmamaya ve spektral çeşitliliğe dayalı ayrıştırlabilirliğin etkili olmadığı durumlarda ayrıştırılamayan gürültülü imge karışımları ayrıştırılabilmektedir. MRF ile modellenmiş imgeler için kaynak ayrıştırmada MC benzetimi ilk olarak bu tezde sunulmuştur. 8 Tablo 1.1. Ayrıştırma yöntemlerinin Bayesçi bakış açısı ile karşılaştırılması. Olabilirlik Kaynak önseli Algoritma FPICA [13] δ (.) cosh(.) Deterministik eniyileme SOBI [17] Gauss tektürel dağılımlı Gauss Kapalı form çözüm SMICA [27] Gauss frekans bölgesinde i.i.d Gauss EM [24] Gauss Gauss’ların karışımı EM [32] Gauss MRF (Huber potansiyeli) Deterministik eniyileme [8] Gauss MRF (çizgi alanı) Ortalama alan EM Bölüm 3.1 Gauss Yaklaşık Cauchy MRF Deterministik eniyileme Bölüm 3.2 Gauss Cauchy MRF Gibbs örnekleme Bölüm 3.3 Gauss Cauchy MRF İstatistiksel EM Bölüm 3.4 Gauss Cauchy MRF Öneme göre örnekleme Bölüm 3.1’de, Gauss olmayan önsel dağılımı Gauss’a yaklaştırarak Newton-Raphson yöntemiyle çözmeye dayalı deterministik yöntem önerilmiştir. Bölüm 3.2’de Bayesçi ayrıştırma problemi MCMC benzetimine dayalı Gibbs örnekleme algoritması ile çözülmüştür. Gibbs örnekleme uzun sürmesine rağmen Gauss dağılımlarla sınır olmadığından daha iyi sonuçlar vermiştir. Bölüm 3.3’te MRF ile modellenmiş imgelerin önselleri olan Gibbs dağılımının parametrelerini de kestiren istatistiksel EM yöntemi önerilmiştir. Bölüm 3.4’te, MCMC yönteminin yavaşlığından kurtulmak için öneme göre örneklemeye dayalı bir ayrıştırma yöntemi önerilmiştir. Önerilen yöntemlere ilişkin başarımlar için doku imgeleri ile benzetim yapılarak her bölümün sonunda sonuçları verilmiştir. Astrofizik imge ayrıştırma uygulaması ise ayrı bir bölüm olarak Bölüm 4.1’de verilmiştir. Son olarak Bölüm 5’te elde edilen sonuçlar tartışılmış ve ileriye yönelik öneriler yapılmıştır. 9 2. GENEL KISIMLAR Gözlemlenen y k , k ∈ {1, 2,…, K } imgeleri L adet kaynağın doğrusal karışımı olduğu kabul edilmiş ve k ’ıncı gözlemin n ’inci elemanı yk ,n olarak gösterilmiş olsun. Burada n ∈ {1, 2,…, N } vektör olacak şekilde sıralanmış piksellerin indislerini göstermektedir. Gözlem imgesi N1 × N 2 boyutunda ise bu imgenin satırları arka arkaya gelecek şekilde sıralanmış vektör gösterimi N = N1 N 2 boyunda olacaktır. Gözlemlerle aynı boyutta ve birbirinden istatistikselce bağımsız olan kaynak imgeleri s l , l ∈ {1,…, L} şeklinde gösterilmiş olsun. İmge ayrıştırma problemi K adet gözlemden L adet kaynak imgenin bulunması olarak tanımlanır. Gözlem modeli n indisli piksel için ⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ y1,n ⎤⎥ ⎥ y2,n ⎥⎥ y ⎥ ⎥ ⎥ ⎥ K , n ⎥⎦ =A ⎡ ⎤ ⎢ 1, n ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ 2, n ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ L,n ⎥ ⎣ ⎦ s s +V , n ∈ {1, 2,…, N } (2.1) s şeklinde yazılabilir [11]. Burada A , elemanları ak ,l olan K × L boyutunda karışım matrisidir. V sıfır ortalamalı ve K × K boyutunda Σ = diag{σ 12 ,…, σ K2 } kovaryans (ortak değişinti) matrisli gürültü vektörüdür. Gürültü her imgenin her pikselinde i.i.d’dir. Kaynak ve gözlem imgelerinin N ×1 boyutundaki vektör gösterimleri sl ve y k göz önüne alındığında (2.1)’deki gözlem modeli ⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ y1T ⎤⎥ ⎥ yT2 ⎥⎥ y ⎥ ⎥ ⎥ T ⎥ ⎥ K⎦ =A ⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ s1T ⎤⎥ ⎥ sT2 ⎥⎥ ⎥ ⎥ ⎥ T⎥ ⎥ L⎦ s +V (2.2) 10 Y = AS + V (2.3) şeklinde yazılabilir. Burada gürültü V sıfır ortalamalı ve NK × NK boyutlu Σ = diag{ σ 12 I N ,…, σ K2 I N } kovaryans matrislidir. I N , N × N boyutunda birim matristir. Gözlem modelinin bir başka matematiksel gösterimi L y k = ∑ ak ,l sl + v k k ∈ {1, 2,…, K } (2.4) l =1 şeklindedir. Burada v k sıfır ortalamalı ve σ k2 I N kovaryanslı i.i.d gürültüdür. Denklem (2.1), (2.2) ve (2.4)’teki bu gösterimler çalışma boyunca gösterim kolaylığı sağladıkları yerlerde kullanılacaklardır. 2.1. BAYESÇİ ÇATI ALTINDA PROBLEM TANIMI Gözü kapalı kaynak ayrıştırma problemini, Bayesçi yaklaşım ile tanımlamak için bilinmeyenlerin, s1:L , A ve σ 12:K , gürültülü gözlemler cinsinden ortak sonsal dağılımı yazılır [37,38]: p(s1:L , A, σ 12:K | y1:K ) = p(y1:K | s1:L , A, σ 12:K ) p (s1:L , A, σ 12:K ) . p(y1:K ) (2.5) Burada p ( y1:K | s1:L , A, σ 12:K ) gözlemlerin olabilirlik fonksiyonudur ve bilinmeyenlerin gözlemlere bağlılığını tanımlar. Gürültü toplamsal Gauss olduğu için olabilirlik de bir Gauss ifadesi olacaktır. Kanıt terimi p (y1:K ) bilinmeyenlerin hiçbirine bağlı olmadığı için bir sabit olarak düşünülebilir. p (s1:L , A, σ 12:K ) terimi ise bilinmeyenlere ait ortak önsel dağılımdır. Bu üç tür değişken birbirinden bağımsız olduğu için ortak önsel dağılımları p (s1:L ) p ( A ) p (σ 12:K ) şeklinde çarpanlara ayrılabilir. Bunun ötesinde kaynaklar birbirinden bağımsız kabul edildiği için kaynakların ortak önsel dağılımı L p (s1:L ) = ∏ p (sl ) l =1 (2.6) 11 şeklinde çarpanlara ayırılabilir. Burada bağımsızlık sadece kaynaklar arasında olup her bir kaynağın sl ,n , n ∈ {1, 2,…, N } pikselleri birbirine bağımlıdır. Bu yapısal imge bilgisi MRF modeli yardımıyla kaynak ayrıştırma problemine katılabilir. Bu kabuller altında (2.5)’teki sonsal olasılık ifadesi L p (s1:L , A, σ 12:K | y1:K ) ∝ p (y1:K | s1:L , A, σ 12:K ) p ( A ) p (σ 12:K )∏ p (sl ) (2.7) l =1 olarak sadeleşir. Bu sonsal dağılımdaki çarpanların ayrıntıları izleyen iki bölümde verilecektir. 2.2. GÖZLEM MODELİ: OLABİLİRLİK Gözlem gürültüsü birbirinden bağımsız sıfır ortalamalı Gauss olarak kabul edildiğinden olabilirlik fonksiyonu: p (y1:K | s1:L , A, σ 2 1:K K )=∏ k =1 1 (2πσ k2 ) N / 2 ⎧⎪ (y k − ∑ L ak ,l sl )T (y k − ∑ L ak ,l sl ) ⎫⎪ l =1 l =1 exp ⎨− ⎬ 2 2σ k ⎪⎩ ⎪⎭ (2.8) K p (y1:K | s1:L , A, σ 12:K ) = ∏ N (y k | y k , σ k2 ) (2.9) k =1 şeklinde ifade edilir. Burada N (y k | y k , σ k2 ) , y k ortalamalı ve σ k2 değişintili Gauss dağılımını göstermekte olup, her pikselin beklenen değeri L y k = ∑ ak ,l sl , k ∈ {1, 2,…, K } (2.10) l =1 olur. Gözlem modelinin iki parametresi A , K × L boyutunda karışım matrisi ve σ 12:K , gürültü değişintileridir. Bu parametrelere ait sonsal dağılımlar izleyen iki bölümde verilecektir. 12 2.2.1. Karışım Matrisinin Sonsal Dağılımı Karışım matrisi A ’nın elemanlarının önsel dağılımı negatif olmayan birbiçimli dağılımlar olarak seçilmiştir. Böylece ak ,l için önsel dağılım p (ak ,l ) = 1 [u (ak ,l ) − u (ak ,l − Amax )] Amax (2.11) şeklinde ifade edilebilir. Burada Amax , A ’nın alabileceği enbüyük değerdir ve u (.) birim basamak fonksiyonudur. Amax benzetimler sırasında 100 olarak alınmıştır. Uygulamaya yönelik olarak karışım matrisi hakkında birşeyler biliniyorsa bu bilgi karışım matrisinin önselinin belirlenmesinde kullanılabilir; örneğin astrofizik kaynak ayrıştırmada [36]. Bu çalışma boyunca karışım matrisine ait bir bilginin olmadığı kabul edilerek (2.11)’deki önsel kullanılacaktır. ak ,l ’nin sonsal dağılımı (2.9) ve (2.11) kullanılarak p(ak ,l | y1:K , s1:L , A − ak ,l , σ 12:K ) ∝ p(y1:K | s1:L , A, σ 12:K ) p(ak ,l ) (2.12) ∝ N ( ak ,l | μ k ,l , γ k ,l )[u ( ak ,l ) − u ( ak ,l − Amax )] şeklinde bulunur. Burada A − ak ,l , ak ,l hariç A matrisinin tüm elemanlarını ifade etmektedir. Denklem (2.12)’deki Gauss’un ortalaması μk ,l ’yi bulmak için (2.9) ifadesindeki üssel kısmın ak ,l ’ye göre türevi alınarak sıfıra eşitlenir ve elde edilen denklemden ak ,l çözülür. −ak ,l sl + (y k − L ∑ i =1,i ≠ l ak ,i si ) = 0 k ∈ {1, 2,…, K } (2.13) buradan ak ,l ’nin ML kestirimi sonsal dağılımın ortalamasına eşittir ve μ k ,l = L 1 T ( s y − ∑ ak ,isi ) l k sTl sl i =1,i ≠ l k ∈ {1, 2,…, K } (2.14) 13 şeklinde bulunur. Denklem (2.12)’deki ak ,l ’nin değişintisi γ k ,l ’yi bulmak için ise (2.9) ifadesindeki üssel kısmın 2. dereceden türevi alınır. Elde edilen ifade değişintinin tersine eşittir. Bu Fisher enformasyon matrisinin köşegen elemanlarını verir. Buradan değişinti γ k ,l = σ k2 sTl sl k ∈ {1, 2,…, K } (2.15) şeklinde bulunur. 2.2.2. Gürültü Değişintilerinin Sonsal Dağılımı Bu çalışmada, gürültü için iki farklı önsel dağılım modeli kullanılmıştır. Bunlardan birincisi gürültü hakkında hiçbir bilginin olmadığı durumda kullanılan (bilişsiz) Jeffrey önseli, ikincisi ise gürültünün değişintisi veya gücü hakkında bir bilginin olduğu durumda kullanılan ölçeklenmiş ters chi kare dağılımıdır [37]. Astrofizik imgelerde oluşan gürültü antenlerden kaynaklandığı için antenlerin gürültü güçleri önceden hesaplanabilmektedir. Önceden bilinen bu bilgi Bayes yaklaşımı sayesinde probleme eklenebilir. 2.2.2.1. Gürültü Gücünün Bilinmediği Durum Gürültü hakkında bir bilginin olmadığı durumda değişintiler için bilgi vermeyen Jeffrey önseli pnon (σ k2 ) = 1/σ k2 kullanılabilir. Gürültünün ortalama gücü zk = L L 1 (y k − ∑ ak ,l sl )T (y k − ∑ ak ,l sl ) N l =1 l =1 k ∈ {1, 2,…, K } (2.16) şeklinde tanımlanırsa, (2.9)’daki olabilirlik fonksiyonu K p(y1:K | s1:L , A, σ 12:K ) = ∏ k =1 1 (2πσ k2 ) N / 2 e − Nzk 2 σ k2 halini alır. Böylece sonsal dağılım p(σ k2 | y1:K , s1:L , A, σ (12 :K )5 k ) = p ( y1:K |s1:L , A ,σ 12:K ) pnon (σ k2 ) ∫ p ( y1:K |s1:L , A ,σ12:K ) pnon (σ k2 ) dσ k2 (2.17) 14 = ∫ Nz − k 2 σ k2 2 − N/ 2 (2πσ k ) e (σ k2 )−1 Nz − k 2σ 2 (2πσ k2 )− N / 2 e k (σ k2 )−1 dσ k2 − (σ k2 )− ( N / 2+1) e = ∫ Nzk 2 σ k2 Nz − k 2 σ k2 2 − ( N / 2+1) (σ k ) e dσ k2 paydadaki integralde ξ = Nzk / 2σ k2 değişken dönüşümü yapılırsa sonsal dağılım p (σ k2 | y1:K , s1:L , A, σ (12 :K ) 5 k ) = (σ k2 ) − ( N / 2+1) e ( Nzk / 2) ⎛ Nz ⎞ =⎜ k ⎟ ⎝ 2 ⎠ −N/2 N/2 ∫ξ − Nzk 2 σ k2 (2.18) e dξ N / 2 −1 − ξ (σ k2 ) − ( N / 2+1) − 2σkk2 e Γ( N / 2) Nz şeklini alır. Burada Γ( N / 2) = ∫ ξ N / 2−1e−ξ d ξ (2.19) şeklinde tanımlı gamma integralidir ve bu dağılım da ters gamma dağılımı olarak bilinir [37]. Bu durumda gürültünün sonsal dağılımı ters gamma dağılımı Inv − G( σ k2 | N /2 , Nzk /2 ) olarak gösterilebilir. 2.2.2.2. Gürültü Gücünün Bilindiği Durum Gürültünün değişintisi bilindiği durumda gürültü değişintisi sabit olarak kabul edilebileceği gibi bilinen değişintiyi de içeren bir önsel belirlenebilir. Bilinen değişintiler genellikle daha önceden algılayıcılar üzerinde yapılan fiziksel deneylerle ölçülmektedir. Bilinen değişintiler σ 2k olarak gösterilirmiş olsun. Olabilirliğe eşlenik bir önsel olarak ölçeklenmiş ters chi-kare dağılımı kullanılabilir [37]. Bu durumda önsel dağılım Inv − χ 2 (σ k2 | η , σ k2 ) σ2 (η/ 2)η/ 2 2 η/ 2 2 − (η/ 2+1) −η 2σkk2 (σ k ) (σ k ) pinf (σ ) = e Γ(η/ 2) 2 k (2.20) 15 şeklinde ifade edilir. Burada η ölçeklenmiş ters chi-kare dağılımının serbestlik dercesidir ve önsel değişinti bilgisinin sonsala katkısını belirleyecektir. (2.17)’deki olabilirlik ve (2.20)’deki önsel dağılımın çarpılıp düzenlenirse sonsal dağılım p(σ k2 | y1:K , s1:L , A, σ (12 :K )5 k ) ∝ p(y1:K | s1:L , A, σ 12:K ) pinf (σ k2 ) ∝ ∝ olarak elde edilir. Inv − χ 2 (σ k2 | η + N , η σ 2k + Nzk η+N Bu ⎡ ⎢ ⎢ ⎢ ⎣⎢ (σ ) 2 −N/2 k e − Nzk 2 σ k2 2 − (η + N ) / 2 +1 k (σ ) dağılım da ⎤ ⎥ ⎥ ⎥ ⎦⎥ e ⎡ σ k2 ⎢ 2 η/ 2 +1 −η 2 σ k2 ⎢ σk ⎢ σ k2 ⎢ ⎣ − ( ) e 1 (η 2 + Nz σk k 2 σ k2 önsel ⎤ ⎥ ⎥ ⎥ ⎥ ⎦ ) dağılıma eşlenik olarak ) şeklinde bir ölçeklenmiş ters chi-kare dağılımıdır [37]. 2.3. KAYNAK MODELİ: MARKOV RASGELE ALANLARI İmgelerde komşu pikseller birbirlerine oldukça bağımlıdır. Bu bağımlılık türdeş veya aynı rasgele özellikleri gösteren pikseller arasında, bütünsel olarak ilinti fonksiyonu veya spektral güç yoğunluğuyla tanımlanabilir. Spektral güç yoğunluğu olarak 1/f spektrumu ya da özbağlanım (AR: Auto-Regressive) spektrumu kullanılabilir. Oysa Markov Rasgele Alanları (MRF) daha yerel bir model olup, pikseller arası ilişkileri ve ani değişimleri tanımlamakta kullanılır. N = N1 × N 2 boyutlu bir görüntü için X = {x1 , x2 , …, xN } siteler kümesi olsun. B = { B x , x ∈ X} ise bu küme üzerinde tanımlı komşuluk sistemi olsun. Komşuluk sistemi X ’in alt kümelerinin bir araya getirilmesidir. Bir araya getirilme şartları: • x ∉ B x ve • x ∈ Br ⇐⇒ r ∈ B x dir. c ⊆ X olmak üzere, c ’nin içinde kalan ayrı site çiftleri bir birinin komşusuysa bu c kümesine klik denir. Kliklerin oluşturduğu küme de C olsun. 16 Şekil 2.1: (a), (b) ve (c) sırasıla 1., 2. ve 8. dereceden komşuluk sistemleri. (d) 1. dereceden komşuluk sistemi için klikler, (e) 2. dereceden komşuluk için (d)’dekilere ek olan klikler. sl ,n l ’inci kaynağa ait yeğinlik (intensity) süreci olsun. Bu durumda X , bu sürecin tanımlı olduğu 2B uzamsal koordinat noktalarının sıralanmasından oluşur. Şekil 2.1 (a), (b) ve (c)’de 1., 2. ve 8. dereceden komşuluk sistemleri görülmektedir. Birinci dereceden komşuluk sisteminde x = (i , j ) ∈ X sitesinin komşuları kümesi B(i , j ) = {(i, j − 1), (i, j + 1), (i − 1, j ), (i + 1, j )} dir. Birinci dereceden komşuluk için klikler; {(i, j )} , {(i, j ), (i, j + 1)} , {(i, j ), (i + 1, j )} , {(i, j ), (i − 1, j )} ve {(i, j ), (i, j − 1)} şeklindedir. Bunlardan ilk üçü Şekil 2.1 (d)’de görülmektedir. İkinci dereceden komşuluk için Şekil 2.1 (e)’dekilere Şekil 2.1 (d)’dekiler de eklenir. 2.3.1. Markov Şartı ve Gibbs Dağılımı Sl = {Sl ,n , n ∈ X } bir rasgele değişkenler ailesi olsun. Ψ = {ψ = ( sl ,1 , sl ,2 ,…, sl , N )} bu rasgele değişkenlere ait örneklem uzayı olsun. Bu örneklem uzayı üzerinde tanımlı ( Sl ,1 = sl ,1 , Sl ,2 = sl , 2 ,…, Sl , N = sl , N ) olayı kısaca ( Sl = ψ ) şeklinde yazılabilir. 17 B komşuluk sistemine göre, P ( Sl = ψ ) > 0, ∀ ψ ∈Ψ (2.21) ve P ( Sl ,n = sl ,n | Sl ,m = sl ,m , m ≠ n ∈ X ) = P ( Sl ,n = sl ,n | Sl ,m = sl ,m , m ∈ Bn ) (2.22) şartlarını sağlayan Sl ,n sürecine Markov Rasgele Alanı denir [40]. Gibbs dağılımı bir MRF’ye ait birleşik dağılım fonksiyonu tanımlar. Bir Gibbs dağılımı her zaman bir MRF üretir. Bunun tersi de doğrudur, dolayısıyla bir MRF, bir Gibbs dağılımı ile ifade edilebilir. Komşuluk sistemine göre tanımlanan koşullu olasılık dağılım fonksiyonları bu birleşik dağılım kullanılarak bulunabilir. Bir MRF’ye ait olasılık yığın fonksiyonu Gibbs dağılımı formunda p ( Sl ,n = sl , n ) = 1 −U ( sl ,n ) e Z (2.23) olarak tanımlanır. Bu ifadede bölüntü fonksiyonu Z =∑e −U ( sl ,n ) (2.24) sl ,n toplam olasılığın bire eşit olmasını sağlar. U ( sl ,n ) tüm klik potansiyellerinin toplamından oluşan enerji fonksiyonudur. U ( sl , n ) = 1 ∑ βl ρ ( sl ,n − sl ,m ) 2 {n,m}∈C (2.25) Burada ρ (.) , klik potansiyelidir. İmge işleme alanında, MRF’ler iğreti tersine problemlerde, problemi iyileştirme işleminde yer almışlardır [40,41]. Tersine problemlerin düzenlileştirilmesinde kullanılan 18 en basit klik potansiyeli karesel fonksiyondur ρ ( sl ,n − sl ,m ) = ( sl ,n − sl ,m ) 2 . Tüm imge için karesel potansiyel fonksiyonu matris vektör formunda ρ (Fsl ) =|| Fsl ||22 (2.26) şeklinde yazılabilir. Bu fonksiyon Tikhonov düzenlileştirmesi olarak da bilinir [39]. Burada F imgenin belirli kısımlarını yakalayan bir matristir. Gözleme yol açan ve ileri yönde imge modeli diye adlandıracağımız model genelde alçak geçiren bir yapıya sahiptir. Bu modelin tersi alınmaya- yani gözlemden kaynağa gidilmeye çalışıldığında, sistemin transfer fonksiyonundaki yüksek frekanslı terimler sıfır veya sıfıra yakın olduğundan, o frekanslarda ters fonksiyon sonsuza gidecektir. Bu sorunu bertaraf etmek için düzenlileştirme terimi eklenerek yüksek frekanslı terimlerin olağan üstü büyümesi denetlemiş olur. Bunun için imge işlemedeki tersine problemlerde F matrisi genellikle yüksek geçiren bir süzgeci temsil eder. Gibbs dağılımında karesel potansiyel kullanarak problemin düzenlileşmesi ve gürültünün temizlenmesi sağlanır; ne var ki aynı zamanda imgedeki yüksek frekans içerikli ayrıtların da düzleşmesine ve netlik yitimine neden olunur. Denklem (2.25)’teki Gibbs dağılımının β parametresi belirlenimci (deterministic) veya değişimsel (variational) yaklaşımdaki Lagrange çarpanına karşılık gelir. Böylece önsel dağılımın sonsal üzerindeki katkısını ve dolayısıyla düzleme işleminin miktarını belirler. Eğer β büyük seçilirse önsel dağılımın ağırlığı artacağından imge içindeki ayrıtlar bulanıklaşacaktır. Çünkü imge yumuşak geçişlere zorlanacaktır. Bu değerler gözlemlenen imgede gürültü miktarı fazlaysa tercih edilir. Gürültü miktarı az ise küçük β değerleri daha iyi sonuç verecektir [1,2,3]. Düzleştirme etkisini önlemek için önerilen yöntemlerden biri ayrıtların yerini belirleyen bir çizgi alanı veya süreci (line field) hn , m kullanmaktır [40],[41]. Çizgi süreci eklenmiş enerji fonksiyonu U ( sl ,n , hn ,m ) = U ( sl ,n | hn,m ) + U (hn,m ) 19 = 1 β l ( sl , n − sl ,m ) 2 (1 − hn,m ) + ∑ λ hn, m ∑ 2 {n,m}∈C {n , m}∈C (2.27) olarak yazılabilir. Burada hn , m ∈ {0,1} gibi ikili değerler alan bir süreçtir. hn , m = 0 , o klikte süreksizliğin olmadığını ve karesel potansiyelin geçerli olduğu anlamına gelir. hn,m = 1 ise klikte bir ayrıt olduğunu gösterir ve karesel potansiyel o kliğe uygulanmaz. Çizgi alanı dışbükeyliği bozduğu için bu problemlerin çözümü için aşamalı dışbükeysizlik (GNC: Graduated Non-Convexity) [41] ve benzetimli tavlama (SA: Simulated Annealing) [42],[40] algoritmaları kullanılmıştır. Çizgi alanının belirlenmesinde, hangi değerden büyük ayrıtların çizgi olarak tanımlanacağı çok açık değildir. Bu model yerine ayrıt uyumlu potansiyeller önerilmiştir [43], [3], [2], [1]. Bu fonksiyonlar genlikleri düşük ayrıtları düzleştirirken, genlikleri yüksek ayrıtları daha az düzleştirmekte veya hiç değiştirmemektedir. Bu fonksiyonlardan bazıları şunlardır: Huber fonksiyonu: ⎧ 1 2 ⎪ 2δ ( sl ,n − sl , m ) , | sl , n − sl ,m |≤ δ l , d ⎪ ρ ( sl ,n − sl ,m ) = ⎨ l ,d ⎪ |s − s |−δ l , d diger ⎪⎩ l ,n l ,m 2 (2.28) Negatif log-Cauchy fonksiyonu: ⎡ ( sl ,n − sl , m ) 2 ⎤ ρ ( sl ,n − sl ,m ) = log ⎢1 + ⎥. δ l ,d ⎣⎢ ⎦⎥ (2.29) Doymuş karesel: ρ ( sl ,n − sl ,m ) = ( sl ,n − sl ,m )2 δ l ,d + ( sl ,n − sl ,m )2 (2.30) Fonksiyonlara ait grafikler Şekil 2.2’de gösterilmektedir. Fonksiyonlar seçilirken sadece ayrıtları koruma özelliği değil şu temel özelliklere de sahip olması gerekmektedir [1]: 20 Şekil 2.2: ( sl ,n − sl ,m ) ’ye karşılık potansiyel fonsiyonları. Kesikli dikey çizgiler δ = 0.1 değerini göstermektedir. • ρ ( sl , n − sl ,m ) ≥ 0 , ∀( sl ,n − sl ,m ) , ve ( sl ,n − sl ,m ) = 0 için ρ ( sl , n − sl ,m ) = 0 , • çift (simetrik) fonksiyon olmalı, • türevi alınabilir olmalı, • ρ ′ ( sl ,n − sl ,m ) ≥ 0 , ∀( sl ,n − sl ,m ) ≥ 0 olmalıdır. Karesel fonksiyon tam dışbükey, Huber fonksiyonu yarı dışbükey ve diğer iki fonksiyon ise dışbükey olmayandır. Karesel fonksiyon daha önce belirtildiği gibi görüntünün her yerinde aynı düzleştirmeyi sağlar. Huber fonksiyonu yeğinlikler arasındaki fark belirli bir δ eşik değerini aştıktan sonra doğrusal bir kısıt uygulamaktadır. Negatif log-Cauchy ve doymuş karesel fonsiyonları da δ seviyesinden sonra düzleştirme kısıtını gittikçe azaltan fonksiyonlardır. Negatif log-Cauchy fonksiyonu Cauchy dağılımının logaritmasının negatifidir. Negatif log-Cauchy fonksiyonu [43]’te Poisson verilerinden imge geriçatımında kullanılmış, karesel ve doymuş karesel potansiyellerine göre daha iyi sonuç verdiği rapor edilmiştir. Bu fonksiyon ayrıca imge işlemede kullanılan değişimsel bir yaklaşım 21 Özgün imge Ayrıt imge Özgün imgenin histogramı Ayrıt imgenin histogramı Şekil 2.3: Bir imgenin ve gradyeninin histogramlari. Ayrıt imgenin histogramı özgün imgeninkine göre daha kolay modellenebilir. olan yönbağımlı yayınımda (anisotropic diffusion) [44] da kullanılmıştır. Bu yaklaşımda imge kısmi türevsel denklem (yayınım denklemi) ile değişime uğratılır. Yönbağımlı yayınım ile dayanıklı istatistiksel yöntemler arasındaki ilişki [45]’te incelenmiştir. Negatif log-Cauchy fonksiyonu [45]’te Lorentzçi hata normu olarak isimlendirilmiştir. Negatif log-Cauchy fonksiyonu ile yapılan denemeler sonucu gürültü temizleme uygulamasında da diğer üç fonksiyona göre daha iyi sonuç verdiği görülmüştür. Bunun için bu tezdeki kaynak ayrıştırma uygulamasında Gibbs dağılımının potansiyel fonksiyonu negatif log-Cauchy olarak seçilmiştir. Cauchy dağılımının ölçek paremetresi δ ’nın hesaplanması, örneğin Huber fonksiyonuna göre daha kolay olacaktır. Şekil 2.3’te bir gradyen operatörü uygulanarak elde edilmiş ayrıt imgesinin histogramı görülmektedir. Özgün imgenin modellenmesi görüldüğü gibi çok zordur, örneğin Gauss karışımları gibi genel bir dağılımla modellenebilir. Oysa ayrıt imgenin dağılımı şekilden görüldüğü gibi uzun kuyruklu bir dağılımla kolayca modellenebilir. Cauchy dağılımı da uzun kuyruklu bir dağılım olduğu için ayrıt imgeleri için uygun bir dağılımdır. 22 Birbiçimli 2 Birbiçimli 1 Birbiçimli 1 Gözlem 2 Birbiçimli 2 Gözlem 1 Şekil 2.4: İki i.i.d birbiçimli kaynak ve doğrusal karışımları. Soldakiler zaman serilerini sağdakiler 2B saçılım diagramlarını göstermektedir. Gözlemlerden ters dönüşüm bulunabilir. 2.4. AYRIŞTIRILABİLİRLİK VE MRF Kaynakların ayrılabilir olmaları için (2.6)’da verilen bağımsızlık şartından başka her kaynağın sahip olması gereken özellikler vardır. Cardoso [18] bu özellikleri üç madde altında toplamıştır: • Gauss olmama • Beyaz olmama (ilintili olma) • Durağan olmama Kaynak süreçlerinin ayrılabilir olması için bu üç özellikten birine sahip olması gerekmektedir. 2.4.1. Gauss Olmama Gauss olmama özelliği i.i.d kaynaklar için geçerlidir. Bunun anlaşılabilmesi için Şekil 2.4-2.6’da üç farklı i.i.d iki değişkenli dağılım karşılaştırılmıştır. Bu dağılımlar birbiçimli, Gauss ve Cauchy’dir. Gauss dağılımlı kaynaklar için ters dönüşümün 23 Gauss 2 Gauss 1 Gauss 1 Gözlem 2 Gauss 2 Gözlem 1 Şekil 2.5: İki i.i.d Gauss kaynak ve doğrusal karışımları. Soldakiler zaman serilerini sağdakiler 2B saçılım diagramlarını göstermektedir. Gözlemlerden ters dönüşümün bulunması dairesel yapı yüzünden olanaksız. Cauchy 2 Cauchy 1 Cauchy 1 Gözlem 2 Cauchy 2 Gözlem 1 Şekil 2.6: İki i.i.d Cauchy kaynak ve doğrusal karışımları. Soldakiler zaman serilerini sağdakiler 2B saçılım diagramlarını göstermektedir. Gözlemlerden ters dönüşüm bulunabilir. 24 bulunması olanaksızdır. Çünkü ters dönüşüm sonucunda bulunacak kaynaklar da dairesel olarak dağılmış olcağından kaynakları doğru ayırmak olanaksızdır. Birbiçimli dağılım için ters dönüşümü bulmak daha kolaydır. Uzun kuyruklu bir dağılım olan Cauchy dağılımında Şekil 2.6’da görüldüğü gibi örnekler eksenler üzerinde dağılmış olduğundan ayrıştırılabilirlik çok daha basittir. Gauss olmama özelliğini kullanan yöntemlerden en çok bilineni FPICA’dır [13]. FPICA’da kullanılan karşıtlık fonksiyonu Bayesçi kaynak ayrıştırmada Gauss olmayan önsel dağılımın negatif log’unun türevine denk gelmektedir [19], [21]. Ayrıntılar için Bölüm 2.6.1’e bakılabilir. Gauss olmamayı kullanan bir başka yaklaşım da yüksek dereceden momentleri kullanarak dağılımı mümkün olduğu kadar Gauss’tan uzaklaştırmaktır [11,15,16]. i.i.d Cauchy ile modellenmiş bir imge kaynağı için önsel dağılım, ⎡ (s − s ) ⎤ p (sl ) = ∏ ⎢1 + l , n l ⎥ δ bod ⎦ n =1 ⎣ N −1 (2.31) şeklinde yazılabilir. Burada s l piksellerin ortalamasıdır ve sl = 1 N N ∑s n =1 l ,n (2.32) şeklinde tanımlanır. δ bod i.i.d Cauchy dağılımının ölçekleme parametresidir. 2.4.2. Beyaz Olmama Beyaz olmama özelliği işaretlerin zamansal veya uzamsal olarak ilintili olduğu kabulune dayanır. Bu da kaynakların zamansal veya uzamsal farklı bir yapıları olması demektir. İlintiyi kullanan ayırma yöntemlerinden biri Second Order Blind Identification SOBI yöntemidir [17]. Bu yöntemde çeşitli ötelemeler ile hesaplanan ikinci dereceden ilintiler ayırım için kullanılır. Bu yöntemin ayrıntıları Bölüm 2.6.2’de verilecektir. Bir başka çalışmada [29], ilintiyi modellemek için Markov süreci kullanılmıştır. 25 İmgeler için bu 2B yapı bilgisi MRF ile modellenebilmektedir. MRF ile modellenmiş bir kaynağa ait önsel dağılımın (2.23)’teki gibi Gibbs formunda olduğu söylenmişti. Bu dağılım sekiz yöndeki klikler kullanılarak vektör formunda p (sl | β l ,1:8 , δ l ,1:8 ) = 1 ⎧ 8 ⎫ exp ⎨−∑ β l ,d ρ (sl − G d sl | δ l , d ) ⎬ Z ( β l ,1:8 , δ l ,1:8 ) ⎩ d =1 ⎭ (2.33) şeklinde yazılabilir. Herbir yöndeki klik farkları sl( d ) = sl − G d s l olarak tanımlanır. Burada, G d , d yönünde tek piksel öteleme operatörüdür. Bu çalışma boyunca, uzamsal ilinti ayrıştırılabilirlik özelliği olarak kullanılacak ve (2.33)’teki dağılım Cauchy potansiyeli ile esas alınacaktır. 2.4.3. Durağan Olmama Kaynakların durağan olmama özelliğinden yararlanılır. Örneğin, değişintileri zamana göre değişen kaynakların anlık ayrıştırılmasında [46] bu özellik kullanılmıştır. İmge işlemede ise bu herbir piksel için değişen istatistikleri kullanmak anlamına gelir. Örneğin pikselleri birbirinden bağımsız ve değişintileri pikselden piksele değişen Gauss’larla modelleyerek ayırmaya çalışmak durağan olmama özelliğinin kullanılmasıdır. Bu yaklaşım, MRF için β veya δ parametrelerinin veya her ikisinin birden uzama bağlı olmasına karşılık gelir. Bu çalışmada bu özellik kullanılmamıştır. 2.5. MRF’LERDE PARAMETRE KESTİRİMİ Denklem (2.33)’te verilen Gibbs dağılımından β ve δ parametrelerinin öğrenilmesi bölüntü fonksiyonu Z ( β l ,1:8 , δ l ,1:8 ) yüzünden çok zordur. Bölüntü fonksiyonunun Monte Carlo ile hesaplandığı çalışmalar [47], [48] olmasına rağmen işlem yükleri çok fazladır. Bunun yerine sözde olabilirlik (PL: Pseudo Likelihood) yaklaşıklığı kullanılabilir. PL yaklaşıklığında bölüntü ve enerji fonksiyonu piksel bazında ayrılabilir hale getirilir. 2.5.1. Sözde Olabilirlik Yaklaşıklığı Gibbs dağılımı kaynaklar için önsel dağılım iken kaynak parametreleri β ve δ ’lar için olabilirlik fonksiyonudur. Kaynaklara ait bu olabilirlik fonsiyonunu imgenin kendisine 26 değil ayrıt imgeye bağlı olarak yazılabilir. Bu durumda (2.23)’teki Gibbs dağılımının enerji fonksiyonunu 8 U (sl( d ) | β l ,1:8 , δ l ,1:8 ) = ∑ β l , d ρ (sl( d ) | δ l , d ) (2.34) d =1 şeklinde yazılabilir. Yönlü türevler alınarak bulunan sıfır ortalamalı sl( d ) ayrıt imgeleri için klik potansiyeli ρ (sl( d ) | δ l ,d ) = − log p(sl( d ) | δ l ,d ) şeklinde δ l ,d ’nin olabilirliğinin negatif logaritması olur. p(sl( d ) | δ l ,d ) fonksiyonu ise çok değişkenli Cauchy dağılım olarak p(s (d ) l | δ l ,d ) = δ −N/2 l ,d ⎡ (sl( d ) )T sl( d ) ⎤ ⎢1 + ⎥ δ l , d ⎦⎥ ⎣⎢ − ( N +1) / 2 (2.35) şelinde yazılabilir. Burada p(sl( d ) | δ l ,d ) fonksiyonu δ ’ların olabilirlik fonksiyonudur. En sonunda β ve δ ’lara ait ortak yaklaşık olabilirlik 8 p (sl( d ) | β l ,1:8 , δ l ,1:8 ) = ∏ β lN, d/ 2 exp {− β l , d ρ (sl( d ) | δ l ,d )} (2.36) d =1 olarak bulunur. Bu olabilirlik kaynak parametrelerinin kestirilmesi için kullanılacaktır. 2.5.2. Cauchy Dağılımında Parametre Kestirimi Cauchy dağılımı öteleme ve ölçekleme olarak iki parametre ile belirlenir. Denklem (2.35)’te verilen Cauchy dağılımının öteleme parametresi sıfırdır. Ölçekleme parametresi ise δ l ,d ’dir. Cauchy dağılımının ortalama ve değişintileri tanımlı değildir. Parametre kestirimi de kolay değildir. ML kestirimi ile bulunan δ l ,d parametresi doğru sonuçlar vermemektedir. Bunun yerine moment yönteminden yararlanılır [49]. Cauchy dağılımı α -kararlı dağılımlar ailesinin bir üyesidir. α -kararlı dağılımlar karakteristik fonksiyonları ile tanımlanırlar. Bir s değişkeni için karakteristik fonksiyon ϕ ( ) = exp{js0 − δ | |α } şeklinde yazılabilir. Bu durumda p ’inci moment (2.37) 27 E[| s | p ] = B( p, α )δ p/α , 0< p <α (2.38) ifadesi ile bulunabilir [49]. Burada B( p, α ) = 2 p +1 Γ(( p + 1) / 2)Γ(− p/α ) α π Γ(− p / 2) (2.39) dir. Bu çalışmada kullanılan Cauchy dağılımı için (2.37)’deki s0 = 0 ve α = 1 olarak alınır. Bu durumda (2.38) ve (2.39) E[| sl(,dn) | p ] = B( p,1)δ p , 0 < p <1 (2.40) ve B ( p,1) = 2 p +1 Γ(( p + 1) / 2)Γ(− p) π Γ(− p/ 2) (2.41) şekline dönüşür. δ parametresi (4)’dan kolayca bulunabilir. Denklem (2.40)’daki beklenti ayrıt imgedeki tüm pikseller kullanılarak hesaplanan | sl(,dn) | p ’nin ortalaması ile yaklaşık olarak bulunabilir. 2.6. ICA TABANLI AYRIŞTIRMA YÖNTEMLERİ Bu bölümde ICA tabanlı kaynak ayrıştırma yöntemlerine ait ayrıntılar verilecektir. Bunlar FPICA [13], SOBI [17] ve SMICA [27,28] algoritmalarıdır. 2.6.1. FPICA: Sabit Noktalı ICA FPICA algoritmasında ayrıştırılabilirlik özelliği bağımsız Gauss olmamadır. FPICA algoritmasının Bayesçi bir yaklaşımla elde etmek için karışım matrisi A ’nın olabilirliği gizli değişken olarak kabul edilen S matrisi üzerinden p(Y | A) = ∫ p(S, Y | A)dS = ∫ p ( Y | S, A ) pS (S )dS (2.42) 28 şeklinde ifade edilir. FPICA’da gözlemlerde gürültünün olmadığı kabul edildiğinden olabilirlik p ( Y | S, A ) = δ ( Y − AS) şeklinde delta Dirac fonksiyonu olarak yazılabilir. S′ = AS değişken dönüşümü yapılıp bu olabilirlik (2.42) ifadesinde yerine yazılırsa sonsal olasılık p(Y | A) = ∫ = 1 δ (Y − S′) pS ( A −1S′)dS′ det | A | 1 pS ( A −1Y) det | A | (2.43) (2.44) olarak elde edilir. A ’nın log olabilirliği L = − logdet | A | + log pS ( A −1Y ) (2.45) şeklinde yazılıp, A matrisinin tersi W = A −1 olarak tanımlanırsa log olabilirlik L L = logdet | W | + ∑ log psl (w Tl Y ) (2.46) l =1 halini alır. Burada W = [ w1 …w L ]T ’dir. Bu son ifadenin W ’ya göre enbüyüklemesi ile ayrıştırma matrisi W bulunabilir. Enbüyükleme için gradyen iniş yöntemi kullanıldığında W döngüsel olarak W t +1 = W t + ζ∇L (2.47) adımları ile hesaplanır. Burada ζ adım büyüklüğüdür. ∇L (2.46) ifadesinin W ’ya göre birinci dereceden türevidir ve ∇L = [I + g ( W k Y)( W k Y)T ]W k (2.48) şeklinde elde edilir [13]. g (.) sinir ağları ile uğraşanlar tarafından karşıtlık fonksiyonu olarak adlandırılır. Bayesçi bakış açısından karşıtlık fonksiyonu önsel dağılımla g ( WY ) = − ∂ log pS ( WY) ∂W (2.49) 29 şeklinde ilişkilidir. Bu yöntem aynı zamanda Bell ve Sejnowski’nin [12] öğrenme algoritmasıdır. Denklem (2.47)’deki adım büyüklüğü ζ ’nın Newton yöntemi ile belirlenmesi ile sabit noktalı (fixed-point) ICA algoritması elde edilir [13]. 2.6.2. SOBI: İkinci Dereceden Gözükapalı Tanılama İkinci Dereceden Gözükapalı Tanılama (Second Order Blind Identification) algoritmasında farklı ötelemelerle hesaplanmış kovaryans matrisleri kullanılır [17]. Bu yöntemdeki ayrıştırılabilirlik özelliği doğrusal ilintililiktir. Gözlemlerin kovaryans matrisleri R (0) = E[ y1:K ( n) y1:K ( n)T ] = AR s (0) AT + σ 2 I R ( m) = E[ y1:K ( n + m) y1:K ( n)T ] = AR s ( m) AT şelinde yazılabilir. Burada m≠0 y1:K (n) = [ y1,n , y2,n ,…, yK ,n ]T (2.50) gözlemlerin n ’inci piksellerinden oluşan bir vektördür. Buradaki beklenen değerler örneklem ortalaması kullanılarak yaklaşık olarak hesaplanır. σ 2 uzamsal olarak beyaz gürültünün değişintisidir. Gürültü beyaz olduğu için gürültü değişintisi sadece birinci ifadede yer almaktadır. SOBI algoritmasının adımları şu şekilde sıralanır [17]: • ˆ (0) kovaryans matrisi gözlem verisindeki örneklerden kestirilir. R • ˆ (0) ’ın özdeğer ve özvektörleri kullanılarak bir B̂ beyazlatma matrisi R oluşturulur. • Veri kümesi B̂ ile beyazlatılır ve beyazlatılmış verilerden R (m) , m = 1,…, M kovaryansları hesaplanır. Burada M en büyük öteleme miktarıdır. • Elde edilen {R (m) | m = 1,…, M } kovaryans setinin ortak köşegenleştiricisi Û birimcil matrisi hesaplanır. • ˆ T BY ˆ Kaynaklar S = U ifadesi ile bulunur. Burada Û dikgen ve B̂ köşegen matristir. Burada öteleme miktarı m 1B ve 2B veriler için farklı şekilde seçilebilir. Bu tezde karşılaştırma amacıyla iki SOBI algoritması kullanılmıştır. Bunlardan 1B ötelemeler ile 30 çalıştırılan algoritma SOBI 1B, 2B ötelemeler ile çalıştırılan algoritma da SOBI 2B olarak adlandırılmıştır. 2.6.3. SMICA Spektral eşleme ICA Fourier bölgesinde çalışan bir ayrıştırma yöntemidir. SMICA algoritmasındaki ayrıştırılabilirlik frekans bölgesindeki çeşitliliğe dayanır. Kaynaklar tanım bölgesinde i.i.d Gauss olarak kabul edilir. Frekans bölgesinde ise kaynakların güç spektrumları belirli bölgelerde durağan olarak kabul edilir. Bu bölgeler frekans bölgesinin halka (simit) şeklinde alt bölgelere ayrılmasıyla elde edilir. Fourier bölgesinde gözlem modeli Y ( ) = AS ( ) + N ( ) şeklinde yazılmış olsun. Burada (2.51) uzamsal frekansı göstermektedir. Herbir D f alt bölgesi için gözlem imgelerinin güç spektrumları yaklaşık olarak Rˆ Y ( f ) = 1 nf ∑ Y( )Y ( )T , f = 1,…, F (2.52) ∈D f şeklinde hesaplanır. Burada F halka şeklindeki frekans alt bölgesi sayısını ve n f , f ’inci bölgedeki ayrık frekans noktası sayısını göstermektedir. Gözlem imgelerinin güç spektrumu (2.51)’deki gözlem modeline göre T Rˆ Y ( f ) = A Rˆ S ( f ) A + Rˆ N ( f ) (2.53) şeklinde ifade edilir. Burada Rˆ S ( f ) ve Rˆ N ( f ) = Rˆ N köşegen matrislerdir ve Rˆ Y ( f ) ile aynı şekilde hesaplanır. SMICA algoritması Tablo 2.1’de verilmiştir. Tabloda nT toplam ayrık frekans noktası sayısıdır. 31 Tablo 2.1: SMICA algoritması. Rˆ Y ( f ) ←⎯ (3) ile A , Rˆ S ( f ) ve Rˆ N için ilkdeğerler atanır. E-adımı: tüm frekans bölgeleri için, f = 1: F −1 N C f ←⎯ ( A Rˆ A + Rˆ S ( f ) −1 ) −1 RYS ( f ) ←⎯ Rˆ Y ( f ) Rˆ N ( f ) −1 AC f T RSS ( f ) ←⎯ C f AT Rˆ N ( f ) −1 Rˆ Y ( f ) Rˆ N ( f ) −1 AC f + C f RSS ←⎯ ∑ f =1 nTf RSS ( f ) F n RYS ←⎯ ∑ f =1 nTf RYS ( f ) F n RYY ←⎯ ∑ f =1 nTf RYY ( f ) F n M-adımı: T A ←⎯ RYS RSS−1 Rˆ N ←⎯ diag{RYY − RYS RSS−1 RYS } A ve RSS ( f ) ’leri tekrar düzgele 32 3. MALZEME VE YÖNTEM 3.1. DETERMİNİSTİK ENİYİLEMEYE DAYALI BAYESÇİ KAYNAK AYRIŞTIRMA Bu bölümde, bilinmeyenlerin ortak sonsal dağılımları kullanılarak kaynak ayrıştırma problemi için iki çözüm yöntemi verilecektir. Bu yöntemler döngüsel eniyilemeye dayalıdır. Bu yöntemlerden bir tanesi sonsal dağılımın doruğunun döngülü olarak bulunduğu ICM yönteminin Newton-Raphson eniyileme yöntemi ile gerçekleştirilmiş halidir. Bu yaklaşım daha önce [32]’de gradyen iniş türü eniyileme yöntemi ile kullanılmıştır. İkinci yöntem olan ICM-var’da ise Gauss olmayan önsel dağılım Gauss bir önsel dağılıma yakınsatılmıştır. Böylece Newton-Raphson eniyileme yönteminin dışbükey olmama durumundan dolayı girdiği zorluktan kurtarılması amaçlanmıştır. Bu yöntem [50]’de sunulmuştur. Bu yöntemin GNC ve değişimsel Bayes’den farkı yaklaşıklığın sonsal dağılıma değil önsel dağılıma uygulanmasıdır. 3.1.1. ICM: Döngüsel Koşullu Doruk Bayesçi çatı altında tanımlanan kaynak ayrıştırmada, tüm bilinmeyenler s1:L , A ve σ 12:K sonsal dağılımın ortak enbüyüklenmesi ile kestirilebilir. Bu durumda MAP kestirimi: max p (s1:L , A, σ 12:K | y1:K ) = max2 p (y1:K | s1:L , A, σ 12:K ) p (s1:L ) p ( A ) p (σ 12:K ) s1:L , A ,σ 12:K s1:L , A ,σ 1:K (3.1) olarak ifade edilir. Tüm bilinmeyenleri içeren θ = {s{1:L} , A, σ 12:K } şeklinde yeni bir değişken tanımlanmış olsun. θ ’dan bir değişken, örneğin s l çıkarılırsa, yeni bilinmeyen kümesi θ −sl şeklinde gösterilecektir. Denklem (3.1)’deki ortak enbüyükleme işlemi zor olduğundan, bu işlem her değişkenin ayrı ayrı enbüyüklenmesi işlemine dönüştürülür. Bayes kuralı kullanılarak kaynaklar, karışım matrisi ve gürültü değişintileri için koşullu olasılıklar 33 p (s l | y1:K , θ − sl ) ∝ p ( y1:K | θ ) p (s l | θ − sl ) (3.2) p( A | y1:K ,θ − A ) ∝ p(y1:K | θ ) p( A | θ − A ) (3.3) p (σ 12:K | y1:K , θ −σ 2 ) ∝ p ( y1:K | θ ) p (σ 1:K | θ −σ 2 ) 1:K 1:K (3.4) şeklinde yazılır. s1:L , A ve σ 12:K değişkenleri birbirinden bağımsızdır. Bu sayede (3.1)’deki MAP kestirimi, (3.2-3.4)’teki sonsal olasılıkların bir birini izleyen MAP kestirimleri ile döngüsel bir yöntemle bulunur. Bu durumda enbüyükleme adımları stl +1 = max p(sl | y1:K ,θ −t sl ) (3.5) At +1 = max p( A | y1:K ,θ −t A ) (3.6) sl A (σ 12:K )t +1 = max p (Σ | y1:K , θ −t σ 2 ) 2 σ1:K 1:K (3.7) şeklinde sıralanır. Burada üst indis döngü adımlarını göstermektedir. (3.5-3.7) denklemlerinde verilen yordam ICM adımlarıdır [21],[51]. Her adımda sonsal dağılımın doruğunu bulma işi yinelenir. Eğer dağılımların doruğu doğrudan, analitik olarak, bulunamıyorsa en dik iniş veya Newton-Raphson gibi döngüsel eniyileme yöntemleri kullanılabilir. Bu yöntem astrofizik kaynak ayrıştırmada kullanılmıştır [32]. Bu çalışmada, [32]’deki yöntem Bölüm 2’de verilen önsel dağılımlar kullanılarak yeniden ifade edilmiş ve uygulanmıştır. Karışım matrisi ve gürültü değişintilerinin sonsal dorukları (2.14) ve (2.18)’den akt +,l1 = L 1 t T s y − akt ,i si ) ( ) ( ∑ l k t T t (sl ) sl i =1,i ≠ l (σ k2 )t +1 = L L 1 (y k − ∑ akt ,l stl )T (y k − ∑ akt ,l stl ) N l =1 l =1 ifadeleri ile doğrudan yinelenir. Burada k = 1,…, K ve l = 1,…, L ’dir. (3.8) (3.9) 34 Kaynaklar için doğrudan çözümün bulunması mümkün değildir. Bu yüzden NewtonRaphson yöntemi kullanılacaktır. Bu durumda (3.5)’teki enbüyükleme stl +1 = min C (sl ) (3.10) sl { } = min − log p(y1:K | θ ) p(sl | θ − sl ) sl (3.11) şeklinde enküçüklemeye dönüştürülebilir. Burada C (.) maliyet fonksiyonunudur. Buradaki bir Newton-Raphson adımı s tl +1 = s tl − ζ∇C (sl ) (3.12) olup, bu ifadede ∇ gradyen operatörünü temsil etmektedir. Adım büyüklüğü ζ = ∇T C (sl )∇C (sl ) ∇T C (sl )∇ 2C (sl )∇C (sl ) (3.13) ifadesi ile bulunur. ∇ 2C (sl ) Hessian matrisini göstermektedir. Denklem (3.5)’teki sonsal dağılım için (3.12)’deki gradyen (2.8), (2.33) ve (2.35) ifadeleri kullanılarak K ∇C (sl ) = −∑ (ak ,l )T (y k − ∑ l =1 ak ,l sl ) k =1 L 2σ k2 8 (I − G d )T (I − G d )sl d =1 1 + ||( I −2Gδld,d) sl || + ∑ βl ,d 2 (3.14) şeklinde hesaplanır. Burada norm || (I − G d )sl ||2 = sTl (I − G d )T (I − G d )sl ’dir. Hessian matrisinin ise hesap kolaylığı sağlamak için kendisi değil köşegeni H = diag{ ∇ 2C (sl ) } kullanılmıştır. Bu matris 2 ⎧ 2 8 1 − ||( I −2Gδld,d) sl || ⎪ K ( ak , l ) + ∑ βl ,d H l = diag ⎨∑ 2 2 σ 2 1 k d =1 = k ⎪ 1 + ||( I −2Gδ dl ,d)sl || ⎩ ( ) ⎫ ⎪ 2⎬ ⎪ ⎭ ifadesi ile hesaplanır. Algoritmanın özeti Tablo 3.1’de verilmiştir. (3.15) 35 Tablo 3.1: Newton-Raphson adımları ile ICM algoritması. Δ PSIR: Tepe İşaret Girişim Oranındaki (PSIR: Peak Signal-to-Inference Ratio) değişimi ve e kullanıcı tarafından belirlenen en küçük değişim miktarını göstermektedir. s1:L ve A için ilkdeğerler atanır. tüm kaynak imgeleri için, l = 1 : L ∇C (sl ) ←⎯ (3.14) ile H l ←⎯ (3.15) ile T ζ ←⎯ ∇∇CC(s(s) H) ∇∇CC(s(s) ) l T l l l l sl ←⎯ s − ζ∇C (sl ) t l karışım matrisinin tüm elemanları için, t +1 k ,l a (k , l ) = (1,1) : ( K , L) ←⎯ (st )1T st (s ) (y k − ∑ i =1,i ≠l akt ,i si ) l l L t T l tüm gürültü değişintileri için, j = 1 : K (σ k2 )t +1 ←⎯ N1 (y k − ∑ l =1 akt ,l stl )T (y k − ∑ l =1 akt ,l stl ) L L Yakınsayana kadar döngüler devam ettirilir. Örneğin Δ PSIR < e . MAP kestirimindeki zorluklar Gauss olmayan önsel olasılıkların dışbükeyliği bozmasından kaynaklanır. Dışbükey olmayan Gibbs dağılımının enerji fonksiyonu yüzünden eniyi noktanın bulunması kesin değildir. Bu durumda, benzetimli tavlama veya Markov zinciri Monte Carlo gibi sayısal Bayesçi yöntemler kullanılabilir. Bu yöntemler yayınım türü olduklarından yakınsama süreleri genellikle uzundur. 3.1.2. ICM-var: Gibbs Önselinin Değişimsel Yaklaşıklığı ile Kaynak Ayrıştırma Gibbs dağılımındaki parametrelerin belirlenmesi kendi başına zor bir iştir. Bu bölümde önerilen yöntemle Gibbs dağılımı Gauss dağılımına yaklaştırılacaktır. Gauss olmayan önsel dağılım her pikselde ve yöne bağlı olacak şekilde değişintisi değişen yani durağan olmayan Gauss dağılımına yakınsatılacatır. Enbüyük sonsal kestirim yönteminde karşılaşılan zorluklardan bir tanesi kaynaklara ait olasılık fonksiyonlarının Gauss olmama zorunluluğundan kaynaklanmaktadır. Tek doruklu Gauss’tan farklı şekilde seçilen önsel dağılımlar dışbükeyliği bozduğu için enbüyük bulma işlemini zorlaştırmaktadır. Bu durumda yaklaşık Bayes yöntemlerinden MCMC örneklemeye dayalı Gibbs örnekleme veya benzetimli tavlama kullanılabilir. Bunlar yayınım tipi yöntemler olduklarından (her bir pikselin güncellenmesi komşu piksellere bağlı) işlem süreleri çok uzundur. 36 Bu bölümde yaklaşık Bayes yöntemlerinden değişimsel yaklaşıma dayalı olarak önseller belirlenecektir. Değişimsel yöntemlerin amacı takip edilmesi zor olasılık dağılımlarına takip edilmesi kolay dağılımlarla bir yaklaşıklık sağlamaktır. Yaklaşık önsellerin belirlenmesinde önemli olan özellikler işlenmesi kolay ve negatif logaritmasının dışbükey olmasıdır. Yaklaşık önsel dağılım q(s1:L | τ ) olarak tanımlanmış olsun. Burada τ , q(s1:L | τ ) dağılımına ait parametrelerin hepsini içeren değişken olsun. Bu durumda (3.5-3.7)’de verilen kestirim adımları τ t +1 = min DKL (q(slt | τ ) || p(sl )) (3.16) slt +1 = max p(y1:K | θ t )q(slt | τ t +1 ) (3.17) At +1 = max p( A | y1:K ,θ −t A ) (3.18) τ sl A (σ 12:K )t +1 = max p (Σ | y1:K , θ −t σ 2 ) 2 σ1:K şeklinde değiştirilir. Burada (3.19) 1:K DKL ( q (slk | τ ) || p (s lk )) , p (slk ) ve q (s lk | τ ) olasılık dağılımları arasındaki Kullback-Leibler ıraksayıdır ve ⎛ q(s k | τ ) ⎞ DKL (q(slt | τ ) || p(sl )) = ∫ q (slk | τ ) log ⎜ l k ⎟ dsl ⎝ p(sl ) ⎠ (3.20) şeklinde tanımlanır. q dağılımı τ parametresiyle tanımlanan bir dağılım olsun. İki fonksiyon arasındaki bu mesafeyi en küçük yapacak paramatrelerin saptanmasıyla q dağılımı da belirlenmiş olur. Daha sonra kaynaklara ait MAP (3.17) kestiriminde, bu şekilde saptanan yaklaşık önsel dağılım kullanılır. 3.1.3. Yaklaşık Kaynak Modeli Her bir yöndeki klik farkları sl( d ) = sl − G d s l olarak tanımlanmış olsun. Yönlü fark imgelerinin istatistiksel olarak birbirlerinden bağımsız olduğu kabul edilirse, s l 37 imgesinin olasılık fonksiyonunu, sl( d ) ayrıt imgelerinin olasılık fonksiyonlarının çarpımından oluşur. p(sl ) = 1 Z ( β l ,1:8 8 ∏ exp {− β ) d =1 l ,d ρ (sl( d ) )} , l = 1,…, L (3.21) Aynı s l imgesi klik farkları Gauss olarak modellendiğinde ise olasılık yoğunluk işlevi vektör formunda 8 q (sl ) = ∏ q (sl( d ) ) , l = 1,…, L (3.22) d =1 olarak ifade edilir. Burada s l imgesinin olasılık fonksiyonu, yine sekiz yöndeki piksel farklarının olasılık fonksiyonlarınn çarpımı olarak yazılmıştır. Bu durumda bir yöndeki ayrıt imgesi sl( d ) ’ye ait olasılık fonksiyonu q (sl( d ) ) = 1 (2π ) N / 2 ∏ i =1 σ l2,d ,i N 1 exp{ − (sl( d ) )T Cl , d sl( d ) } 2 (3.23) olacaktır. Bu modelde, yönlü ayrıt imgelerindeki piksellerin dağılımı ilintisiz ve türdeş olmayan Gauss’lar olarak kabul edilmiştir. Bir başka değişle, ayrıt imgeleri ortalaması sıfır ve değişintileri pikselden piksele değişen σ l2,d ,i ’lerden oluşan Gauss’lar olarak modellenmiştir. Bu durumda Cl ,d = diag ⎧⎨⎩1/σ l2, d ,i ⎫⎬⎭ N i =1 ayrıt imgesinin bağımsız fakat duruğan olmayan değişinti matrisinin tersidir. 3.1.3.1. Yaklaşık Kaynak Modeli Parametrelerinin Belirlenmesi Öneri dağılımı (3.23)’te verildiği gibi Gauss olarak seçilirse τ = {σ l , d ,i | l = 1,…, L, d = 1,…, 8, i = 1,…, N } parametrelerinden oluşacaktır. Aynı imgeye ait farklı modeller giydirilerek elde edilmiş iki olasılık fonksiyonu p(sl ) ve q(sl ) arasındaki Kullback-Leibler ıraksama ölçüsü, bu ölçüyü en az yapacak q (sl ) fonksiyonunu belirlemek amacıyla yazıldığında 38 ⎛ q (sl ) ⎞ DKL (q(sl ) || p(sl )) = ∫ q (sl ) log ⎜ ⎟ dsl ⎝ p(sl ) ⎠ (3.24) 1 8 N ⎡ 8N log{ 2π } − ∑ ∑ log{ σ l2,d ,i } − = Eq ⎢ − 2 d =1 i =1 ⎣ 2 (d ) 2 8 N 1 8 N ( sl ,i ) ⎤ {Z } β βl ,d ρ ( sl(,di ) ) ⎥ + + log ( ) ∑ ∑ ∑ ∑ l ,1:8 2 2 d =1 i =1 σ l ,d ,i d =1 i =1 ⎦ =− 8N 1 8 N log{ 2π } − ∑ ∑ log{ σ l2, d ,i } − 2 2 d =1 i =1 (d ) 2 ⎤ ⎡ 8 N 1 8 N Eq ⎢⎣ ( sl ,i ) ⎥⎦ log ( ) + + {Z } β β l ,d Eq ⎡⎣ ρ ( sl(,di ) ) ⎤⎦ ∑ ∑ ∑ ∑ l ,1:8 2 2 d =1 i =1 σ l , d ,i d =1 i =1 ifadesi elde edilir. Elde edilen bu son ifadede Eq ⎣⎡⎢ ( sl(,di ) ) 2 ⎦⎤⎥ = σ l2,d ,i olmasına karşı Eq ⎡⎣ ρ ( sl(,di ) ) ⎤⎦ beklenen değeri ρ (.) fonksiyonu doğrusal olmadığından kolayca hesaplanamaz. Bu beklenen değeri hesaplamak için ρ ( sl(,di ) ) fonksiyonu bir s l(,di ) etrafında Taylor serisine açılıp üçüncü ve yüksek dereceden terimler gözardı edildiğinde ρ ( sl(,di ) ) ≈ ρ ( s l(,di )) + ( sl(,di ) − s l(,di )) ρ ′( s l(,di )) + ( sl(,di ) − s l(,di )) 2 ρ ′′( s l(,di )) (3.25) yaklaşıklığı elde edilir. Buradan ρ ( sl(,di ) ) ’nin beklenen değeri yaklaşık olarak Eq ⎡⎣ ρ ( sl(,di ) ) ⎤⎦ ≈ ρ ( s l(,di )) + ( Eq ⎡⎢⎣ sl(,di ) ⎤⎥⎦ − s l(,di )) ρ ′( s l(,di )) (3.26) + ( Eq ⎣⎡⎢ ( sl(,di ) ) 2 ⎦⎤⎥ − 2 Eq ⎣⎡⎢ sl(,di ) ⎦⎤⎥ s l(,di ) + ( s l(,di )) 2 ) ρ ′′( s l(,di )) ≈ ρ ( s l(,di )) − s l(,di )ρ ′( s l(,di )) + (σ l2,d ,i + ( s l(,di )) 2 ) ρ ′′( s l(,di )) olarak bulunur. Burada öneri dağılımının yeterince hedef dağılımı gösterdiği varsayılmış ve Eq ⎡⎢⎣ sl(,di ) ⎤⎥⎦ ≅ 0 olduğu kabul edilmiştir. Yaklaşık beklenen değer (3.24)’te yerine konulursa DKL (q(sl ) || p(sl )) = − 82N log{ 2π } − 12 ∑ d =1 ∑ i =1 log{ σ l2,d ,i } − 82N + log{Z ( βl ,1:8 ) } 8 N 39 + 12 ∑ d =1 ∑ i =1 βl ,d ⎡⎣ ρ ( s l(,di )) − s l(,di )ρ ′( s l(,di )) + (σ l2,d ,i + ( s l(,di )) 2 ) ρ ′′( s l(,di )) ⎤⎦ 8 N olur. Bu ifadeyi enküçükleyecek σ k2,e, j yerel değişintilerini bulmak için ifadenin σ k2,e, j ’ye göre türev alınıp sıfıra eşitlenirse ∂ ∂σ 2 k ,e, j DKL (q(sl ) || p(sl )) = − 1 2σ 2 k ,e, j 1 + β k ,e ρ ′′( s (je )) = 0 2 elde edilir. Buradan σ l2,d ,i σ l2,d ,i = 1 βl ,d ρ ′′( s l(,di )) (3.27) olarak bulunacaktır. Denklem (2.29)’da tanımlanan klik potansiyeli olarak negatif logCauchy fonksiyonu kullanıldığında ⎡1 + (( s l ,i ) ⎤ δ l ,d ⎥ ⎢ ⎦ =⎣ (d ) β l , d s l ,i (d ) 2 σ l2,d ,i 2 (3.28) olarak bulunur. Bu durumda (3.27)’deki enbüyükleme stl +1 = min C (sl ) (3.29) sl = min − log { p (y1:K | θ )q (sl | τ )} (3.30) sl şeklinde enküçüklemeye dönüştürülebilir. Denklem (3.17)’deki sonsal dağılım için Newton-Raphson adınlarında kullanılacak olan gradyen (2.8), (3.22) ve (3.23) ifadeleri kullanılarak K ∇C (sl ) = −∑ k =1 (ak ,l )T (y k − ∑ l =1 ak ,l sl ) L 2σ k2 8 + ∑ (I − G d )T Cl ,d sl( d ) d =1 (3.31) 40 Tablo 3.2: Yaklaşık önsel ile ICM-var algoritması. tüm kaynak imgeleri için, l = 1 : L tüm yönlü fark imgeleri için, d = 1 : 8 2 ⎡ 1+ (( s l( ,di ) )2 /δ l ,d ⎤⎥ ⎣⎢ ⎦ βl ,d s l( ,di ) σ l2,d ,i ←⎯ Cl , d ←⎯ diag ⎩⎧⎨1/σ l2, d ,i ⎭⎫⎬ ∇C (sl ) ←⎯ (3.31) ile H l ←⎯ (3.32) ile T ζ ←⎯ ∇∇CC(s(s) H) ∇∇CC(s(s) ) l T l l l l sl ←⎯ s − ζ∇C (sl ) t l karışım matrisinin tüm elemanları için, ( k , l ) = (1,1) : ( K , L) akt +,l1 ←⎯ (st )1T st (stl )T (y k − ∑ i =1,i ≠l akt ,i si ) L l l tüm gürültü değişintileri için, j = 1 : K (σ k2 )t +1 ←⎯ N1 (y k − ∑ l =1 akt ,l stl )T (y k − ∑ l =1 akt ,l stl ) L L şeklinde hesaplanır. Hessian matrisinin köşegeni H ise ⎧⎪ K (ak ,l ) 2 8 ⎫⎪ T I − G H l = diag ⎨∑ I G C ( ) ( ) + − ⎬ ∑ d , l d d 2 d =1 ⎪⎩ k =1 2σ k ⎪⎭ (3.30) ifadesi ile hesaplanır. Algoritmanın özeti Tablo 3.2’de verilmiştir. 3.1.4. Benzetim Sonuçları Bu bölümde, sunulan Bayesçi yöntemlere ait başarımlar verilerek ICA tabanlı yöntemlerle karşılaştırılacaktır. Karşılaştırma için kullanılan ICA tabanlı yöntemler FPICA (Bölüm 2.6.1), SOBI 1B, SOBI 2B (Bölüm 2.6.2) ve SMICA’dır (Bölüm 2.6.3). Bu tezde kullanılacak deneylerden bir tanesi doku imgeleri kullanılarak elde edilmiş sentetik imge karışımları olacaktır. Astrofizik imgelerle yapılacak olan deneyler ayrı bir bölümde verilecektir. Bu tezde, sayısal başarım göstergesi olarak kullanılacak olan Tepe İşaret-Girişim Oranı (PSIR: Peak Signal-to-Inference Ratio) 41 ⎛ 2552 ⎞ 10 log = , PSIR l ⎜ 2 ⎟ ⎝ || sl − sl || ⎠ l = 1,…, L (3.33) şeklinde tanımlanır. L adet bileşen için PSIR herbir bileşen için hesaplanan PSIR’ların aritmetik ortalamaları alınarak hesaplanmıştır. Bu ölçüt [24]’de de kullanılmıştır. Bu ölçüt sadece en kötü ayrıştırılan kaynak için değil, ayrıştırılan tüm kaynaklar halkında bir bilgi vermektedir. PSIR = 1 L ∑PSIR l L l =1 (3.34) PSIR değerleri hesaplanmadan önce kaynaklar uygun sırada dizilmiş ve yeğinlikleri uygun şekilde ölçeklenmiştir. Bunun sebebi kaynak ayrıştırmada ayrıştırılan kaynaklarla gerçek kaynaklar arasında sıralama ve ölçek farkının olmasıdır. Ölçekleme ve sıralama sadece PSIR hesaplamak için yapılmış olup hiçbir yönteme ait bir adım değildir. Tablo 3.3’te, yukarıda bahsedilen yöntemlere ait PSIR değerleri verilmiştir. Değişimsel önsel yaklaşımı ile gerçekleştilen yöntem ICM-var olarak isimlendirilmiştir. ˆ † A matrisi Diğer bir başarım göstergesi ise karışım matrisi  ile ilgilidir ve R = A kullanılarak hesaplanır. Burada † matrisin sözde tersini göstermektedir. Eğer  matrisinde herhangi bir permutasyon yoksa, R bir birim matris olacaktır. L × L boyutunda R matrisi için başarım göstergesi M (R ) = ⎛ ∑ j | rij | ⎞ 1 ⎛ ∑ i | rij | ⎞ 1 ⎜ ⎟ − + 1 1 − ⎜ ⎟ ∑ ∑ 2 L i ⎜ max j | rj ,i | ⎟ 2 L j ⎝⎜ max i | rj ,i | ⎠⎟ ⎝ ⎠ (3.35) olarak verilir. R birim matris olduğunda M (R ) sıfır olacaktır. Deneyler için kullanılan imgeler geometrik bir yapıdan gürültülü bir imge görünümünde olan doku imgeleri olarak seçilmiştir. Özgün doku imgeleri ve onların karışımları Şekil 3.1’de görülmektedir. Şekil 3.1’de gösterilen örnekte karışım matrisi Karışımlar Özgün İmgeler 42 Şekil 3.1: Birinci satır: Özgün imgeler; İkinci satır: (3.36)’daki A matrisi ile karıştırılmış imgeler. ⎡1.5 0.8 0.4 ⎤ A = ⎢⎢0.6 0.7 0.4 ⎥⎥ ⎣⎢ 0.5 0.7 0.8⎦⎥ (3.36) olarak seçilmiştir. Üç gözlem için de gürültünün özdeş olduğu kabul edilmiştir, bu durumda σ 12 = σ 22 = σ 32 olur. Bu denemeler için Gibbs dağılımının β ve δ parametreleri kullanıcı tarafından belirlenmektedir. Bu iki parametrenin imgeler üzerinde türdeş olduğu kabul edilmiştir. Doku imgeleri için Cauchy dağılımının ölçek parametresi yapılan bir kaç denemeden sonra δ = 12 olarak seçilmiştir. β önsel dağılımın sonsala katkısını belirlemektir ve eniyi değeri gürültü seviyesine göre ayarlanmalıdır. Gürültü seviyesi yüksekse gürültünün değişintisine orantılı olarak gözlemin sonsala katkısı düşürülmelidir. Bu durumda β artırılarak önselin katkısı artırılmalıdır. β parametresi aynı zamanda imgelerin düzlüğünü de kontrol etmektedir. Sözgelimi gereksiz büyük bir β seçimi 43 imgeyi çok fazla düzleştirecektir. δ tüm işaret-gürültü oranları için sabit alınmış fakat β gürültü seviyesine göre değiştirilmiştir. Önerilen yöntemler 15 dB’den ∞ dB’ye Şekil 3.2: β parametresinin SNR’ye göre değişimi. Tablo 3.3: ICM yöntemleriyle, FPICA, SOBI 1B (70 öteleme), SOBI 2B (8 öteleme), SMICA (4 frekans bandı) yöntemlerinden elde edilen ortalama PSIR değerlerinin karşılaştırılması. σ SNR 90.98 15 13.95 14.03 14.07 53.34 20 15.31 14.28 30.02 25 17.20 16.88 30 9.49 FPICA SOBI 1B SOBI 2B SMICA ICM ICM-Var 14.05 - 14.78 14.37 14.66 - 15.99 15.58 15.07 14.69 - 17.61 18.80 17.26 17.60 17.64 19.12 19.77 35 21.05 17.84 18.99 19.75 21.14 22.63 5.33 40 22.28 21.82 19.80 23.75 22.77 25.61 3.00 45 24.81 26.83 25.87 27.63 24.33 29.57 1.68 50 30.00 32.28 30.04 30.84 25.78 33.45 0 ∞ 31.43 34.74 33.92 38.29 27.57 45.72 kardar çeşitli işaret-gürültü oranları (SNR: Signal-to-Noise Ratios) altında sınanmıştır. β ’nın SNR’ye göre değişimi Şekil 3.2’de görülmektedir. Bu şekilde görülen β değerleri algoritmada en iyi PSIR elde edilecek şekilde belirlenmiştir. Karışım matrisinin köşegen elemanları 1 ve diğer elemanları 0.5 olacak şekilde ilk değerleri atanmıştır. Kaynaklara ait ilklendirme için gözlemler kullanılmıştır. Bu özel örnekte, kaynak ve gözlem sayısı eşit olduğundan atama bire bir yapılmıştır sl0 = y l . Ayrıştırılan imgeler gürültüsüz durum için Şekil 3.3’te görülmektedir. 44 Özgün ICM ICM-var Şekil 3.3: ICM ve ICM-var yöntemlerinin gürültüsüz durum için ayrıştırma sonuçları. Tablo 3.4: ICM yöntemleriyle, FPICA, SOBI 1B (70 öteleme), SOBI 2B (8 öteleme), SMICA (4 frekans bandı) yöntemlerinden elde edilen M (R ) ölçüsünün karşılaştırılması. σ SNR 90.98 15 0.6538 0.8940 0.9664 53.34 20 0.7861 0.8841 30.02 25 0.5242 16.88 30 9.49 FPICA SOBI 1B SOBI 2B SMICA ICM ICM-var 0.6803 - 1.0774 1.3099 0.6403 - 1.0301 0.7764 1.2363 0.5228 - 0.2419 0.4330 0.6356 0.7606 0.4285 0.5895 0.1547 35 0.2719 0.8832 0.7173 0.2051 0.5669 0.0971 5.33 40 0.4229 0.4701 0.6341 0.1600 0.5145 0.1032 3.00 45 0.3867 0.2187 0.2899 0.1689 0.4712 0.0501 1.68 50 0.1654 0.0679 0.1633 0.1500 0.4628 0.0440 0 ∞ 0.2173 0.1365 0.1454 0.2326 0.4602 0.0413 Başarım göstergeleri PSIR ve M (R ) Tablo 3.3 ve Tablo 3.4’te sunulmaktadır. Tablo 3.3’te verilen PSIR değerleri ayrıştırılan üç kaynağın PSIR’larının ortalamasıdır. ICM 45 ve ICM-var algoritmaları ICALAB Toolbox’da [52] yer alan iki algoritma ile karşılaştırılmıştır. Bu algoritmalar FPICA (Bölüm 2.6.1) ve 1B SOBI (Bölüm 2.6.2) aloritmalarıdır. Buradaki 1B SOBI algoritmasında, 70 öteleme kullanılarak değişinti matrisleri hesaplanmıştır. 1B SOBI algoritması için imge ilk önce satırları (veya sütunları) arka arkaya dizilerek tek boyuta dönüştürülür. Daha sonra bir boyutlu bir işaretmiş gibi SOBI yöntemi uygulanır. Bu durumda kovaryans matrisleri tek boyuttaki ötelemeler kullanarak hesaplanacağından diğer doğrultudaki ötelemeler göz ardı edilecektir. Fakat SOBI algoritması ötelemeler 2B’ye uydurularak (sağ, sol, yukarı, aşağı ve çapraz) kovaryans matrisleri hesaplanabilir. Bunun için Bölüm 2.6.2’deki SOBI algoritmasının 2B sürümü 8 adet birer adımlık uzamsal ötelemeler kullanılarak hesaplanan değişinti matrisleri ile uygulanmıştır. Bu yöntem SOBI 2B olarak adlandırılmıştır. SMICA algoritmasında halka şeklinde 4 frekans bandı kullanılmıştır. Bu sayı algoritma eniyi sonucu verecek şekilde seçilmiştir. • ICM-var yöntemi diğer yöntemlerin hepsinden daha iyi sonuçlar vermiştir. • ICM-var yöntemi gürültüsüz durumda diğer yöntemlerden çok daha iyi sonuç vermiştir. Bunun sebebi Hessian matrisi hesaplanırken pikselden piksele değişen değişintilerin kullanılması olabilir. Böylece adım büyüklüğü imgedeki ayrıtlara göre uzamsal olarak uyarlı hale gelmektedir. • ICM algoritması 30 dB’nin altındaki SNR değerlerinde yakınsamamaktadır. Buna karşın ICM-var algoritması bu zorluğu yenmiştir. • ICM-var’a en yakın yöntem bu denemeler için SMICA’dır. • Benzer şekilde Tablo 3.4’ten görüldüğü gibi M (R ) ölçüsü bakımından da ICMvar diğer yöntemleri geçmiştir. M (R ) ölçüsünün eniyi değeri sıfırdır. M (R ) ölçüsü SNR düşerken artmaktadır, fakat bu artışın her zaman tekdüze olmadığı görülmektedir. FPICA, SOBI 1B ve SMICA algoritmalarında gürültüsüz durumdaki M (R ) ölçüsü 50 dB’dekinden daha kötü çıkmıştır. SOBI ve SMICA gürültüyü de dikkate alan algoritmalar olduğundan gürültüsüz durumda biraz daha kötü sonuç vermesi açıklanabilir. Ama aynı açıklama FPICA algoritması için geçerli değildir. M (R ) ölçüsü çok karalı olmayıp sadece bu ölçüye bakarak ayrıştırma hakkında yorum yapmak yetersizdir. Yardımcı bir ölçüt olarak kullanılabilir. 46 30 SOBI 1B SOBI 2B FPICA ICM ICM-var SMICA 25 PSIR kazancı (dB) PSIR gain (dB) 20 15 10 5 0 -5 15 20 25 30 35 40 SNR (dB) 45 50 ... sonsuz Şekil 3.4: ICM ve ICM-var algoritmaları ile diğer algoritmalar için PSNR’ye göre ortalama PSIR iyileşmesi. Şekil 3.4’te, PSIR’deki ilk değere göre ortalama iyileşmeler karşılaştırılmaktadır. PSIR’daki gelişmenin 0 dB olması ilk değerlere göre algoritmanın hiçbir kazanç sağlamadığını gösterirken 0 dB’nin altındaki PSIR değerleri algoritmanın ilk değerlere göre daha kötü bir ayrıştırma sonucu verdiğini göstermektedir. PSIR’deki 1 dB’lik artış 3 kaynak olduğundan toplam 3 dB’lik bir iyileşmeye karşılık gelir. Hem gürültülü hem de gürültüsüz durumlarda ICM-var yöntemi diğerleri geçmiştir. Şekil 3.5’te 35 dB için karşılaştırma sonuçlarını görülmektedir. Birinci kaynak tüm algoritmalar tarafından iyi bir şekilde ayrıştırılmıştır. İkinci kaynak SMICA ve ICM tarafından görülebilir hale getirilmiştir. Üçüncü kaynakta eniyi sonucu ICM-var verirken diğer iki yöntem tarafından ayrıştırılmasına rağmen az da olsa girişim ve 47 Original SMICA ICM-var ICM 20 20 20 20 40 40 40 40 60 60 20 40 60 60 20 40 60 60 20 40 60 20 20 20 20 40 40 40 40 60 60 20 40 60 60 20 40 60 20 20 20 40 40 40 40 60 60 60 60 40 60 20 40 60 40 60 20 40 60 20 40 60 60 20 40 60 20 20 20 20 40 60 Şekil 3.5: SMICA, ICM ve ICM-var algoritmaları sonuçlarının 35 dB SNR’de görsel olarak karşılaştırılması. Tablo 3.5: ICM ve ICM-var yöntemlerinin hesap yüklerinin karşılaştırılması. SNR 35 ∞ ICM döngü say. süre (sn.) 90 4.96 6100 335.5 ICM-var döngü say. 128 1024 süre (sn.) 10.59 79.5 gürültü görülmektedir. ICM-var algoritmasının dezavantajı burada ikinci kaynağın ayrıştırılmasında görülmektedir. Gürültüden dolayı ayrıştırılan imge aşırı düzleşmiştir. ICM algoritmasının bir döngüsü 3.0 GHz bir PC’de ortalama 0.055 saniye sürerken ICM-var algoritmasınınki 0.08 saniye sürmektedir. Tablo 3.5’te iki algoritmanın döngü sayıları ve süreleri karşılaştırılmıştır. Gürültüsüz durumda ICM yönteminin yakınsaması çok uzun sürmektedir. Gürültü seviyesi artıkça döngü sayısı ve süre azalmaktadır. Gürültüsüz durumdaki PSIR kazancı gürültülü duruma göre daha fazladır. Bu da işlem 48 Özgün imgeler Karışımlar Ayrıştırılan imgeler Şekil 3.6: ICM-var algoritması ile birbirine karışmış kameraman ve yazı imgelerinin ayrıştırılması. süresini artırabilir. ICM-var gürültünün az olduğu durumlarda döngü sayısını ve hesaplama süresini düşürmüştür. ICM-var algoritmasının bir başka uygulama sonucu da Şekil 3.6’da görülmektedir. Burada kameraman imgesi ile bir yazının karışımı ICM-var algoritması ile ayrıştırılmıştır. Karışım matrisi ⎡1 0.2 ⎤ A=⎢ ⎥ ⎣1 0.3⎦ şeklinde alınmıştır. 3.1.5. Deterministik Eniyileme için Vargılar [32]’de de kullanılan ICM yöntemindeki Gauss olmayan önsel modellerinden kaynaklanan yakınsama problemi bu önsellerin Gauss’lara yaklaştırılmasıyla çözülmüştür. Gauss olmayan önsellerle 30 dB’nin altında yakınsamayan ICM yöntemi, ICM-var diye adlandırılan ve önsel uyumlu bir Gauss atayarak (Denklem (3.22)) yakınsar hale getirilmiştir. Ayrıca gürültünün düşük olduğu durumlarda çok uzun süren 49 ICM yönteminin yakınsaması da hızlandırılmıştır. Bu Gauss’la yaklaşıklama imgedeki ayrıtları koruma özelliğini bozduğu için ayrıştırılan kaynaklarda, özellikle yüksek gürültülü durumlarda, aşırı düzleşme gözlemlenmiştir. Bu dezavantaj MFA ve onun genel hali olan değişimsel Bayes yöntemlerinde ve aşamalı dışbükeysizlik, GNC, gibi Gauss’a yaklaşıklamaya dayalı yöntemlerde de görülen bir durumdur. Düzleşme probleminden kurtulmak için bir sonraki bölümde Gauss olmayan önsellere daha uygun olan MCMC yöntemine dayalı bir ayrıştırma yöntemi önerilecektir. 50 3.2. MCMC İLE BAYESÇİ KAYNAK AYRIŞTIRMA Bu bölümde, bilinmeyenlerin ortak sonsal dağılımları kullanılarak kaynak ayrıştırma problemi için Markov zinciri Monte Carlo’ya dayalı bir çözüm yöntemi verilecektir. Bu çözümde MCMC yöntemi olan Gibbs örneklemesine dayalı bir yöntem kullanılmıştır. 3.2.1. Gibbs Örnekleme ile Kaynak Ayrıştırma Kaynaklar için kullanılan önsel dağılımlar Gauss olmadığında (bkz. Bölüm 2), (3.5)’te verilen kaynaklara ait MAP kestirimi bulmak için MCMC yöntemi deterministik yöntemlerden sonra ikinci bir seçenektir [53,38,54,55,56,57]. Ortak sonsal dağılım p(s1:L , A, σ 12:K | y1:K ) ’dan doğrudan örnek üretmek mümkün olmadığından, çok değişkenli problemi tek değişkenli olarak parçalamak için Gibbs örnekleyicisi kullanılır [54], [38]. Başka bir deyişle, tüm değişkenler kendilerine ait sonsal dağılımdan ayrı ayrı örneklenirler. Bu döngüsel yordam yakınsadığı takdirde, üretilen örnekler gerçek ortak sonsal dağılımdan gelmeye başlayacaktır. Kaynak ayrıştırmada sadece kaynaklar değil karışım matrisi ve gürültü değişintileri de bilinmediğinden limit dağılım ortak sonsal dağılımdır. Karşım matrisinin elemanlarının sonsal dağılımı (2.12) ve (2.14) ifadeleri ile p(ak ,l | .) = N (ak ,l | μk ,l , γ k ,l )[u (ak ,l ) − u (ak ,l − Amax )] olarak belirlenmişti. Burada Gauss dağılımından rasgele örnekler kolayca üretilebilir. Elde edilen Gauss dağılımlı örnekler eğer akt +,l1 < 0 ise akt +,l1 = 0 yapılır. Eğer akt +,l1 > Amax ise akt +,l1 = Amax yapılır. (2.18) ve (2.16) denklemleri ile belirlenen gürültü değişintilerinin sonsal dağılımlarından örnek üretmek de ters Gamma dağılımı oldukları için kolaydır. Ters Gamma dağılımı için de işlem süreleri kısa ve basit rasgele örnek üretme yordamları 51 vardır. Bu durumda (σ k2 )t +1 ∼ Inv − G (σ k2 | N / 2, Nz / 2) şeklinde ters Gamma dağılımı kullanılarak örnekler üretilir. Kaynak ayrıştırma probleminin imge kestirimi kısmı MRF ile modellenmiş imgeler ile yapıldığından, imgelerden rasgele örnekler üretmek karışım matrisi ve gürültü değişintileri örnekleri kadar kolay değildir. Bu tezde önerilen örnekleme yöntemi karma bir yöntemdir. MRF modeline ait olasılık dağılımı Gibbs formunda olduğundan bölüntü fonksiyonu kolay hesaplanabilir değildir. Sonsal dağılım da Gauss olabilirlik ve Gibbs önselinin çarpımıdan oluşacağı için sonsal dağılım da kolay hesaplanabilir değildir ve doğrudan örnek üretmek mümkün değildir. Bunun için Metropolis adımları kullanılacaktır. 3.2.1.1. Markov Zincirleri Bu bölümde Markov zincirleri hakkında bilgi verilecektir. Bir Markov sürecinde geçiş olasılığı fonksiyonu, Markov zincirindeki bir durum verildiğinde sonraki durumun olasılık fonksiyonunu belirler. Tek boyutlu bir kaynak imge (bir imgenin tek bir satırı veya sütunu düşünülebilir) göz önüne alınmış ve l ’inci kaynak imgenin n ’inci pikseli Sl ,n rasgele değişkeni ile gösterilmiş olsun. m ’inci pikselden n ’inci piksele geçiş olasılığı pij (m, n) = Pr ( Sl ,n = j | Sl ,m = i ). (3.37) şeklinde tanımlanır. Burada i ve j rasgele değişkenlerin aldığı değerlerdir. Örneğin υ ∼ N (0,1) dağılımlı bir rasgele değişken olmak üzere Sl ,n = Sl ,m + υ modeli için geçiş olasılığı pij (m, n) = N ( Sl ,m ,1) şeklinde bir normal dağılım olacaktır. Geçiş olasılığı fonksiyonunun sahip olduğu bir özellik Chapman-Kolmogorov eşitliği olarak bilinen pij (m, n) = ∑ pik (m, u ) pkj (u, n) m < u < n (3.38) k eşitliğidir [37,38]. Geçiş olasılığı fonksiyonu sadece n − m farkına bağlıysa Markov zinciri durağan veya homojen denilmektedir. k ’ıncı adımdaki geçiş olasılığı fonksiyonu 52 pij( k ) (m, n) = Pr ( Sl , n + k = j | Sl , m = i ). (3.39) şeklinde tanımlanır. Tek adım geçiş olasılığı matrisi pij(1) olasılıkları cinsinden ⎡ p11(1) ⎢ (1) P = ⎢ p21 ⎢ ⎣ p12(1) p (1) 22 …⎤ ⎥ …⎥ ⎥ ⎦ (3.40) şeklinde tanımlanır. Bu istatistiksel bir matris olduğundan satırlarının toplamı bire eşittir. ∑ j p (1) ji = 1 . Durağan bir Markov zinciri için k ’ıncı adımdaki geçiş olasılığı fonksiyonu geçiş olasılığı matrisi kullanılarak p ( k ) = p (0) P ( k ) = p (0) P k (3.41) şeklinde yazılabilir. Burada p (0) zincirin ilk değeridir. Markov zincirleri taşıdıkları özelliklere göre çeşitli sınıfalara ayrılırlar. Bu özelliklerden ikisi şöyle sıralanabilir: 1. İndirgenemezlik: Bir Markov zincirinde pij( k0 ) > 0 durumunu sağlayan bir k0 sayısı bulunabiliryorsa Markov zinciri indirgenemezdir. Bunun anlamı tüm durumların birbiriyle etkileşim içinde olduğu herbir durumdan diğerine geçişin mümkün olduğudur. 2. Periyodik olmama: Zincirdeki bir durum K 0 , 2 K 0 , 3K 0 ,… gibi K 0 adımda bir kendini tekrarlamıyorsa zincir periyodik değildir. İndirgenemez ve periyodik olmayan bir Markov zinciri için lim pij( k ) = π j k →∞ (3.42) ifadesini sağlayan π dağılımına, denge dağılımı veya durağan dağılım denilmektedir. Eğer denge dağılımı varsa bu dağılım π = π P eşitliğini sağlar. Markov zinciri Monte Carlo’nun amacı π dağılımına sahip Markov zincirinden rasgele örnekler almaktır. 53 π j p ji = π i pij ifadesi sağlanıyorsa Markov zinciri tersinebilir, ve pij = p ji ise olasılık geçiş fonsiyonu simetriktir. MRF’de geçiş olasılığı sadece bir önceki veya sonraki piksele değil tüm komşu piksellere bağlıdır. Denklem (3.37)’de tek boyutlu imge için verilen geçiş olasılığı iki boyutlu imge için pij (∂n, n) = Pr ( Sl , n = j | Sl ,∂n = i ) (3.43) şeklinde olacaktır. Burada Sl ,∂n 8 komşu pikseli içeren rasgele vektör ve i bu vektörün aldığı değerleri içeren vektördür. 3.2.1.2. Metropolis Yöntemi Metropolis [58] bir Markov zinciri MC yöntemidir. Tek boyutlu durumda Markov zincirlerinin, çok boyutlu durumda Markov rasgele alanlarının rasgele benzetiminde kullanılır. MRF modelli imgeden rasgele örnekler üretmek için Metropolis algoritması kullanılacaktır. Metropolis algoritmasında, bir ilk değerle veya mevcut durum slt,n ile başlanarak simetrik bir öneri dağılımından w rasgele örneği çekilir. Eğer öneri fonksiyonu geçiş olasılığının kendisi ise üretilen örnekler 1 olasılığı ile slt,+n1 olarak güncellenir. Ancak gerçek uygulamaların çoğunda geçiş olasılığı zor bir dağılım olduğundan q ( slt, n , w) gibi kolay bir öneri dağılımı geçiş olasılığının yerine kullanılır. Bu geçiş w = sl , n + ν bir rasgele adım süreci ile yaklaşık olarak modellenebilir. Burada ν , −Δ ve Δ aralığında tanımlı birbiçimli bir rasgele değişkendir. Böylece öneri fonksiyonu qt ( sl ,n , w) = U ( w | sl , n − Δ, sl ,n + Δ ) şeklinde ifade edilir. Öneri dağılımından üretilen örnekler gerçek geçiş olasılığından gelmediği için artık 1 olasılığı ile kabul edilemeyecektir. Üretilen örneklerin kabul olasılığı ς i = min{r,1 } olarak tanımlanır ve kabul oranı r r= p ( w | y1:K , θ −t sl ,i ) p ( slt,i | y1:K , θ −t sl ,i ) (3.44) 54 Tablo 3.6: Bir kaynak imgesi için Metropolis algoritması. qn ( sl ,n , w) : l ’inci imgenin n ’inci pikseli için öneri dağılımı; u : [0,1] aralığında birbiçimli pozitif rasgele sayı; w : denemek için üretilen rasgele sayı; r : üretilen örneğin kabul olasılığı. 1. 2. 3. qn ( sl , n , w) ’dan w ’yu üret. r ’yi hesapla r ≥ 1 ise slt,+n1 = w değil ise u ∼ U (0,1) ’i üret. u < r ise slt,+n1 = w , t +1 değil ise sl , n = sl , n 4. t n + 1 ←⎯ diğer piksele geç ve 2. adıma git. şeklinde ifade edilir. Gibbs örnekleme yordamı içine yerleştirilecek olan Metropolis algoritmasının tek bir adımı Tablo 3.6’da verilmiştir. (2.9), (2.10), (2.25), (2.23) ve (2.29)’daki denklemlerin Cauchy modeli altında birleştirilmesi ile l ’inci kaynağın i ’inci pikseli için sonsal dağılımın p( sl ,i | y1:K , θ −t sl ,i ) ∝ p (y1:K | θ t ) p ( sl ,i | slt, B1 (i ) ) ’nin açık şekli p( sl ,n | y1:K , θ t − sl ,n 2 ⎧⎪ βl ⎡ ( sl ,n − sl ,m ) ⎤ ⎫⎪ ) ∝ ∏ N ( yk ,n | y k , n, σ ) exp ⎨− ∑ ln ⎢1 + ⎥⎬ δ k =1 ⎪⎩ m∈B1 ( n ) 2 ⎣ ⎦ ⎭⎪ K 2 k (3.45) şeklinde yazılır. Burada L y k , n = ∑ ak ,l sl ,n l =1 gözlemin beklenen değeridir. Buradan kabul oranının açık şekli 2⎤ ⎡ ⎫ ⎢δ + ( w − sl , m ) ⎥ ⎪ ⎧K 1 βl ⎣ ⎦ ln ⎡ r = exp ⎨∑ 2 [( yk ,n − y k ,n ) + D]D − ∑ t 2⎤⎬ ⎢δ + ( sl , n − sl , m ) ⎥ ⎪ m∈B1 ( n ) 2 ⎩ k =1 σ k ⎣ ⎦⎭ (3.46) 55 Tablo 3.7: Metropolis gömülü Gibbs örneklemenin bir döngüsü. s1:L ve A için ilkdeğerler atanır. tüm kaynak imgeleri için, l = 1 : L tüm pikseller için, i = 1 : N Tablo 3.6’daki Metropolis algoritması ile { } slt,+i 1 ←⎯ sample sl ,i p ( sl ,i | y1:K , θ −t sl ,i ) (Denklem (3.45)) karışım matrisinin tüm elemanları için, { (k , l ) = (1,1) : ( K , L) } akt +,l1 ←⎯ sample ak ,l p (ak ,l | y1:K , θ −t ak ,l ) (Denklem (2.12)) tüm gürültü değişintileri için, j = 1 : K { } (σ k2 )t +1 ←⎯ sampleσ k2 p (σ k2 | y1:K , θ −t σ 2 ) (Denklem (2.18)) Yakınsayana kadar döngüler devam ettirilir. Örneğin k Δ PSIR < ε olur. Burada D = ak ,l ( w − slt,i ) ’dir. l ’inci kaynak imgeye ait MRF modelinden Metropolis ile örnek üretmek için tarama doğrultusunda sl ,n n ’inci (şu anki piksel yeğinliği) ve sl ,n +1 (n + 1) ’inci (bir sonraki piksel yeğinliği) olacak şekilde iki komşu pikseli göz önüne alalım. İlk önce n ’inci pikselin sonsal dağılımı p( sl , n | y1:K , θ −t sl ,n ) belirlenir ve bir örnek üretilerek slt,+n1 şeklinde güncellenir. n ’inci pikselin yeni değeri θ t +1 kümesinde yerine yazıldıktan sonra, sıra (n + 1) ’inci piksel için p( sl ,n +1 | y1:K , θ −t +sl1,n+1 ) dağılımından örnek üretmeye gelir. Bu yordam tüm pikseller için örnek üretilme işlemi bitene kadar devam eder. Metropolis algoritması ile tüm imge örneklendikten sonra sıra karışım matrisi ve gürültü değişintilerinin örneklenmesine gelir. Tüm bilinmeyen değişkenler için örnekleme işlemi bittiğinde Gibbs örnekleme algoritmasının bir adımı tamamlanmış olur. 3.2.1.3. Gibbs Örneklemesi Metropolis adımları yerleştirilerek değiştirilmiş Gibbs örnekleme algoritması Tablo 3.7’de görülmektedir. Tüm değişkenlerin kendi sonsal dağılımlarından örneklendiği görülmektedir. Gibbs örnekleme algoritması bir ilk değerle başlamak zorundadır. Bu çalışmada, ilk değerler gözlem imgeleri kaynaklara birebir atanarak elde edilmiştir. İlk değer atamasından sonra birinci kaynak imgesi Metropolis ile örneklenir. Tüm 56 piksellerin örneklemesi bittikten sonra algoritma diğer kaynağa geçer ve böylece devam eder. Tüm kaynak imgelerinin MCMC benzetimi tamamlandıktan sonra karışım matrisi için örnekler üretilir. Tablo 3.7’de verilen sonsal dağılımların detaylı açıklamaları Bölüm 2.2 ve (3.45)’te verilmiştir. Burada önerilen yordam klasik Gibbs örnekleme algoritması değil Metropolis adımları yerleştirilerek değiştirimiş bir yöntemdir. Bu yönteme değiştirilmiş Gibbs örnekleme [56] veya Metropolis gömülü Gibbs örneklemesi denilebilir. Bu yöntemin Metropolis-Hasting adımları ile gerçekleştirilmiş bir benzeri [59] önerilmiştir. Tablo 3.7’de verilen adımlar algoritma yakınsayana kadar devam eder. Bilinmeyen sayısını azaltmak Gibbs örnekleme algoritmasının yakınsamasını hızlandıracağı gibi kestirim hatasını da düşürecektir. Bu amaçla, sadece tek bir kaynak imge örneklenir ve diğerleri sabitlenir. Böylece tek bir kaynak imge, karışım matrisi ve gürültü değişintileri yakınsayana kadar Gibbs ile örneklenir ve sonra örnekleme işlemi sıradaki kaynak imge için tekrar başlatılır. Bir önceki örnekleme sürecinden elde edilen kaynak imge, karışım matrisi ve gürültü değişintileri ikinci kaynak imge için ilk değerler olarak kabul edilir. Tüm kaynaklar örneklendikten sonra süreç tamamlanmış olur. Diğer bir deyişle l ’inci kaynak için sadece sl , A ve σ 12:K örneklenir. Bu adımlar slt,+11 ∼ slt,+21 ∼ 1 slt,+MN ∼ a1t,+11 aKt +,1L (σ 2 )t +1 p( sl ,1 | y1:K ,θ −t sl ,1 ) ⎫ ⎪ p( sl , 2 | y1:K ,θ −t sl ,2 ) ⎪ ⎬ Metropolis ⎪ t p( sl , MN | y1:K , θ − sl ,MN ) ⎪⎭ N (a1t,1 | μ1,1 , γ 1,1 ) ⎫ ⎪ ⎪ ⎬ Dogrudan ornekleme t N ( aK , L | μ K , L , γ K , L ) ⎪ ∼ ∼ Inv − G (σ k2 | N / 2, Nz / 2) ⎪⎭ ∼ (3.47) şeklinde sıralanabilir. Bir Ω0 alıştırma periyodu geçtikten sonra, Ω0 + Ω döngülerinin son Ω örneği MAP kestiriminin bulunulması için kullanılabilir. Böylece sl kaynağının MAP kestirimi 57 2 sˆ l, A, σ 1:K = arg max sωl , Aω , (σ 12:K )ω p (sωl , Aω , (σ 12:K )ω | s{ 1:L}−l , y1:K ) (3.48) şeklinde bulunabilir [56]. Burada ω = 1,…, Ω Tablo 3.7’de bir döngüsü verilen Gibbs örneklemenin döngü sayısını göstermektedir. l ’inci kaynak bir kere yakınsadıktan sonra sˆ l onun kestirimi olarak alınır ve daha sonraki örnekleme adımlarında sabit kabul edilir. l ’inci kaynakla beraber örneklenen A ve σ 12:K ’lar (l + 1) ’inci kaynak için ilk değer olarak kabul edilir. A ve σ 12:K ’ların kestirimi tüm kaynakların kestirimi elde edildikten sonra bulunur. (3.48)’deki MAP kestirimi tüm Ω örnekleri toplandıktan sonra bunların histogramından doruk noktası belirlenebilir. İstenildiği takdirde bu örneklerden MSE kestirimi de elde edilebilr. Yapılan denemeler sonucunda örneklerin histogramlarından elde edilecek MAP kestirimi ile üretilen son örnekler arasında çok fark olmadığı görülmüştür. Dolayısıyla histogramları elde edip doruklarını hesaplamak yerine algoritmanın durduğu andaki değerler MAP kestirimi olarak kabul edilmiştir. Gürültünün bilindiği durumda gürültü değişintileri için örnekleme yapmaya gerek kalmaz. Örneğin astrofizik kaynak ayrıştırmada gürültü değişintileri bilinmektedir. Bu durumda değişintiler için örnekleme adımları atlanabilir. Gürültü değişintileri olabilirliğin sonsala katkısını belirlediğinden kestirilen değerler β parametresine de bağlıdır. Bundan dolayı denemeler sonucunda değişintilerin belirli değerlere yakınsamasına karşı bu değerlerin gerçek değerler olmadığı görülmüştür. 3.2.1. Benzetim Sonuçları Bu bölümde benzetim için kullanılacak veri kümesi Bölüm 3.1.4’te kullanılanlarla aynıdır. Gibbs örnekleme algoritması iki farklı kaynak modeli için yürütülmüştür. Bölüm 2.4.1’deki i.i.d Cauchy modeli ile yürütülen GS-i.i.d olarak ve Bölüm 2.4.2’deki MRF modeli ile yürütülen de GS-MRF olarak gösterilmiştir. Şekil 3.7’de son 1000 döngüde elde edilen değerler kullanılarak oluşturulmuş histogramlar görülmektedir. Birinci histogram ikinci kaynağın (32, 32) ’nci pikselinin histogramı görülmektedir. Yeğinlik değeri 350 ile 360 arasında değişmektedir. Bu pikselin MAP kestirimi döngünün son adımındaki değeri 355 kabul edilmiştir. İkinci histogram A matrisinin (1,1) ’inci elemanının histogramıdır. A matrisinin sonsal dağılımı Gauss olmasına karşı 58 çift doruklu bir deneysel sonsal elde edilmiştir. Kestirim değeri olarak 0.6199 alınmıştır. Son histogram ise gürültü değişintisinin histogramı görülmektedir. Şekil 3.7: Son 1000 döngüde elde edilen değerler kullanılarak oluşturulmuş histogramları. Birinci histogram: İkinci kaynağın (32, 32) ’nci pikselinin, ikinci histogram: A matrisinin (1,1) ’inci elemanının, üçüncü histogram: gürültü değişintisinin histogramıdır. Tablo 3.8: GS-i.i.d ve GS-MRF yöntemleriyle, FPICA, SOBI 1B (70 öteleme), SOBI 2B (8 öteleme), SMICA (4 frekans bandı) yöntemlerinden elde edilen ortalama PSIR değerlerinin karşılaştırılması. σ 90.98 53.34 30.02 16.88 9.49 5.33 3.00 1.68 0 SNR 15 20 25 30 35 40 45 50 ∞ FPICA 13.95 15.31 17.20 18.80 21.05 22.28 24.81 30.00 31.43 SOBI 2BSMICA 14.07 14.05 14.37 14.66 15.07 14.69 17.60 17.64 18.99 19.75 19.80 23.75 25.87 27.63 30.04 30.84 33.92 38.29 ICM-var GS-i.i.d 14.78 14.94 15.99 16.05 17.61 17.35 19.77 19.19 22.63 21.10 25.61 24.21 29.57 27.20 33.45 29.78 45.72 32.70 GS-MRF 15.04 16.42 17.66 19.12 21.62 24.57 28.15 32.04 38.89 Sayısal sonuçlar Tablo 3.8 ve 3.9’da görülmektedir. ICM-var sonuçları PSIR değerleri bakımından diğer yöntemlerden daha iyi görülmesine karşı Şekil 3.5’te de görüldüğü üzere görsel açıdan bakıldığında gürültülü durumlarda çok fazla düzleşmiş sonuçlar verdiği görülmektedir. Tablo 3.8’den SMICA ve GS-MRF sonuçlarının birbirlerine yakın olmakla beraber GS-MRF’nin diğer yöntemlere göre daha iyi sonuç verdiği görülmektedir. GS-i.i.d düşük SNR seviyelerinde GS-MRF’ye yaklaşmasına karşı toplamda uzamsal ilintiye dayalı GS-MRF, Gauss olmamaya dayalı GS-i.i.d’den daha iyidir. Algoritmaların davranışlarını daha ayrıntılı görebilmek için herbir kaynağın ayrı ayrı PSIR’ları Tablo 3.10’da verilmiştir. SMICA Doku 2 için en yüksek PSIR değerine 59 Tablo 3.9: GS-i.i.d ve GS-MRF yöntemleriyle, FPICA, SOBI 1B (70 öteleme), SOBI 2B (8 öteleme), SMICA (4 frekans bandı) yöntemlerinden elde edilen M (R ) ölçüsünün karşılaştırılması. σ SNR 90.98 15 0.6538 0.9664 0.6803 1.0774 1.3043 0.8844 53.34 20 0.7861 1.3099 0.6403 1.0301 1.1769 1.2124 30.02 25 0.5242 1.2363 0.5228 0.2419 0.9213 0.8912 16.88 30 0.4330 0.7606 0.4285 0.1547 0.6761 0.7083 9.49 35 0.2719 0.7173 0.2051 0.0971 0.3717 0.4350 5.33 40 0.4229 0.6341 0.1600 0.1032 0.2780 0.2265 3.00 45 0.3867 0.2899 0.1689 0.0501 0.1175 0.1271 1.68 50 0.1654 0.1633 0.1500 0.0440 0.1135 0.0573 0 ∞ 0.2173 0.1454 0.2326 0.0413 0.1280 0.0212 FPICA SOBI 2B SMICA ICM-var GS-i.i.d GS-MRF Tablo 3.10: Gürültüsüz durumda kaynak imgelerin bireysel PSIR (dB) değerleri. GS-MRF GS-i.i.d SMICA FPICA+GS-MRF SOBI 2B SOBI 1B FPICA Doku 1 43.75 36.27 26.27 50.68 35.34 37.85 29.54 Doku 2 36.87 29.46 57.15 46.46 33.24 32.58 37.73 Doku 3 36.06 32.37 31.43 38.47 33.17 33.78 26.96 ulaşırken, Doku 1 için en düşük değeri vermiştir. Sonuçlar kaynaktan kaynağa kararsızlık göstermektedir. Buna karşı Bayesçi Gibbs örnekleme ile kaynak ayrıştırma daha kararlı bir davranış sergilemiş ve Doku 1 ve Doku 3 için eniyi sonuçları vermiştir. Önerilen GS yönteminin benzetimi uzun sürdüğü için uygun ilk değerlerle başlamak döngü sayısını azaltacaktır. Bu tür yaklaşımlar karmaşık sayısal yöntemlerle çözülen tersine imge problemlerinde [60] yakınsama süresini kısaltmak için kullanılmaktadır. Bunun için FPICA yönteminin çıktıları, GS-MRF için ilk değer olarak kullanılmıştır. Sonuçlar Tablo 3.10’da FPICA+GS-MRF şeklinde verilmiştir. FPICA üzerine elde edilen kazanç toplamda yaklaşık 41.38 dB ve ortalamada 13.79 dB’dir. Bu sayede GSMRF yöntemi 73000 döngüde sonuca varırken FPICA+GS-MRF 11600 döngüde yakınsamaktadır. Fakat bu iki farklı ilk değerle elde edilen sonuçlar aynı değildir. GSMRF’nin bir döngüsü 3.0 Ghz PC’de 0.6443 saniye sürmektedir. Döngü sayısı yaklaşık olarak 50000 alındığında hesaplama süresi 536.91 dakika (8.94 saat)’dır. İki algortimanın sonuçları Şekil 3.8’de görülmektedir. Bu imgeler ayrıştırma sonuçları ile FPICA+GS-MRF GS-MRF 60 Şekil 3.8: FPICA+GS-MRF ile GS-MRF algoritmalarının ayrıştırma sonuçları ile özgün imgeler arasındaki karesel hatalar. özgün imgeler arasındaki karesel hataları göstermektedir. FPICA+GS-MRF’nin sonuçları GS-MRF’den daha iyidir. Üçüncü kaynak her iki yöntemde de en büyük hata ile ayrıştırılmıştır. Şekil 3.9’da 35 dB için karşılaştırma sonuçları görülmektedir. Doku 1 tüm algoritmalar tarafından iyi bir şekilde ayrıştırılmıştır. Doku 2 FPICA tarafından ayrıştırılamamıştır. Doku 3 ICA tabanlı yöntemler tarafından ayrıştırılmasına rağmen az da olsa girişim ve gürültü görülmektedir. GS-MRF Doku 1 ve 2’yi iyi bir şekilde ayrıştırmış ve Doku 2’yi de daha görülür bir hale getirmiştir. FPICA+GS-MRF yöntemi farklı doku karışımları için de test edilmiştir. Elde edilen sayısal sonuçlar Tablo 3.11 ve 3.12’de, görsel sonuçlar ise Şekil 3.10’da görülmektedir. Buradaki karışımlar (3.36)’daki karışım matrisi ile elde edilmiştir. Tablo 3.11’de, SOBI 1B gürültüsüz durumda iyi iken diğer SNR değerleri için FPICA+GS-MRF sonuçları daha iyidir. Tablo 3.12’deki M (R ) ölçüsü Tablo 3.9’daki doku imgelerinde olduğu gibi tutarsızlıklar göstermektedir. Sadece bu ölçüye bakılarak ayrıştırmanın başarımının ölçülmesi doğru olmayacaktır. 61 Özgün FPICA SMICA GS-MRF Şekil 3.9: FPICA, SMICA ve GS-MRF algoritmaları sonuçlarının 35 dB SNR’da görsel olarak karşılaştırılması. Tablo 3.11: Şekil 3.10’daki imgeler için FPICA+GS-MRF yöntemiyle, FPICA, SOBI 1B (70 öteleme), SOBI 2B (8 öteleme), SMICA (4 frekans bandı) yöntemlerinden elde edilen ortalama PSIR değerlerinin karşılaştırılması. σ SNR FPICA SOBI 1B SOBI 2B SMICA 30.02 25 19.71 19.36 19.21 18.75 FPICA+ GS-MRF 20.86 16.88 30 20.50 20.63 20.42 19.26 21.69 9.49 35 22.13 22.13 22.30 22.27 23.55 5.33 40 24.97 24.84 23.97 24.36 25.59 3.00 45 28.53 28.61 25.43 28.03 29.44 1.68 50 31.75 32.38 27.57 32.09 33.46 0 ∞ 40.90 42.07 41.80 37.04 41.65 62 Tablo 3.12: Şekil 3.10’daki imgeler için FPICA+GS-MRF yöntemiyle, FPICA, SOBI 1B (70 öteleme), SOBI 2B (8 öteleme), SMICA (4 frekans bandı) yöntemlerinden elde edilen M (R ) ölçüsünün karşılaştırılması. σ SNR 30.02 25 FPICA SOBI 1B SOBI 2B SMICA FPICA+GSMRF 0.7992 0.7036 1.0901 0.4816 0.9508 16.88 30 0.6119 0.5566 0.9452 0.4763 0.7320 9.49 35 0.5494 0.6768 0.7845 0.4200 0.6217 5.33 40 0.3979 0.4355 0.6817 0.3728 0.3799 3.00 45 0.1598 0.1565 0.7214 0.1831 0.0768 1.68 50 0.1700 0.0978 0.6020 0.1697 0.0875 0 ∞ 0.1104 0.1016 0.1326 0.1887 0.4668 Karisimlar Karışımlar Özgün Özgün FPICA FPICA SMICA SMICA FPICA+GS-MRF FPICA+GS-MRF 26.80 dB 26.47 dB 28.18 dB 19.43 dB 18.60 dB 20.81 dB 21.43 dB 21.72 dB 21.65 dB Şekil 3.10: Farklı doku imgeleri için FPICA+GS-MRF ile FPICA ve SMICA algoritmaları sonuçlarının 35 dB SNR’de görsel olarak karşılaştırılması. Şekil 3.10’daki sonuçlar 35 dB SNR’de elde edilmiştir. Şekilden görüldüğü gibi birinci ve ikinci doku imgelerinde FPICA+GS-MRF yöntemi sonuçları diğerlerine göre daha iyi iken üçüncü doku imgesi için SMICA yöntemi 0.07 dB daha iyi sonuç vermiştir. 63 3.2.3. MCMC Yöntemi için Vargılar Metropolis gömülü Gibbs örnekleme ile yapılan kaynak ayrıştırmada Gauss olmayan önsellerden kaynaklanan örnek üretme problemi ortadan kalkmasına rağmen yakınsama süresi çok uzamıştır. Bu problemi gidermek için Metropolis’te kullanılan öneri dağılımının daha uygun seçilmesi gerekmektedir. Kullanıcıya bağlı β ve δ parametrelerin algoritma boyunca öğrenilmesi ve öneri dağılımının bu parametrelere bağlı olarak belirlenmesi de yakınsama süresini kısaltabilir. Diğer bir yöntem de örneklemeyi paralel olarak yapmaktır. Bir sonraki bölümde, MRF parametrelerini de kestiren bir MC yöntemi önerilecektir. 64 3.3. İSTATİSTİKSEL EM İLE ÖĞRETİCİSİZ KAYNAK AYRIŞTIRMA Bölüm 3.2’de sunulan Gibbs örnekleme ile kaynak ayrıştırma yönteminin eksik tarafı Gibbs dağılımı parametrelerinin kullanıcı tarafından ayarlanması gerekliliğidir. Ayrıca yöntemin yakınsama süresi de oldukça fazlaydı. Bu bölümde İstatistiksel BeklentiEnbüyükleme (SEM: Stochastic Expectation-Maximization) yöntemi kullanılarak probleme ait tüm parametrelerin otomatik öğrenilmesi sağlanacaktır. Gibbs dağılımının parametrelerinin öğrenilebilmesi için Bölüm 2.5’te sunulan sözde olabilirlik yaklaşıklığı kullanılacaktır. 1.1. İstatistiksel Beklenti-Enbüyükleme Bölüm 3.2’deki yaklaşımda tüm bilinmeyenlerin ortak sonsal dağılımı üzerinden benzetimler gerçekleştirilmişti. Kaynak ayrıştırmadaki diğer bir yaklaşım ise kaynak değişkenlerini saklı (gizli) değişkenler olarak kabul edip, bu değişkenler üzerinden integral alıp, marjinal sonsal dağılımı bulup gizli olmayan değişkenler üzerinden enbüyükleme işlemi yapmaktır. Kaynaklara ait parametrelerin belirlenmesinden önce kaynak modelinin seçilmesi gerekmektedir. Kaynak ayrıştırmada harmanlanmış kaynakların ayrılabilmesi için yeterli olan şartlardan bir tanesi kaynakların olasılık yoğunluk fonksiyonlarının Gauss olmamasıdır. Bu amaçla kullanılan modellerden bir tanesi Gauss’ların katışımıdır. Bu model kaynak ayrıştırma için başarı ile kullanılmaktadır [24], [25]. Gauss’ların beklentileri analitik olarak hesaplanabildiğinden, Gauss’ların katışımı modelindeki parametrelerin belirlenmesi EM yöntemiyle yapılmaktadır. Bu çalışmada kullanılan ayrıştırılabilirlik şartı uzamsal ilintiye ve MRF imge modeline dayandığından Gibbs dağılımının beklentileri analitik olarak hesaplanamaz, dolayısıyla EM yönteminin doğrudan kullanılması mümkün değildir. Bunun için önerilen yöntemlerden bir tanesi ortalama alan yaklaşıklığı ile MRF’ye bir Gauss dağılımı oturtmaktır. Bu sayede beklentiler hesaplanabilir. Ortalama alan yaklaşıklığı imgedeki 65 ayrıtların düzleştirilmesine neden olmaktadır. Bu çalışmada, Bölüm 2.5’teki sözde olabilirlik yaklaşıklığı kullanılacaktır. EM yönteminde gözlem ve kaynak modeli parametrelerini kestirmek amacıyla karışım matrisi A , gözlem gürültü değişintileri σ 12:K ve Gibbs dağılımı parametreleri β1:L,1:8 ve δ1:L,1:8 ’ların olabilirliği gizli değişken olarak kabul edilen s1:L ’ler üzerinden p (y1:K | A, σ 12:K , β1:L,1:8 , δ1:L,1:8 ) = ∫ p (s1:L , y1:K | A, σ 12:K , β1:L,1:8 , δ1:L,1:8 )ds1:L (3.49) = ∫ p (y1:K | s1:L , A, σ 12:K ) p (s1:L | β1:L,1:8 , δ1:L,1:8 )ds1:L olarak ifade edilir. (3.49)’un logaritmasını enbüyük yapan A , σ 12:K , β1:L,1:8 ve δ1:L,,1:8 parametreleri belirlenmek istenirse, θ = { A, σ 12:K , β1:L,1:8 , δ1:L,1:8 } olmak üzere θˆ = arg maxlog p(y1:K | θ ) θ (3.50) şeklindeki ifade edilen enbüyükleme probleminin çözülmesi gerekmektedir. Bu enbüyükleme içerdiği integralden dolayı zordur. Bunun yerine daha basit bir maliyet fonksiyonu belirlenip EM yöntemi ile yinelemeli olarak çözülebilir. Bunun için ⎧ p (y1:K , s1:L | θ ) ⎫ log { p (y1:K | θ )} = log ∫ ⎨ p (s1:L | y1:K , θ t )ds1:L t ⎬ ⎩ p(s1:L | y1:K , θ ) ⎭ (3.51) ⎧ p (y1:K , s1:L | θ ) ⎫ (Jensen eşitsizligi) ≥ ∫ log ⎨ p(s1:L | y1:K , θ t )ds1:L t ⎬ ⎩ p(s1:L | y1:K ,θ ) ⎭ ⎧ p (y1:K | s1:L , θ ) p (s1:L | θ ) ⎫ t = ∫ log ⎨ ⎬ p (s1:L | y1:K , θ )ds1:L t | , ( ) p s y θ 1: L 1:K ⎩ ⎭ = Q(θ ;θ t ) + H (θ t ) şeklinde bir Q(θ ;θ t ) fonksiyonu belirlenir. Buradan görüldüğü gibi Q(θ ;θ t ) fonksiyonunun en büyük değeri her zaman log p (y1:K | θ ) fonksiyonunun en büyük değerinin altında kalacaktır. Bu da EM yönteminin bir dezavantajı olarak görülmektedir. Böylece EM bir alt eniyi çözüme ulaşabilmektedir. Burada 66 Q (θ ;θ t ) = Es 1:L |y ,θ t ⎡⎣log { p (y1:K | s1:L , θ ) p (s1:L | θ )}⎤⎦ (3.52) olacak şekilde bir önceki adımda elde edilen parametrelere bağlı olan s1:L ’lerin sonsal dağılımı üzerinden hesaplanan koşullu beklentidir. H (θ t ) terimi koşullu olasılığın kendisinin entropisi olup parametrelere bağlı olmadığından sabit olarak kabul edilebilir. Bu durumda EM yönteminin E adımı Q(θ ;θ t ) fonksiyonunun elde edilmesi ve M adımı da θ t +1 = arg max Q(θ ;θ t ) θ (3.53) enbüyüklemesinin gerçekleştirilmesinden oluşur. Q(θ ;θ t ) fonksiyonunun elde edilmesi p (s | y,θ t ) fonksiyonuna bağlıdır. Örneğin bu fonksiyon MRF’nin ortalama alan yaklaşıklığı olan Gauss seçilirse analitik olarak hesaplanabilir. Fakat bu bölümde kullanılacak olan sonsal dağılım (2.36)’da tanımlanan sözde olabilirlik olduğundan analitik olarak hesaplamak mümkün değildir. Bunun için integralin Monte Carlo yaklaşıklığı kullanılabilir. (3.52)’deki beklenen değeri MC benzetimi kullanılarak Q(θ ;θ t ) ≈ 1 I log { p(y1:K | s1(:iL) , θ ) p (s1(:iL) | θ )} ∑ I i =1 (3.54) şeklinde hesaplanabilir. Bu yöntemle uygulanan EM algoritmasına Monte Carlo EM denilmektedir [61], [38]. Burada üst indis i üretilen rasgele örnekleri göstermektedir. I tane örnek hesaplamak yerine tek bir örnekle hesaplandığı takdirde yönteme istatistiksel EM (SEM) denilmektedir. Bu bölüm de kullanılacak SEM algoritması s1(:tL+1) ∼ p(s1:L | y1:K , θ t ) (3.55) Q(θ ;θ t ) = log { p (y1:K | s1(:tL+1) , θ ) p(s1(:tL+1) | θ )} (3.56) θ t +1 = arg max Q(θ ;θ t ) (3.57) θ 67 adımlarına dönüşecektir. Denklem (3.55)’teki sonsal dağılımdan örnek üretme işlemi Tablo 3.6’da verilen Metropolis yöntemi ile yapılacaktır. Buradaki tek fark sonsal dağılım için p(s | y, θ t )1/T şeklinde T gibi bir sıcaklık parametresi ilave edilmiştir. Bu sıcaklık parametresi döngüler boyunca soğutulmamış sabit olarak alınmıştır. Denklem (3.57)’deki enbüyükleme adımları dört parametre grubu A , σ 12:K , β1:L,1:8 ve δ1:L,1:8 için ayrı ayrı yapılacaktır. Karışım matrisi ve gürültü değişintileri için bu adımlar (3.8) ve (3.9)’daki gibi olacaktır. Kaynak model parametrelerinden δ ’nın kestirimi için (2.40)’daki moment yöntemi kullanılacaktır. Bu durumda 1 /p ⎛ E[| sl(,dn) | p ] ⎞ δ = ⎜⎜ ⎟⎟ , ⎝ B ( p,1) ⎠ 0 < p <1 (3.58) ifadesi ile kestirilir. Burada B ( p,1) = 2 p +1 Γ(( p + 1) / 2)Γ(− p) π Γ(− p/ 2) (3.59) ve E[| sl(,dn) | p ] beklentisi sl( d ) imgesindeki piksellerin ortalaması alınarak hesaplanmıştır. β parametresi için ise (2.36)’da verilen sonsal dağılımın ML kestirimi kullanılmıştır. Bu kestirim bulmak için 8 − log p(sl( d ) | βl ,1:8 , δ l ,1:8 ) = ∑ − log β lN, d/ 2 + βl , d ρ (sl( d ) | δ l , d ) (3.60) d =1 ifadesinin sağ tarafı β l ,d ’ye göre türevi alınıp sıfıra eşitlenirse − N /2 βl ,d + ρ (sl( d ) | δ l ,d ) = 0 eşitliği alde edilir. Bu eşitliğin βl ,d ’ye göre çözülmesi ile β l ,d (3.61) 68 Tablo 3.13 SEM algoritması. tüm kaynak imgeleri için, l = 1 : L tüm pikseller için, i = 1 : MN Tablo 3.6’daki Metropolis algoritması ile ⎧ ⎫ ⎩ ⎭ slt,+i 1 ←⎯ sample sl ,i ⎪⎨⎪ p ( sl ,i | y1:K , θ −t sl ,i )1/T ⎪⎬⎪ karışım matrisinin tüm elemanları için, (k , l ) = (1,1) : ( K , L) akt +,l1 = [(stl +1 )T stl +1 ]−1 (stl +1 )T (y k − ∑ i =1,i ≠l akt ,i sti +1 ) L tüm gürültü değişintileri için, (σ k2 )t +1 = 1 N (y k − ∑ l =1 akt +,l1slt +1 )T (y k − ∑ l =1 akt +,l1slt +1 ) L ( E [| sl(,dn ) | p ] B ( p ,1) βl ,d = , N/2 log δ βl ,d = ) 1/p N/ 2 L (l, d ) = ( L, 8) tüm Gibbs parametrleri için, δ l ,d = j = 1: K ⎡ ||( s( d ) )t +1||2 ⎤ ⎢1+ l t +1 ⎥ δ l ,d ⎣⎢ ⎦⎥ 0 < p <1 ( N +1) / 2 N /2 δ N/2 l ,d ||( s )|| log ⎡1 + δl l ,d ⎤ ⎣ ⎦ (d ) 2 ( N +1) / 2 (3.62) ifadesi ile hesaplanır. Burada ρ (.) fonksiyonunun yerine (2.35)’teki çok değişkenli Cauchy dağılımının negatif logaritması yazılmıştır. Algoritmanın adımları Tablo 3.13’te verilmiştir. 3.3.2. Benzetim Sonuçları Bu bölümde benzetim için kullanılan veri kümesi Bölüm 3.1.4’te kullanılanlarla aynıdır. Ayrıştırma sonuçları Şekil 3.11’de görülmektedir. İstatistiksel EM algoritması SEM olarak adlandırılmıştır. SEM yönteminde gürültü değişintileri sabit kabul edilmiştir. Sıcaklık parametresi denemeyle T = 1/16 olarak seçilmiştir. Şekilde görülen sonuçlar 35 dB PSNR altında elde edilmiştir. Şekilden görüldüğü gibi SEM yöntemi iki farklı Bayesçi yöntemle karşılaştırılmıştır. Bu yöntemler Bölüm 3.1.1’deki ICM ve Bölüm 3.2.1’deki GS-MRF’dir. Herbir imgenin PSIR değerleri imgelerin altında verilmiştir. SEM yöntemi diğer Bayeçi yöntemlerden daha iyi sonuç vermiştir. Özellikle ikinci kaynakta diğer yöntemlerde belirgin olmayan detaylar hemen hemen belirgin hale gelmiştir. 69 Özgün SEM GS-MRF ICM Şekil 3.11: SEM, GS-MRF ve ICM algoritmaları sonuçlarının 35 dB SNR’de görsel olarak karşılaştırılması. Tablo 3.14: 35 dB PSNR altında GS-MRF, ICM ve SEM algritmalarının karşılaştırılması. İkinci sütün: PSIR (dB) değerleri üçüncü sütun: Tek bir döngünün saniye olarak işlem süresi; dördüncü sütun: Döngü sayısı; beşinci sütun: Dakika olarak toplam süre. PSIR tek döngü döngü sayısı toplam GS-MRF 21.62 0.2267 60000 226.72 ICM 21.14 0.0595 90 0.0893 SEM 23.45 0.2458 15000 61.43 Tablo 3.14’te Bayesçi üç yöntemim; GS-MRF, ICM ve SEM, işlem süreleri karşılaştırılmıştır. SEM yöntemi diğer iki yönteme göre ortalama PSIR’de yaklaşık 2 dB’nin üzerinde farkla daha iyi sonuç vermiştir. Öğrenme adımlarının artmasıdan ötürü SEM algoritmasının tek bir döngüsü GS-MRF’ye göre 0.02 saniye uzamıştır. Buna karşı, döngü sayısı ve toplam yakınsama süresi yaklaşık 4 kat kadar azalmıştır. 70 Tablo 3.15: Üç kaynak için 35 dB PSNR altında GS-MRF ve ICM’de sabit seçilen ve SEM’de kestirilen β ve δ parametreleri. β1 β2 β3 δ1 δ2 δ3 GSMRF ICM 0.25 1.25 0.75 12 12 12 0.125 0.125 0.125 12 12 12 SEM 0.2032 0.2346 0.2614 34.92 17.26 11.02 GS-MRF ve ICM’de sabit kabul edilen β ve δ parametreleriyle ve SEM ile kestirilenler Tablo 3.15’te verilmektedir. Parametrelerin gerçek değerleri bilinmemektedir. Birinci ve ikinci satırda deneme yapılarak bulunan değerler ve üçüncü satırda kestirilen değerler görülmektedir. Kestirilen değerler ile elde edilen sayısal ve görsel sonuçlar daha iyi olmasına karşın basit bir kaç tahminle bulunan değerler kullanılarak elde edilen sonuçlar da bunlara yakındır. 71 3.4. DÖNGÜSEL SONSAL NOKTA KESTİRİMİ İLE KAYNAK AYRIŞTIRMA Bu bölümde, Monte Carlo integral tekniğine dayalı bir imge kaynaklarını ayrıştırma yöntemi verilecektir. Bu bölümde verilecek sonuçların bir kısmı aynı zamanda [62]’de de sunulmuştur. Bu yöntemin yeniliği gürbüz bir hata fonksiyonunun beklenen değerinden oluşan bir maliyet fonksiyonu kullanmasıdır. Bu maliyet fonksiyonunu enküçük yapan nokta kestirimi gradyen iniş türü bir algoritma ile hesaplanmıştır. İstatistiksel gradyen integrali analitik olarak hesaplanabilir olmadığından öneme göre örnekleme (IS: Importance Sampling) ile hesaplanmıştır. Ardışıl MC yöntemlerinin aksine herbir döngüde sadece nokta kestirimi saklanmıştır. Önerilen yöntem Döngüsel Sonsal Nokta (IPP: Iterated Posterior Point) kestirimi olarak adlandırılmıştır. MCMC yöntemlerinin, her tür olasılık yoğunluk fonksiyonuna uygulanabilmesine rağmen, bir sakıncası yakınsamalarının uzun sürmesidir. Bu çalışmada, yöntemin karmaşıklığını azaltmak ve hızını arttırmak için sonsal dağılımı örnekleyerek kestirimi önerilmiştir. Bu sayede hem MCMC benzetiminden daha hızlı çalışan hem de dağılımın tamamını örnekleyerek tüm sonsal dağılımın bir yaklaşıklığını elde etmekle, dağılımın yerel doruk noktalarıyla uğraşmadan doğrudan sonuca varan bir yöntem elde edilecektir. Bu yaklaşımda amaç parçacık yöntemiyle piksel piksel sonsal dağılımın bulunması ve bu sonsal dağılım kullanılarak imgelere ait herhangi bir kestirimin hesaplanmasıdır. Bir başka deyişle, ilk önce piksele ait sonsal dağılım yaklaşık olarak bulunacak ve daha sonra pikselin değeri kestirileceltir. Sonsal dağılımın bir yaklaşıklığının elde olması MSE’den entropi’ye kadar çeşitli kestirimcileri kullanmaya olanak sağlamaktadır. Bu çalışmada kullanılacak olan kestirimci gürbüz bir hata fonksiyonunun sonsal dağılıma göre beklenen değeri olacaktır. Bu hata fonksiyonunun genel hali [63]’te bulunabilir. Bu hata fonksiyonuna bir olasılık yoğunluk fonksiyonu atanmış ve bilgi kuramsal bir maliyet fonksiyonu kullanılmıştır. Kullanılacak gürbüz maliyet fonksiyonundan dolayı kapalı çözüm mümkün değildir. Bu yüzden gradyen iniş türü döngüsel bir yöntem kullanılacaktır. Maliyet fonsiyonunun gradyeni istatistiksel bir integral içermektedir. Bu integralin hesaplanmasında öneme göre örnekleme kullanılacaktır. [63]’de, Parzen yoğunluk kestirimi kullanılmıştır. Önerilen yöntem 72 Enküçük ortalama karesel hata (LMS: Least Mean Square) algoritmasının daha genel bir sürümü olarak görülebilir. Parçacık süzgeçleri türü yöntemlerde amaç, piksellerin MSE kestirimini bulmak için gereken integralin sayısal MC yöntemi ile hesaplanmasıdır. Bunun için piksellerin sonsal dağılımları örneklenir. Sayısal integral hesaplamak için uygulanabilecek en basit yol belirli bir örnekleme periyodu ile olasılık yoğunluk fonksiyonundan örnekler almaktır. Sonlu fark yaklaşımı olarak da bilinen bu yöntemin sıkıntısı örnek sayısının az olduğu durumlarda iyi bir yaklaşıklık sağlamamasıdır. Örnek sayısının az olduğu durumlarda alınan örneklerin olasılığın yüksek olduğu yerlerden gelmesi integralin yaklaşıklığı için daha iyi sonuç verecektir. Bunun için pikselin sonsal dağılımından rasgele örnekler üreterek integrali hesaplamak daha akıllıcadır. Sonsal dağılımdan örnekler üretmek zor olduğu durumlarda ise sonsal dağılıma yakın bir öneri veya önem dağılımı seçilerek örnekler bu dağılımdan üretilir. Örneğin imge modeli olarak kullanılan MRF’den dolayı tek bir pikselin sonsal dağılımından örnek üretmek o kadar kolay değildir. Bunun için MCMC yöntemleri kullanılabilir ama bu çalışmada hesapsal olarak daha ucuz olan öneme göre örnekleme yöntemi önerilmiştir. Önem dağılımdan çekilen örnekler doğru dağılımdan gelmedikleri için olasılıkları öneri fonksiyonuna göre düzgelenir. Öneme göre örnekleme daha çok tek boyutlu zaman serileri ve ardışıl veri dizilerinde kullanılmaktadır. Bu alanlarda en çok tutulan yöntem ardışıl MC örnekleyicidir [64]. Bu yöntemde işaretin bir Markov süreci olduğu kabulü ile herbir durumdaki parçacıklar (örnekler) bir önceki durumdaki örnekler kullanılarak ardışıl olarak üretilir ve örneklerin ağırlıkları (olasılıkları) ardışıl olarak bir sonraki duruma geçirilir. Bu yöntem tek boyutlu ve nedensel işaretler için geçerli olup yöntemin doğrudan 2B imgeler uygulanması kolay değildir. Çünkü imgelerde nedensellik kısıtı yoktur. Her pikselin sekiz adet birinci dereceden komşusu vardır. Tarama yönüne göre sadece nedensel olan kısım içindeki pikselleri kullanmak imgedeki zengin içeriğin yarısından vazgeçmek anlamına gelir. Bu yöntemin 2B uygulaması Costagli ve diğ. [7] tarafından gerçeklenmeye çalışılmıştır. İmgelerde kaynak ayrıştırma üzerine olan çalışmalarında imge yeğinlikleri Gaussların karışımı olarak modellenmiş ve bu modelin parametreleri ardışıl MC ile bulunmuştur. Piksellerde parçacıkların geçişleri tarama yönüne göre 73 sadece bir önceki piksel kullanılarak yapılmıştır. İmgedeki diğer bilgilerin kaybolmaması için tarama farklı yönlerden yapılıp daha sonra ortak bir kestirim elde edilmiştir. Diğer bir 2B parçacık süzgeci uygulaması Zhai ve diğ. [65] tarafından gerçekleştirilmiştir. İmge onarımı üzerine olan çalışmalarında tarama yönüne göre nedensel olan birinci dereceden komşuları almışlar ve önem fonksiyonunu bir Kalman süzgeci yardımı ile bulmuşlardır. Nittono ve diğ. [66] önem fonksiyonu olarak MRF modelinden elde edilmiş önsel dağılımı kullanmışlardır. SAR imgelerinde gürültü temizleme üzerine olan çalışmalarında Gençağa ve diğ. [67] önsel dağılımı yerel istatistikleri kullanarak hesaplamışlardır. Bu çalışmada ise [67]’den farklı olarak imgeler için MRF modeli kullanılmış ve döngüsel sonsal ortalama kestirimi önerilmiştir. 3.4.1. Parçacık Yöntemleri Bir imge için MSE kestirimi, MSEE = ∫ (s − sˆ ) 2 p(s | y )ds (3.63) hatasını enküçük yapan ŝ kestirimcisini bulmaktır. Burada s imgedeki tüm piksellerin vektör gösterimidir. Hata karesel olduğu için kestirimci ∂MSEE/∂sˆ = 0 denkleminin çözümü ile sˆ = E[s | y ] = ∫ sp (s | y )ds (3.64) şeklinde bulunur. Burada integral içindeki sonsal dağılım p (s | y ) ∝ p (y | s) p(s) şeklindedir. Kolay işlenebilir dağılımlarda bu integralin analitik çözümü bulunabilir. Analitik çözümün bulunamadığı durumlarda integral sayısal yöntemlerle hesaplanabilir. Bu amaçla bir MC yöntemi olan öneme göre örnekleme ile (3.64)’teki integral hesaplanmak istenirse, ilk önce örnek üretmenin kolay olduğu bir önem dağılımı q(s | y ) seçilir. (3.64)’teki integral yaklaşık olarak ∫ s p(s | y) q(s | y)ds ≈ ∑ w I q(s | y ) i =1 (i ) (i ) s (3.65) 74 şeklinde yazılır. Burada w = (i ) p (s (i ) | y ) q (s (i ) | y ) (3.66) Ayrık olasılık yoğunluk fonksiyonunun, toplam olasılığın 1’e eşit olma kuralını sağlaması gerekir. Bundan dolayı düzgelenmiş yeni ağırlıklar w = (i ) w (i ) (3.67) ∑ i=1 w (i ) I şeklinde olur. Burada sonsal olasılık fonksiyonu ve önem fonksiyonu tüm değişkenlerin ortak fonksiyonu olduğundan hem ortak önem dağılımından örnek üretmek hem de (3.65)’teki toplamı hesaplamak kolay değildir. Bunun için çözüm yolları geliştirilmelidir. Bunlardan 1B işaretler için anında işleme uygun olan ardışıl MC örnekleyicisi Bölüm 3.4.1.1’de verilecektir. 2B imgeler için Bölüm 3.4.1.2’de imgeler için daha uygun bir önem göre örnekleme ile kestirim önerilecektir. 3.4.1.1. Ardışıl Öneme Göre Örnekleme Doucet tarfından önerilen ardışıl öneme göre örnekleme veya parçacık süzgeci tek boyutlu veri dizilerinde tüm veri dizisine ait sˆ1:n = E[ s1:n | y1:n ] = ∫ s1:n p( s1:n | y1:n ) q ( s1:n | y1:n )ds1:n q( s1:n | y1:n ) (3.68) kestiriminin hesaplanması için önerilen bir yöntemdir. (3.64)’teki s ve y vektörleri burada s1:n ve y1:n şeklinde gösterilmiştir. Bu yöntemde 1B veri için Markov olduğu kabulu yapıldığında gözlem ve durum olasılıkları sırasıyla p ( yn | sn ) ve p( sn | sn −1 ) şeklinde yazılabilir. Önem fonsiyonu da q( sn | sn −1 , yn )q( sn −1 | sn − 2 , yn −1 )…q( s0 ) şeklinde çarpanlara ayrılabilir. (3.68)’deki düzgelenmemiş ağırlıklar ardışıl olarak 75 wn(i ) ∝ p ( s1:n | y1:n ) q ( s1:n | y1:n ) ∝ p( y1:n | s1:n ) p( s1:n ) q( s1:n | y1:n ) ∝ p( yn | s1:n , y1:n −1 ) p ( y1:n −1 | s1:n ) p ( sn | s1:n −1 ) p ( s1:n −1 ) q ( sn | s1:n −1 , y1:n )q ( s1:n −1 | y1:n ) ∝ p( yn | sn ) p( sn | sn −1 ) p( y1:n −1 | s1:n −1 ) p( s1:n −1 ) q( sn | sn −1 , yn ) q( s1:n −1 | y1:n −1 ) ∝ p( yn | sn ) p( sn | sn −1 ) (i ) wn −1 q( sn | sn −1 , yn ) (3.69) ifadesi ile belirlenir. Bu ardışıl güncelleme işaretin 1’den n ’ye kadar bir Markov zinciri şeklinde nedensel olarak dizildiği durumda geçerlidir. İmgelerde ise bu yöntem, tüm pikselleri tek boyutlu bir işaretmiş gibi dizerek uygulanabilir. Fakat bu durumda imgelerdeki zengin komşuluk içeriği ihmal edilmiş, her bir pikselin sadece bir önceki piksele bağlı olduğu kabul edilmiş olur. Bu yöntemin imgelere daha uygun olan bir uygulaması imgeyi farklı doğrultularda tarayarak daha sonra elde edilen sonuçlardan ortak bir kestirim elde etmektir [7]. Bir sonraki bölümde imgelere daha uygun olduğu düşünülen bir parçacık yöntemi önerilecektir. 3.4.1.2. Döngüsel Sonsal Nokta Kestirimi Bir önceki bölümde sunulan parçacık yöntemlerinde üretilen parçacıklar bellekte tutulmaktadır. 1B işararetler için bu kolay bir işlemdir çünkü bir kere kullanılan parçacıklar güncellenir ve eski parçacıklar bellekten silinir. 2B işaretlerde ise bellekteki parçacıklar tekrar kullanılmak zorunda olduğu için bellekte saklanmak zorundadır. Tarama yönüne göre nedensel bir komşuluk sistemi kullanıldığında bir üst satır ve o anki satırın geride kalan tüm piksellerinin parçacıkları ve ağırlıkları saklanmak zorundadır. Eğer komşuluk sistemi nedensel değil ise imgedeki tüm pikseller için bu işlemin yapılması gerekir. Bu bölümde önerilecek yöntemde her piksel için çok sayıda parçacık saklamak yerine sadece pikselerin nokta kestirimleri saklanarak yürütülen bir yöntem önerilecektir. Böylece bellekteki yer problemi ve komşu piksellerin parçacıkları ile de uğraşma karmaşıklığı azaltılacaktır. 76 Denklem (3.63)’teki piksellerin ortak MSE hatasını enküçük yapan (3.64)’teki ortak MSE kestirimi yerine gürbüz bir hata fonksiyonunun beklenen değerini enküçük yapan nokta kestirimi kullanılacaktır. Bu maliyet fonksiyonu l ’inci kaynağın n ’inci pikseli sl ,n için ε = ∫ g ( sl ,n − sˆ l ,n) p( sl ,n | y1:K , s1:L −(l , n ) , A, σ 12:K )dsl , n (3.70) şeklinde yazılabilir. Burada g (.) hata için gürbüz bir fonksiyondur. Bu fonksiyon g (.) =| . |2 olarak seçilirse maliyet fonksiyonu (3.63)’teki MSE hatasının beklenen değerine dönüşmüş olur, ve çözümü de (3.64) verildiği gibi analitik olarak bulunabilir. Analitik çözümün mümkün olmadığı durumlarda döngüsel yöntemler kullanılabilir. En dik iniş yöntemi kullanıldığında tek bir pikselin nokta kestirimi sˆl ,n = sˆ l ,n − κ ∫ g ′( sl , n − sˆ l ,n ) p ( sl ,n | y1:K , s1:L − (l ,n ) , A, σ 1:K )dsl ,n 2 (3.71) olarak yazılabilir. Burada sˆl ,n yeni kestirim, g ′(.) , g (.) ’nin birinci türevi ve κ de iniş yönteminin adım büyüklüğüdür. Gürbüz fonksiyon g (.) =| . | p olarak seçilmiştir. Burada p , 1 < p ≤ 2 aralığındadır. İntegralin içindeki sonsal dağılım p ( sl , n | y1:K , s1:L −(l ,n ) , A, σ 12:K ) ∝ p (y1:K | sl , n , s1:L − (l ,n ) , A, σ 12:K ) p ( sl , n | s∂l , n ) (3.72) şeklindedir. Bu dağılımdan örnek üretmek kolay olmadığından MCMC yöntemi kullanılabilir. MCMC yönteminin zorluğundan kaçınmak için öneme göre örnekleme kullanılacaktır. Bu amaçla, bir önem fonksiyonu q( sl ,n | s1:L −(l , n ) , sˆ l ,n, y1:K , A) , seçilir ve örnekler bu dağılımdan üretilir. Yaklaşık integral ∫ g ′(s l ,n − sˆ l , n) p( sl ,n | .) q ( sl ,n | .) I q ( sl , n | .)dsl , n ≈ ∑ wl(,in) g ′( sl(,in) − ŝ l ,n ) (3.73) i =1 şeklinde yaklaşık olarak ifade edilir. Burada I üretilen örnek sayısıdır ve örnek ağırlıkları wl(,in) = p (y1:K | sl(,in) , s1:L −(l , n ) , A, σ 12:K ) p ( sl(,in) | s∂l ,n ) q ( sl , n | s1:L −(l ,n ) , sˆ l ,n, y1:K , A, σ 12:K ) . (3.74) 77 ve w = (i ) l ,n wl(,in) (3.75) ∑ i=1 wl(,in) I şeklinde tanımlanır. Önem fonksiyonu birbiçimli bir dağılım olarak seçilmiştir. q ( sl , n | s1:L −(l , n ) , sˆ l , n, y1:K , A, σ 12:K ) = q ( sl ,n | sˆ l ,n, θ ) = U ( sl ,n | sˆ l , n − θ , sˆ l ,n + θ ) burada θ , sl , n ’nin sınırlarını belirleyen pozitif bir sayıdır. Bu algoritmanın döngüsel sonsal nokta kestirimi olarak isimlendirilmesinin sebebi üretilen parçacıklar kullanılarak hesaplanan nokta kestiriminin saklanarak diğer piksellere geçilmesidir. Karışım matrisi için MSE kestirimi kullanılacaktır. A ’nın bir elemanının MSE kestirimi 2 aˆ k ,l = ∫ ak ,l p (ak ,l | A − ( k ,l ) , y1:K , s1:L , σ 1:K )dak ,l (3.75) = ∫ ak ,l p (y1:K | s1:L , ak ,l , A − ( k ,l ) , σ 12:K )dak ,l şeklinde yazılır. İkinci integraldeki ak ,l ’nin olabilirliği Gauss olduğundan bu integral analitik olarak hesaplanabilir. Fakat bu çalışmada tamamen MC yöntemi kullanmak için integral MC yöntemi ile hesaplanacaktır. Yaklaşık integral aˆ k ,l = şeklinde 1 J j ∑ ak ,l J j =1 yazılır. (3.76) Burada akj,l örnekleri p(y1:K | s1:L , ak ,l , A − ( k ,l ) ) dağılımından çekilmektedir. Denklem (3.76) şu şekilde yorumlanabilir: üretilen rasgele örneklerin ortalaması alınıp bir kestirim elde edilmektedir. Algoritma Tablo 3.16’te sergilenmektedir. 78 Tablo 3.16: Döngüsel sonsal nokta kestirimi ile kaynak ayrıştırma algoritması. Yineleme sayısı için t = 1 : O Kaynak imgeler için, l = 1 : L Pikseller için, n = 1 : N i = 1 : I , örnekle sl(,in) ∼ U ( sl , n | sˆ l , n − θ , sˆ l , n + θ ) (i ) (3.73)’ü kullananrak önem ağırlıklarını wl , n hesapla (i ) (3.74)’ü kullanarak önem ağırlıklalarını düzgele wl , n (3.71) ve (3.65)’i kulanarak yeni nokta kestirimi sˆ l ,n ’yi hesapla Karışım matrinin elemanları için, ( k , l ) = (1,1) : ( K , L) j = 1 : J , örnekle ak( ,jl) ∼ p(y1:K | s1:L , ak ,l , A − ( k ,l ) ) (3.76)’yı kullanarak MSE kestirimi aˆ k ,l ’yi hesapla 3.4.2. Benzetim Sonuçları Bu bölümde benzetim için kullanılacak veri kümesi Bölüm 3.1.4’te kullanılanlarla aynıdır. Deneme için 40 dB SNR altındaki karışımlar kullanılmıştır. Gürbüz hata fonksiyonunu | . | p ’nin üssünün eniyi değeri, p ’nin değer aralığında yapılan denemeler sonucunda 1.8 olarak belirlenmiştir. Aynı şekilde bir en dik iniş algoritmasının adım büyüklüğü bir kaç deneme sonucunda κ = 0.8 olarak seçilmiştir. Tablo 3.1.4’teki karışım matrisinin elemanları için kullanılan parçacık sayısı J = 2 olarak alınmıştır. Uygulama gerçek zamanlı olmadığından ve birçok döngü üzerinden hesaplama yapıldığından 2 parçacık yeterli olmuştur. PSIR her O = 500 yinelemede bir hesaplanmış ve bu 500 yineleme sonundaki PSIR 500’ün başındakinden büyük ise yinelemeye devam edilmiş değilse durdurulmuştur. Tablo 3.17’te, FPICA [13], SMICA, ICM, GS-MRF ve önerilen yöntemin sayısal karşılaştırma sonuçları verilmiştir. FPICA, GS-MRF ve IPP yöntemlerinin görsel karşılaştırılması Şekil 3.12’de görülmektedir. IPP ve GS-MRF’nin sonuçları birbirine oldukça yakındır. Tablo 3.17’te, önerilen yöntemle farklı parçacık sayıları için elde edilmiş sonuçlar ve işlem süreleri görülmektedir. Üretilen örnekler MRF modeline göre ağırlıklandırıldıklarından değişintileri bağımsız örneklere göre daha düşük olacaktır. Bu da algoritmanın az sayıda parçacıkla da çalışabildiğini açıklamaktadır. 79 Tablo 3.17: Parçacık sayılarına göre PSIR (dB) değerleri. Üçüncü sütun: tek bir döngünün saniye olarak işlem süresi; dördüncü sütun: döngü sayısı O ; beşinci sütun: dakika olarak toplam süre. I PSIR GS-MRF 24.57 ICM 22.77 FPICA 22.28 SMICA 23.75 2 23.29 4 23.85 8 23.89 16 24.09 32 24.29 64 24.56 128 24.62 Karışımlar Özgün tek döngü O 0.2267 60000 0.0432 80 0.0202 36 0.0195 630 0.8096 13900 0.8411 6220 0.8990 5450 1.0204 4810 1.2423 5100 1.7595 5700 2.6923 8900 IPP toplam 226.72 0.0575 0.0121 0.2047 188.65 87.19 81.66 81.80 105.59 167.15 399.35 FPICA GS-MRF Şekil 3.12: 40 dB SNR altında doku imgeleri için benzetim sonuçları. Birinci sütun, karışmış imgeler; ikinci sütun, özgün imgeler; üçüncü sütun, IPP; dördüncü sütun, FPICA; beşinci sütun, GS. 80 Döngü sayısı Şekil 3.13 16, 32 ve 64 parçacık için döngü sayısına karşın üçüncü kaynağın PSIR’sinin değişimi. var(PSIR), son 500 döngü kullanılarak hesaplanmış değişintilerdir. Olabilirlik Sonsal Olasılık Önsel İmge yoğunlukları Şekil 3.14 Bir pikselin örneklenmiş dağılımları. Şekil 3.12’deki sonuçlar 64 parçacıkla elde edilmiştir. Tablo 3.17’nin ilk satırı GSMRF’nin değerlerini göstermektedir. IPP sonuçları az parçacık sayısı için GS-MRF’ye göre iki üç defa daha hızlıdır. Parçacık sayısı arttıkça algoritma yavaşlamaktadır. 128 parçacık için eniyi sonuç elde edilmiş fakat işlem süresi GS-MRF’yi geçmiştir. İşlem süresini azaltmak için 0.5 dB’den vazgeçilebilir. Bu durumda, 16 parçacık yeterli olacaktır ve 80 dakika kazanılacaktır. 81 Üçüncü kaynak için PSIR’nin yinelemeye göre değişimi 16, 32 ve 64 parçacık için Şekil 1.13’te görülmektedir. Şekilden görüldüğü gibi eniyi parçacık sayısı 32 ile 64 arasında bulunabilir. Şekilde ayrıca son 500 döngüdeki PSIR’lar kullanılarak hesaplanmış PSIR değişintileri gösterilmiştir. PSIR değişintileri de durma kriteri olarak kullanılabilir örneğin var(PSIR) < 0.1 gibi. Son olarak sonsal dağılımın önsel ve olabilirliğin örneklenmiş hallerinden nasıl elde edildiği Şekil 3.14’te görülmektedir. 3.4.3. IPP Yöntemi için Vargılar Önerilen yöntemin PSIR sonuçları ve işlem süresi parçacık sayısı ile artmaktadır. 64 parçacıktan sonra işlem süresi GS-MRF’yi geçmektedir. 64 parçacık hem hesap yükü hem de PSIR bakımından GS-MRF’ye göre daha iyidir. Algoritmayı daha da hızlandırmak için 16 parçacık kullanılabilir. Bağımlı bir model kullanıldığı için az sayıda parçacıkla kestirim yapılabilmektedir. Önerilen yöntem Gibbs örnekleme ile parametrik olasılık yoğunluğu uydurmaya dayalı yöntemlerin arasında yer almaktadır. İlkönce piksellerin yeğinlikleri değil, piksellerin olasılık yoğunlukları yaklaşık olarak hesaplanmaktadır. Bu da kestirimin daha zengin bir veri ile yapılmasını sağlamaktadır. Tek boyutlu piksel yeğinliği uzayından, çok boyutu piksel olasılık yoğunluğu uzayına geçilerek kestirim yapılmakta ve tekrar tek boyutlu uzaya dönülmektedir. 82 4. BULGULAR 4.1. ASTROFİZİK İMGELERDE BİLEŞEN AYRIŞTIRMA Astrofizik imgeler gözü kapalı kaynak ayrıştırma için en önemli uygulama alanlarından birisidir. Astrofizik imgelerde kaynak ayrıştırmanın asıl amacı Kozmik Mikrodalga Arkafon (CMB: Cosmic Microwave Background) ışımasını gürültüden ve galaksi içi ve galaksi dışı diğer kaynakların girişiminden temizleyerek en iyi bir şekilde elde etmektir. Büyük patlama (Bing-bang) kuramına göre ilk patlama anından sonra evren tek bir noktadan genişlemiş ve soğuyarak bugünkü halini almıştır. Bundan sonra genişlemenin devam edip etmeyeceği evrenin yoğunluğuna bağlıdır. Yoğunluk belirli bir değerden küçükse bu evrenin sonsuza kadar genişleyeceğini yani açık bir evren olduğunu, büyük ise bir süre sonra çökeceğini yani kapalı bir evren olduğunu gösterir. Eğer yoğunluk kritik değerde ise evren düzdür ve bir süre daha genişledikten sonra duracaktır. Evren ilk 300.000 yıl içinde madde ve ışımadan oluşan bir karışım halindeydi. Çünkü evrende ilk atomlar oluşmadan önce atom altı parçacıklar birleşerek proton ve nötron ve elektronları oluşturmuş fakat sıcaklık çok fazla olduğundan protonlar ve elektronlar birleşememiştir. Evren genişleyerek soğumaya devam ettikçe sıcaklık proton ve elektronların birleşmesine yani eletromagnetik kuvvetin devreye girmesine uygun hale gelmiştir. Tam o anda proton ve elektronlar birleşerek hidrojen atomunu oluşturmuşlar ve geriye büyük bir ışınım kalmıştır. İlk yayıldığında yüksek enerjili gamma ışınımı olarak yayılan bu ışınımın kalıntıları enerjisini kaybettiği için bugün mikrodalga bölgesinde ölçülmektedir [68]. CMB olarak isimlendirilen bu ışınım ölçülmesi için ilk olarak 1989 yılında COBE (COsmic Background Explorer) uydusu gönderilmiştir [69]. 1992 yılında açıklanan sonuçlarla CMB’nin yaklaşık olarak 2.73 Kelvin sıcaklıkta olduğu ve evrenin her yerinde aynı olmayıp bu sıcaklıktan küçük sapmalar gösterdiği keşfedilmiş oldu. 2003 yılında WMAP (Wilkinson Microwave Anisotropy Probe) [70] takımı daha iyi açısal çözünürlükte elde edilmiş CMB ölçüm sonuçlarını açıkladı [71]. 83 Açıklanan sonuçlar genişleyen büyük patlama kuramını desteklemektedir. Fakat evrenin orijininin yapısını, evrendeki karanlık maddenin doğası ve miktarının anlaşılması için daha yüksek çözünürlükte ve hassasiyette ölçümler gerekmektedir. Bunun için Avrupa Uzay Ajansı (ESA: European Space Agency) önerilen projelerden ikisini birleştirerek ünlü Alman bilim adamı Max Planck’ın onuruna PLANCK projesi olarak adlandırmıştır [33]. Üçüncü “uzaydan CMB ölçüm projesi" olan PLANCK uydusu 2009 yılında fırlatılacaktır. PLANCK projesinin amaçları, daha yüksek duyarlılıkta ve açısal çözünürlükte CMB ölçümlerinin yapılması, 17. evrenin genişleyen, küçülen ve dengede olduğunu belirleyen Hubble sabitinin hesaplanması, erken evrenin genişleme modelinin sınanması ve CMB üzerindeki yapıların genliklerinin belirlenmesi şeklinde sıralanabilir [72]. Astrofizik gözlemler çeşitli mikrodalga frekanslarında yapılmaktadır. Ancak her bir bantta bu gözlemlerde CMB’nin dışında başka astrofizik kaynakları da bulunmaktadır. Dolayısıyla algılayıcılarda bu bileşenler birbirilerine farklı oranlarda karışmış olarak gelmektedir. Bu gözlemler her bir algılayıcıya özgü gürültü ile de bozulmaya uğramış durumdadır. Bilinen galaksi içi ön plan bileşenleri şunlardır: galaktik toz (dust), sinkrotron ışıması (synchrotron radiation), serbest-serbest yayımı (free-free emission). Galaktik tozlar galaksideki soğuk toz parçacıklardan kaynaklanan yayınımdır. Synchrotron ışık hızına yakın hızlarda hareket eden elektronların magnetik alana girdiğinde spiral şeklindeki hareketleri sırasında yayılan ışımadır. Free-free ışıması ise iyonize olmuş gazlardan kaynaklanır [73], [74]. Galaksi dışı kaynaklar ise noktasal kaynaklar ve ısıl Sunyaev-Zeldovich (SZ) etkisidir. Noktasal kaynaklar farklı yeğinlik değerlerine sahip uzak galaksilerden ve kuasar ışımalarından oluşan bir bileşendir. Isıl SZ diğer ön plan bileşenleri gibi bir bileşen olmayıp CMB ışınımının galaksi kümelerinden geçerken oluşturduğu saçılmadan kaynaklanan bir etkidir. Bir başka deyişle CMB’nin noktasal olarak değişime uğramış bir şeklidir [74]. Düşük frekanslı değerlerde CMB daha baskındır; fakat bu bantlarda anten gürültüsü yüksektir. Yüksek frekanslarda gürültünün az olmasına karşı CMB dışındaki bileşenlerin etkisi fazladır. Uzayın bazı bölgelerinde gürültü seviyesi işaret seviyesinden yüksektir. 84 Synchrotron Dust Özgün Ozgun CMB Kestirilen Kestirilen (a) (b) Şekil 4.1: (a) Özgün astrofizik imgeler. (b) Gibbs örnekleme ile kestirilen imgeler. 4.2. ASTROFİZİK İMGELER İÇİN BENZETİM SONUÇLARI Bu bölümde, önceki bölümlerde sunulan ayrıştırma yöntemleri astrofizik imgelere uygulanarak karşılaştırma sonuçları verilmektir. Benzetim için kullanılan astrofizik imgeler Şekil 4.1’de görülmektedir. Bunlar PLANCK projesi için ölçülmesi beklenen CMB, synchrotron ve dust imgeleridir. Bu imgeler PLANCK takımı tarafından yapay olarak üretilmişlerdir. Şekil 4.2’nin ilk satırında üç bileşene ait histogramlar görülmektedir. CMB’nin histogramı Gauss’a benzemesine rağmen diğerleri bilinen herhangi bir dağılıma benzememektedir. Şekil 4.2’nin ikinci satırında, tek bir yönde elde edilmiş gradyen imgelerinin s( d ) = s − G d s , histogramları görülmektedir. Bu histogramların Cauchy dağılımı ile modellenebileceği görülmektedir. Bu da daha önce yapılan ayrıt imgelerinin uzun kuyruklu dağılımlarla modellenebileceği kabulü astrofizik imgeler için de geçerlidir. Astrofizik imgelerin Ayrık Fourier Dönüşümü (DFT: Discrete Fourier Transforms) Şekil 4.3’te görülebilir. CMB diğerleri ile karşılaştırıldığında ayrı bir Fourier spektrumuna sahiptir. Fakat synchrotron ve dust birbirine benzer spektruma sahiplerdir. Bu benzerlik özellikle yüksek gürültü seviyesinde spektral bölgede ayrıştırmayı 85 Şekil 4.2: Birinci satır: Şekil 4.1’deki astrofizik imgelerin histogramları. İkinci satır: Bileşenlere ait ayrıt (gradyen) imgelerinin histogramları. Düz (kırmızı) çizgi yaklaşık Cauchy dağılımını göstermektedir. Şekil 4.3: Şekil 1’deki astrofizik bileşenlerin DFT’lerinin genlikleri. zorlaştırmaktadır. SMICA gibi spektral bölgede çalışan yöntemlerin neden synchrotron ve dust bileşenlerini ayrıştıramadığının nedenini göstermektedir. Bu durum karşılaştırma sonuçları verilirken gösterilecektir. Gözlemler 9 × 3 boyutunda bir karışım matrisi kullanılarak oluşturulmuştur. Oluşturulan 9 yapay gözlem 30, 44, 70, 100, 143, 217, 353, 545, ve 857 GHz frekanslarındaki antenlerden elde edilmiş gözlemlere karşı gelmektedir. Bu durumda K = 9 gözlem ve L = 3 kaynak imge vardır. Karışım matrisi: 86 ⎡1.2570 32.8359 0.1260 ⎤ ⎢1.2241 10.8140 0.2464 ⎥ ⎢ ⎥ ⎢1.1353 2.8133 0.5485 ⎥ ⎢ ⎥ 1.0 1.0 ⎥ ⎢ 1.0 A = ⎢ 0.7781 0.3544 1.7921 ⎥ ⎢ ⎥ ⎢ 0.4302 0.1057 3.4130 ⎥ ⎢ 0.0998 0.0258 6.6817 ⎥ ⎢ ⎥ ⎢ 0.0081 0.0073 10.7548 ⎥ ⎢ 0.0001 0.0020 14.1807 ⎥ ⎣ ⎦ (4.1) şeklindedir. Şekil 4.1’deki imgeler ve (4.1)’deki karışım matrisi kullanılarak oluşturulan gerçekçi yapay karışımlar Şekil 4.4’te görülebilir. Zayıf synchrotron ışıması hiçbir gözlemde görülebilir değildir. CMB beklendiği gibi alçak frekanslarda diğer kaynaklara göre daha baskındır. Dust yüksek frekanslarda oldukça belirgindir. Bölüm 3.2’deki Gibbs örnekleme algoritması ile ayrıştırılan imgeler Şekil 4.1’in ikinci satırında görülmektedir. Sayısal sonuçlar Tablo 4.1’de verilmiştir. Gürültüsüz durum için 857 GHz’teki gözlem dust bileşeni ile hemen hemen aynıdır ve Şekil 4.1’deki özgün imge ile karşılaştırılabilir. Bu bileşenin PSIR değeri 93.29 dB’dir ve fiilen ayrıştırılmış dust bileşeni olarak kabul edilebilir. Bunun için GS-MRF algoritmasında bu bileşen için döngü yapılmamıştır. CMB bileşeni için elde edilen ayrıştırma sonucu 55 dB’dir. Bu sonuç pratik amaçlar için imgenin çok iyi ayrıştırıldığını göstermektedir. Synchrotron için de ayrıştırma sonucu diğerleri kadar iyi olmasa da pratik amaçlar için yeterli sayılabilir. Karşılaştırma için diğer bölümlerde de kullanılan ICA tabanlı yöntemlerden FPICA, SOBI 1B 70 gecikmeli, SOBI 2B, SMICA kullanılmıştır. Bu tezde önerilen yöntemlerden GS-MRF ve GS-i.i.d algoritmaları kullanılmıştır. SMICA’da 8 halka şeklinde frekans bandı kullanılmıştır. Astofizikçiler CMB’nin i.i.d Gauss olduğunu kabul etmektedirler. Bu yüzden MRF modelinin üstünlüğünü ortaya çıkarmak için üç farklı kaynak modeli kullanılmıştır. Bu modeller ve kullanılan kısaltmalar Tablo 4.2’de verilmiştir. GS-CMRF, GS-i.i.d’den daha iyi sonuç vermiştir. SEM algoritması CMB’de ve GSCMRF synchrotron’da iyi sonuç vermiştir. GS algoritmasından sonra, SMICA, CMB’nin ayrıştırılmasında ve SOBI 2B synchrotron ve dust bileşenlerinde daha iyi 87 30 GHz 44 GHz 70 GHz 100 GHz 143 GHz 217 GHz 353 GHz 545 GHz 857 GHz Şekil 4.4. 30, 44, 70, 100, 143, 217, 353, 545, ve 857 GHz’deki gerçek gözlemlere benzetilen yapay karışım imgeleri. Tablo 4.1: Gürültüsüz durumda ayrıştırılan bileşenlere ait PSIR (dB) ve karışım matrisi için M (R ) değerleri. CMB Synchrotron Dust M (R ) GS-CMRF 55.14 45.22 93.29 0.0675 GS-i.i.d 56.98 25.03 93.29 0.0965 GS-(GMRF+CMRF) 54.18 43.58 93.29 0.0801 SEM 57.05 42.66 93.29 0.0589 ICM 37.49 44.67 93.29 0.3314 SMICA 38.77 28.87 26.23 0.4889 SOBI 2B 30.18 39.84 34.25 0.7479 SOBI 1B 31.09 19.89 28.88 0.9932 FPICA 28.50 26.05 23.99 0.9115 88 Tablo 4.2: Astofizik bileşenler için kullanılan kaynak modelleri. Model adı CMB Synchrotron Dust CMRF Cauchy MRF Cauchy MRF Cauchy MRF i.i.d i.i.d Gauss i.i.d Cauchy i.i.d Cauchy GMRF+CMRF Gauss MRF Cauchy MRF Cauchy MRF Şekil 4.5: Gürültüsüz durumda tüm yöntemlerin CMB ve synchrotron için PSIR sonuçlarının dağılımı. sonuç vermiştir. Şekil 4.5’te tüm yöntemlerin CMB ve synchrotron için PSIR sonuçlarının dağılımı çizdirilmiştir. Bu şekilden görüldüğü gibi en iyi sonuç veren üç yöntem GS-CMRF, GS-(GMRF+CMRF) ve SEM’dir. Gürültülü durumda deneme yapmak için herbir kanala anten gürültülerini benzeştirecek şekilde farklı değişintilerde Gauss gürültüleri eklenmiştir. Bu değerler σ 12:K değişintilerine karşı gelmektedir. Gürültü gerçekte uzamla değişime uğramasına rağmen bu çalışmada durağan kabul edilmiştir. Gürültü önsel dağılımı olarak (2.20)’deki ölçeklenmiş ters chi-kare dağılımı kullanılmıştır. Bu dağılımdaki η serbestlik derecesi 7 olarak seçilmiştir. PLANCK takımının beklediği gürültü seviyesinin üzerinde gürültüler eklenmiştir. Gürültülü gözlem imgeleri ve SNR değerleri Şekil 4.6’da gösterilmiştir. 89 30 GHz, SNR=12.38dB 44 GHz, SNR=8.32dB 70 GHz, SNR=6.26dB 100 GHz, SNR=16.77dB 143 GHz, SNR=18.30dB 217 GHz, SNR=15.76dB 353 GHz, SNR=13.47dB 545 GHz, SNR=16.45dB 857 GHz, SNR=25.47dB Şekil 4.6: Gürültü eklenmiş yapay astrofizik bileşenlerin karışımları. SNR değerleri herbir imgenin üzerinde gösterilmiştir. SNR değerleri 6’dan 25 dB’ye kadar değişmektedir, en düşük SNR’ler alçak frekanslarda görülmektedir. SOBI 2B, SMICA ve GS-CMRF ile ayrıştırılan bileşenler Şekil 4.7’de ve sayısal başarım sonuçları ise Tablo 4.3’te görülmektedir. FPICA en kötü sonucu vermiştir ve çıktıları gözlemlerden bile daha kötüdür. SOBI 2B, SMICA ve SOBI 1B’ye göre daha iyi sonuç vermiştir. Şekil 4.7’den görüldüğü üzere CMB ve dust bileşenleri açık bir şekilde görülür olmasına rağmen SOBI 2B ve SMICA synchrotron bileşenini ayıramamıştır. GS-CMRF diğer yöntemlerin hepsine göre hem sayısal hem de görsel olarak çok daha iyi sonuçlar vermiştir. GS-CMRF algoritması sadece synchrotron 90 Özgün SOBI 2B SMICA GS-MRF Şekil 4.7: SOBI 2B SMICA ve GS-MRF ile gürültülü gözlemlerden ayrıştırılan astrofizik bileşenler. bileşenini tam olarak ayrıştıramamıştır. Ayrıştırılan synchrotron imgesi gürültü seviyesinin yüksek olmasından dolayı düzleşmeye uğramıştır. Şekil 4.8’de SEM, ICMvar ve GS-(GMRF+CMRF) yöntemlerinin görsel sonuçları görülmektedir. ICM yöntemi gürültülü durum için yakınsamamıştır. ICM-var yakınsamasına karşı synchrotron ayrıştırılamamış ve CMB de kötü bir şekilde ayrıştırılmıştır. SEM ve GS(GMRF+CMRF) ile synchrotron çok düzleşmiş olarak ayrıştırılmış olmasına karşı Şekil 4.7’deki GS-MRF sonucu özgün synchrotron’a daha yakındır. GS-CMRF algoritması için döngü sayısı gürültüsü ve gürültüsüz durumlar için sırası ile 50000 ve 35500 ’dir. SEM için bu döngü sayıları 13140 ve 15000’dir. 91 Özgün ICM-var SEM GS-(GMRF+CMRF) Şekil 4.8: SEM, ICM-var ve GS-(GMRF+CMRF) ile gürültülü gözlemlerden ayrıştırılan astrofizik bileşenler. Tablo 4.3: Gürültülü durumda ayrıştırılan bileşenlere ait PSIR (dB) ve karışım matrisi için M (R ) değerleri. CMB Synchrotron Dust M (R ) GS-CMRF 27.81 22.33 38.93 0.3014 GS-i.i.d 24.35 12.68 36.52 0.2731 GS-(GMRF+CMRF) 27.78 20.74 38.93 0.3756 SEM 27.76 21.21 39.34 0.2511 ICM-var 19.74 13.46 35.59 0.5264 SMICA 24.46 12.52 36.50 0.2258 SOBI 2B 25.47 12.34 36.62 0.9393 SOBI 1B 25.56 12.14 34.62 0.8659 FPICA 16.71 11.84 20.41 1.8500 92 5. TARTIŞMA VE SONUÇ Tersine imge problemlerinde, Bayesçi yaklaşımın kullanılmasıyla imge önselleri önemli bir rol almıştır. İlk başlarda kullanılan Gauss önselleri tersine problemdeki iğretiliği iyileştirirken kestirilen imgelerde düzleşmeye neden olmaktaydı. Daha sonraları, MRF’ler ve ayrıtları modellemek için çizgi alanları kullanılmıştır. Bu tezde kullanılan imge modeli ise ayrıt koruyucu veya süreksizliğe uyarlı önsel olarak bilinmekte ve gradyen imgelerini gürbüz istatistikte kullanılan uzun kuyruklu dağılımlar ile modellemeye dayanmaktadır. Uzun kuyruklu dağılım olarak Cauchy dağılımı seçilmiştir. Bu sayede, daha öneceki MRF imge modellerinde olduğu gibi yeğinlik alanının yanında bir de çizgi alanı kullanmaya gerek kalmamaktadır. Ayrıt koruyucu önsellerin iki parametresi vardır. Bunlardan bir tanesi sonsal dağılıma olan katkıyı belirlerken diğeri ayrıtların şiddetine bağlıdır. Bu imge modeli ile iyi ayrıştırma sonuçları elde edilmiştir. Kullanılan imge modeline gelen eleştirilerden bir tanesi sadece birinci derece komşulukların kullanılmasıdır. Komşuluk sayısını MRF’de artırmak işlem yükünü çok artıracaktır. Bunu daha akıllıca yapmanın bir yolu dalgacık dönüşümü kullanmaktır. Dalgacık dönüşümleri son zamanlarda tersine imge problemlerinde sıklıkla kullanılmaktadır. Dalgacık bölgesinde alçak geçiren kısım hariç detay imgelerinin herbiri uzun kuyruklu dağılımlarla modellenebilir. Çözünürlük düzeyi artırılarak piksel bağımlılığı çevre piksellere genişletilebilir. Dalgacık bölgesinde farklı modeller geliştirilmiştir. Bunlardan bir kısmı bir banttaki piksellerin yerel olarak ilintili olduğu varsayımını diğer bir kısmı aynı çözünürlükteki bantlar arası ilinti varsayımını kullanır. Bunların dışında çok çözünürlüklü bantlar arasındaki sıradüzensel (ata-çocuk) ilinti de modellemede göz önüne alınabilir. Tüm bu modellerin farklı birleşimleri de dalgacık bölgesinde imge modellemek için kullanılabilir [75,76,77]. Ayrıt koruyucu önsel dağılımlar Gauss olmadığı için kestirim yöntemleri de imge ayrıştırmada önemli bir rol oynamaktadır. Gauss olamayan önsellerle deterministik eniyilemeye dayalı yöntemlerin eniyi sonucu vermesi kesin değildir. Gauss olmayan 93 sonsalları Gauss’a yaklaştırarak sonuca varmaya çalışan aşamalı dışbükeysizlik ve değişimsel Bayes gibi ve Bölüm 3.1’de önerilen sadece önselleri Gauss’a yaklaştırarak sonuca varmaya çalışan yöntemlerin götürüsü ayrıştırılan imgelerin düzleşmesidir. Bu tür yöntemlerde bir yandan Gauss olmayan dağılımların getirisinden yararlanmaya çalışılırken diğer yandan Gausslaştırarak bu getiri yitirilmektedir. Bu tür yöntemler eniyileme probleminindeki sıkıntıları ortadan kaldırmasına rağmen baştan kabul edilen imge modelininin getirisini de tam bir şekilde kullanmaya uygun değillerdir. Bölüm 3.2’de önerilen MCMC yöntemi Gauss olmayan önsel dağılımların tüm getirisinden yararlanabilir. Rasgele sayı üretilerek sonuca varmaya çalışılan bu yöntemde herhangi bir yerel eniyi noktaya saplanma olasılığı düşüktür. İmge işlemede değişken sayısı çok fazla olduğundan MCMC yönteminin yakınsama süresi çok uzundur. Yakınsama süresini hızlandırmak için paralel örnekleme yoluna gidilebilir. Paralel örneklemede pikseller birbirinden bağımsızmış gibi rasgele sayılar üretilip daha sonra Metropolis algoritması ile kabul veya reddedilebilir. MC benzetimlerini hızlandırmanın bir başka yolu öneme göre örnekleme kullanmaktır. Bu yaklaşım Bölüm 3.4’de kullanılmıştır. Pikseller için öneri dağılımları seçilmiş ve bu dağılımlardan bir kerede bir çok örnek üretilerek yaklaşık sonsal dağılım elde edilmiştir. Bu yöntem MCMC’ye göre daha az sürede yakınsamıştır. Fakat üretilen örnek sayısının artırılması durumunda işlem yükü MCMC yöntemini geçmektedir. Hem MCMC hem de öneme göre örneklemede öneri dağılımı algoritmanın yakınsama süresini doğrudan etkilemektedir. Bunun için uygun öneri fonksiyonunun seçilmesi gerekmektedir. Hem eniyiye yakın öneri fonksiyonunun belirlenmesi hem de yöntemi paralel hale getirmek için gradyen iniş türü yöntemlerden yararlanılabilir. Örneğin öneri fonksiyonu maliyet fonksiyonunun gradyenine göre tanımlanıp parametre çıkarımı bu gradyen üzerinden yapılabilir. Bir başka MC yöntemi de ardışıl MC’dir. Bu yöntemle hem algoritmanın hızı artırılabilir hem de durağan olmayan imgeler için uyarlanır bir kestirim imkanı sağlanabilir. Bölüm 3.3’de önerilen istatistiksel EM algoritması durağan olmayan imgelere uyarlanabilir. Bu uyarlama beklenti hesaplama adımında MCMC yerine ardışıl MC algoritması kullanılarak yapılabilir. Bu sayede hem piksellere bağlı parametre öğrenimi 94 hem de kaynak kestirimi için ortak bir yöntem geliştirilebilir. Son zamanlarda tersine imge problemlerinde imge kestirimin yanında artık gözlem ve imge modeli parametrelerinin de öğrenilmesi önem kazanmıştır. Bunun için önerilen algoritmalar Gibbs örnekleme ve EM’dir. Gibbs örneklemenin dezavantajlarından daha önce bahsedilmişti. EM algoritmasında ise dezavantajlar, yakınsamanın uzun sürmesinin yanında ilk değerlere bağlı olmasıdır. EM adımlarına bir de kaynak kestirim adımı eklenerek ilk değerlere bağımlılık ortadan kaldırılabilir. Bölüm 3.3’de önerilen yöntem de aslında Gibbs örnekleme ve ICM algoritmalarının bir karmasıdır. Ayrılabilirlik kriteri olarak uzamsal bağımlılık kullanılmıştır. Elde edilen sonuçlar uzamsal bağımlılık modelinin bağımsız Gauss olmama modelinden daha iyi sonuç verdiğini göstermiştir. Ayrıca yöntem spektral bölgedeki ayrılabilirliği kullanan SMICA yöntemine göre de astrofizik imgelerde iyi sonuç vermiştir. Fourier spektrumları birbirine benzeyen ve gürültülü astrofizik gözlemlerde ayrıştırmayı sağlayan tek yöntem GS-MRF olmuştur. Bu çalışmada kullanılmayan diğer ayrılabilirlik özelliği ise durağan olmamadır. Kullanılan MRF modeli durağan olmayan imgeler için pikselden piksele değişen MRF parametreleri seçilerek genişletilebilir. Bu sayede durağan olmayan imge kaynaklarının ayrıştırılması sağlanabilir. Bu tür bir uygulama astrofizik imgelerde vardır. Astrofizik bileşenler durağan kabul edilmelerine rağmen gerçekte durağan değildir. Durağan olmayan durumda kestirim zor olacaktır. Bunun için pikselden piksele uyarlanır kestirim yöntemleri kullanılabilir. Bu tezde kullanılan MRF modeli ile imge kaynaklarının ayrıştırılması probleminde hem kaynaklar hem de gözlem ve kaynak parametreleri kestirilmiştir. Bu değişkenlerin kestirilmesi için kullanılacak olan algoritmanın seçilmesinde izlenen ve önerilen yol şu şekildedir. • Eğer kestirilecek değişkenin sonsal dağılımının enbüyük veya doruksal kestirimi analitik olarak bulunabiliyorsa bu analitik çözüm kullanılmalıdır. • Analitik çözüm olanaksızsa veya olanaklı ama tersi alınamayacak bir ifade içeriyorsa, eniyileme yöntemleri kullanılabilir. Eniyileme yöntemlerinin kullanılabilmesi için sonsal dağılımın negatif logaritmasının dışbükey olması gerekmektedir. 95 • Analitik çözüm bulunamıyorsa ve sonsal dağılımın negatif logaritması dışbükey değil ise değişimsel Bayes, aşamalı dışbükeysizlik veya MCMC yöntemleri kullanılabilir. Değişimsel Bayes ve aşamalı dışbükeysizlik ayrıştırma sonucu düzleşmeye neden olduğundan daha doğru sonuçlar alabilmek için burada önerilecek olan yöntem MCMC’dir. • Sonuç olarak ileriki çalışmalarda kaynak modeli olarak dalgacık dönüşümü kullanılabilir. Bu sayede imgelerdeki uzun erimli bağımlılıklar da kullanılabilir. Bayesçi çatı altında ortak kestirim ve öğrenme algoritması olarak durağan modeller için MC EM ve durağan olmayan modellerde ardışıl MC EM yöntemleri denenebilir. MC EM yönteminde bir kerede çekilen rasgele örnek sayısı birden fazladır. Sonsuz tane örnek çekildiğinde yöntem gerçek EM’e dönüşür. Beklenti hesaplama adımı MC yerine yine son zamanlarda farklı alanlarda sıklıkla kullanılan parametrik olmayan dağılım kestirim yöntemleri ile de gerçekleştirilebilir [63]. Parametrik olmayan dağılımlar MRF’lerde de uygulanabilmektedir [78]. Parçacık süzgeçleri tek boyutlu Markov zincirleri için sürekli durum uzayında kullanılırken, inanç yayılımı (BF: Belief Propagation) genel grafik modellerinde ayrık durum uzayında geçerlidir. Parametrik olmayan inanç yayılımı (NBF: Nonparametric BF) ise parçacık süzgeçlerinin gelişigüzel yapıdaki grafik modellerine genişletilmesi sonucu elde edilir [79]. MCMC’de MRF’den örnek üretmek işlemin süresini çok uzatmaktadır. Bunun için farklı yöntemlere başvurulabilir. Bu yöntemlerden birisi örneklemeyi paralel olarak yapmaktır. MRF imge modeli bağımlılığa dayalı bir model olduğundan paralel örnekleme için birbirinden bağımsız olduğu kabul edilen imge kısımları ayrı ayrı örneklenebilir. Örneğin blok örneklemede imge küçük bloklara ayrılıp bu bloklar için öneri dağılımından blok olarak bir öneri üretilip Metropolis yöntemiyle bloğun tümü kabul veya reddedilebilir. Diğer bir etkin örnekleme yaklaşımı ise yardımcı değişkenler eklemeye dayanır. Bunlardan dilim örneklemesi (slice sampling) [80] düşük boyutlu problemlerde etkinken, Hamilton veya melez MC [53,55] yüksek boyutlu problemlerde iyi sonuçlar vermektedir. Hamilton MC’de eniyileme yöntemlerinden yararlanılarak tüm imge için bir öneri üretilip bu imge Metropolis yöntemiyle kabul veya reddedilir. 96 Önerilen imge modeli ve ayrıştırma yöntemi bağımlı kaynakların ayrıştırılması işlemine genişletilebilir. Bunun için bağımlı olan kaynaklar, örneğin iki kaynak, ayrı ayrı iki MRF ile değil birbirileriyle etkileşim içinde olan üst üste iki katlı MRF olarak modellenebilir. Bu uygulama bağımlı olduğu düşünülen galaksi içi bileşenler (synchrotron, dust ve free-free) için kullanılabilir. Ayrıca renkli imgelerde renk kanalları arası ilintiler bu yolla modellenebilir. Bu model renkli imgelerin kestiriminde ve ayrıştırılmasında kullanılabilir. Bir başka bağımlı imge uygulaması olan karmaşık imgelerde gerçek ve sanal kısımlar arasındaki bağımlılık bu yaklaşımla modellenip karmaşık imgelerin ayrıştırılmasında kullanılabilir. Astrofizik bileşen ayrıştırma alanında hala çözülememiş bir problem olan durağan olmayan kaynakların ayrıştırılması da geleceğe yönelik bir çalışma olarak düşünülebilir. Durağan olmayan astrofizik bileşenler parametreleri pikselden piksele değişen bir MRF olarak modellenebilir. Uzamsal olarak değişen parametreler yerel olarak durağan kabul edilerek kestirilirken imge yeğinlikleri ardışıl MC veya parçacık süzgeci yöntemi ile kestirilebilir. 97 KAYNAKLAR [1] P. Charbonnier, L. Blanc-F´eraud, G. Aubert, and M. Barlaud , 1997, “Deterministic edge-preserving regularization in computed imaging,”, IEEE Trans. on Image Processing, 6 (2), 298–311. [2] G. Archer and D. M. Titterington , 1995, “On some Bayesian/regularization methods for image restoration,”, IEEE Trans. on Image Processing, 4 (7), 989– 995. [3] C. Bouman and K. Sauer , 1993, “A generalized Gaussian image model for edgepreserving MAP estimation,”, IEEE Trans. on Image Processing, 2 (3), 296–310. [4] S. C. Park, M. K. Park, and M. G. Kang , 2003, “Super-resolution image reconstruction: A technical overview,”, IEEE Signal Processing Magazine, 20 (3), 21–36. [5] M. Elad and A. Feuer , 1997, “Restoration of a single superresolution image from several blurred, noisy, and undersampled measured images,”, IEEE Trans. on Image Processing, 6 (12), 1646–1658. [6] R. C. Hardie, K. J. Barnard, and E. E. Armstrong , 1997, “Joint MAP registration and high-resolution image estimation using a sequence of undersampled images,”, IEEE Trans. on Image Processing, 6 (12), 1621–1633. [7] M. Costagli and E. E. Kuruoglu, 2007, “Image separation using particle filters,”, Digital Signal Processing, 17 (5), 935–946. [8] A. Tonazzini, L. Bedini, and E. Salerno, 2006, “AMarkov model for blind image separation by a mean-filed EM algorithm,”, IEEE Trans. on Image Processing, 15 (2), 473–482. [9] M. J. McKeown, S. Makeig, G. G. Brown, T.-P. Jung, S. S. Kindermann, A. J. Bell, and T. J. Sejnowski, 1998, “Analysis of fMRI data by blind separation into independent spatial components,”, Human Brain Mapping, 6, 160–188. [10] A. Hyvarinen and P. Pajunen, 1999, “Nonlinear independent component analysis: Existence and uniqueness results,”, Neural Networks, 12 (3), 429–439. [11] P. Comon, 1994, “Independent component analysis: A new concept?,”, Signal Processing, 36, 287–314. 98 [12] A. J. Bell and T. J. Sejnowski, 1995, “An information maximization approach to blind separation and blind deconvolution,”, Neural Computation, 7, 1129–1159. [13] A. Hyvarinen and E. Oja, 1997, “Fast fixed-point algorithm for independent component analysis,”, Neural Computation, 9 (7), 1483–1492. [14] A. Belouchrani and J.-F. Cardoso , 1994, “Maximum likelihood source separation for discrete sources,” in European Conf. on Signal Processing, EUSIPCO’ 94, (Edinburgh), 768–771. [15] N. Delfose and P. Loubaton, 1995, “Adaptive blind separation of independent sources: A deflation approach,”, Signal Processing, 45 (3), 59–83. [16] A. Hyvarinen, 1999, “Gaussian moments for noisy independent component analysis,”, IEEE Signal Process. Lett., 6 (6), 145–147. [17] A. Belouchrani, K. A.-Meraim, J.-F. Cardoso, and E. Moulines , 1997, “A blind source separation technique using second-order statistics,”, IEEE Trans. Signal Process., 45 (2), 434–444. [18] J.-F. Cardoso , 2001, “The three easy routes to independent component analysis; contrasts and geometry,” in Int. Conf. on Indepen. Comp. Anal. ICA’01, (San Diego). [19] K. H. Knuth , 1999, “A Bayesian approach to source separation,” in Int. Conf. on Indepen. Comp. Anal. ICA’99, 283–288. [20] A. Mohammad-Djafari , 1999, “A Bayesian approach to source separation,” in Int. Workshop on Maximum Entropy and Bayesian Methods, MaxEnt’99. [21] D. B. Rowe, 2002, “A bayesian approach to blind source separation,”, Journal of Interdisciplinary Mathematics, 5 (1). [22] E. Moulines, J.-F. Cardoso, and E. Gassiat, 1997, “Maximum likelihod for blind separation and deconvolution of noisy signals using mixture models,” in Int. Conf. on Acoustic, Speech and Signal Processing. ICASSP’97, 3617–3620. [23] H. Snoussi and A. Mohammad-Djafari , 2000, “Bayesian source separation with mixture of Gaussians prior for sources and Gaussian prior for mixture coefficients,” in Int. Workshop on Maximum Entropy and Bayesian Methods, Max-Ent’00, (San Diego). [24] H. Attias, 1999, “Independent factor analysis,”, Neural Computation, 11, 803– 851. [25] J. W. Miskin , 2000, Ensemble Learning for Indendent Component Analysis. PhD thesis, University of Cambridge. 99 [26] E. E. Kuruoglu, L. Bedini, M. T. Paratore, E. Salerno, and A. Tonazzini, 2003, “Source separation in astrophysical maps using independent factor analysis,”, Neural Networks, 16, 479–491. [27] J.-F. Cardoso, H. Snoussi, J. Delabrouille, and G. Patanchon , 2002, “Blind separation of noisy Gaussian stationary sources: Application to cosmic microwave background imaging,” in European. Conf. on Signal Processing, EUSIPCO’02, (Toulouse), 561–564. [28] J. Delabrouille, J.-F. Cardoso, and G. Patanchon, 2003, “Multi-detector multicomponent spectral matching and applications for CMB data analysis,”, Montly Notices on Royal Astronomical Society, 346 (4), 1089–1104. [29] S. Hosseini, C. Jutten, and D. T. Pham , 2003, “Markovian source separation,”, IEEE Trans. Signal Process., 51 (12), 3009–3019. [30] A. Tonazzini, L. Bedini, E. E. Kuruoglu, and E. Salerno , 2003, “Blind separation of auto-correlated images from noisy mixtures using MRF models,” in Int. Sym. on Indepen. Comp. Anal and Blind Sig. Sep., ICA’03, (Nara, Japan), 675–680. [31] H. Snoussi and A. Mohammad-Djafari , 2004, “Fast joint separation and segmentation of mixed images,”, Journal of Electronic Imaging, 13 (2), 349–361. [32] E. E. Kuruoglu, A. Tonazzini, and L. Bianchi , 2004, “Source separation in noisy astrophysical images modelled by Markov random fields,” in Int. Conf. on Image Proc. ICIP’04, vol. 4, 24–27. [33] Planck Science Team, 2005, “Planck: The scientific programme,” tech. rep., European Space Agency (ESA), [online], http://www.rssd.esa.int/SA/PLANCK/docs/. [Ziyaret Tarihi: 15 Temmuz 2008]. [34] D. Maino, A. Farusi, C. Baccigalupi, F. Perrotta, A. J. Banday, L. Bedini, C. Burigana, G. D. Zotti, K. M. G´orski, and E. Salerno, 2002, “All-sky astrophysical component separation with fast independent component analysis (FastICA),”, Montly Notices on Royal Astronomical Society, 334 (1), 53–68. [35] H. Snoussi, 2006, “Fast MCMC spectral matching separation in noisy Gaussian mixtures: Application to astrophysics,” in IEEE ISCCSP, (Marrakech, Morocco). [36] L. Bedini, D. Herranz, E. Salerno, C. Baccigalupi, E. E. Kuruoglu, and A. Tonazzini, 2005, “Separation of correlated astrophysical sources using multiple-lag data covariance matrices,”, EURASIP Journal on Applied Signal Processing, 15, 2400–2412. [37] A. Gelman, J. B. Carlin, H. S. Stern, and D. B. Rubin, 2004, Bayesian Data Analysis, 2 ed. Chapman & Hall/CRC, 1-58488-388-X. [38] W. R. Gilks, S. Richardson, and D. J. Spiegalhalter, 1996, Markov Chain Monte Carlo in Practice. London, U.K.: Chapman & Hall, 0-412-05551-1. 100 [39] A. N. Tikhonov and V. A. Arsenin, 1977, Solutions of Ill-posed Problems. Washington: Winston & Sons. [40] S. Geman and D. Geman , 1984, “Stochastic relaxation, Gibbs distributions, and the Bayessian restoration of images,”, IEEE Trans. on Pattern Analysis and Machine Intelligence, 6 (6), 721–741. [41] A. Blake and A. Zisserman, 1987, Visual Reconstruction. MIT Press, 0-26202271-0. [42] S. Kirkpatrick, C. D. Gellat, and M. P. Vecchi, 1983, “Optimization by simulated annealing,”, Science, 220, 671–680. [43] T. Hebert and R. Leahy , 1989, “A generalized EM algorithm for 3-D Bayesian reconstruction from Poisson data using Gibbs priors,”, IEEE Trans. Medical Imaging, 8 (2), 194–202. [44] P. Perona and J. Malik , 1990, “Scale-space and edge detection using anisotropic diffusion,”, IEEE Trans. on Pattern Analysis and Machine Intelligence, 12 (7), 629– 639. [45] M. J. Black, G. Sapiro, D. H. Marimont, and D. Heeger , 1998, “Robust anisotrpic diffusion,”, IEEE Trans. on Image Processing, 7 (3), 421–432. [46] D. T. Pham and J. F. Cardoso , 2001, “Blind separation of instantaneous mixtures of non stationary sources,”, IEEE Trans. Signal Process., 49 (9), 1837– 1848. [47] D. M. Higdon, J. E. Bowsher, V. E. Johnson, T. G. Turkington, D. R. Gilland, and R. J. Jaszczak , 1997, “Fully Bayesian estimation of Gibbs hyperparameters for emission computed tomography data,”, IEEE Trans. Medical Imaging, 16 (5), 516– 526. [48] X. Descombes, R. D. Morris, J. Zerubia, and M. Berthod , 1999, “Estimation of Markov random field prior parameters using Markov chain Monte Carlo maximum likelihood,”, IEEE Trans. Image Process., 8 (7), 954–963. [49] P. Tsakalides , 1995, Array Signal Processing with Alpha-Stable Distributions. PhD thesis, University of Southern California. [50] K. Kayabol, B. Sankur, and E. E. Kuruoglu , 2007, “Source separation in images via MRFs with variational approximation,” in European Conf. Signal Process., EUSIPCO’07, (Poznan, Poland), 423–427. [51] B. J. Frey and N. Jojic , 2005, “A comparison of algorithms for inference and learning in probabilistic graphical models,”, IEEE Trans. on Pattern Analysis and Machine Intelligence, 27 (9), 1392–1416. 101 [52] A. Cichocki, S. Amari, K. Siwek, and T. T. et al., ICALAB Toolboxes [online], http://www.bsp.brain.riken.jp/ICALAB. [Ziyaret Tarihi: 15 Temmuz 2008]. [53] R. M. Neal , 1993, “Probabilistic inference using Markov chain Monte Carlo methods,” Tech. Rep. CRG-TR-93-1, Dept. of Computer Science, University of Toronto. [54] J. K. Ruanaidh and W. J. Fitzgerald, 1996, Numerical Bayesian Methods Applied to Signal Processing. New York, USA: Springer-Verlag, 0-387-94629-2. [55] D. J. C. Mackay, 1999, “Introduction to Monte Carlo methods,” in Learning In Graphical Models (M. I. Jordan, ed.), 175–204, MIT Press. [56] C. Andrieu, N. D. Freitas, A. Doucet, and M. I. Jordan, 2003, “An introduction to MCMC for machine learning,”, Machine Learning, 50, 5–43. [57] A. Doucet and X. Wang , 2005, “Monte Carlo methods for signal processing,”, IEEE Signal Processing Magazine, 22 (6), 152–170. [58] N. Metropolis, M. N. Rosenbluth, A. H. Teller, and E. Teller, 1953, “Equations of state calculations by fast computing machines,”, The Journal of Chemical Physics, 21, 1087–1092. [59] J. F. G. de Freitas, 1999, Bayesian Methods for Neural Networks. PhD thesis, University of Cambridge. [60] J. Tian and K. K. Ma , 2005, “A MCMC approach for Bayesian super-resolution image reconstruction,” in Int. Conf. on Image Proc. ICIP’05. [61] G. Celeux, D. Chauveau, and J. Diebolt , 1995, “On stochastic versions of the EM algorithm,” Tech. Rep. 2514, INRIA. [62] K. Kayabol, E. E. Kuruoglu, and B. Sankur , 2008, “Image separation using iterated posterior point estimation,” in European Conf. Signal Process., EUSIPCO’ 08, (Lausanne, Switzerland). [63] D. Erdogmus and J. C. Principe , 2002, “Generalized information potential criterion for adaptive system training,”, IEEE Trans. on Neural Networks, 13 (5), 1035–1044. [64] A. Doucet, S. Godsill, and C. Andrieu, 2000, “On sequential Monte Carlo sampling methods for Bayesian filtering,”, Statistics and Computing, 10 (3), 197–208. [65] Y. Zhai, M. Yeary, V. deBrunner, J. P. Havlicek, and O. Alkhouli , 2005, “Image restoration using a hybrid combination of particle filtering and wavelet denoising,” in Int. Conf. on Image Proc. ICIP’05, vol. 3, 876–879. [66] K. Nittono and T. Kamakura , 2002, “On the use of particle filters for Bayesian image restoration,” in Conf. on Computational Statistics, Compstat’ 02, (Berlin). 102 [67] O. Gencaga, E. E. Kuruoglu, and A. Ertuzun , 2005, “Synthetic aperture radar image enhancement using particle filters,” in ESA-EUSC Image Information Mining, (Roma). [68] A. Akoğlu , 2008, Evren TÜBİTAK Bilim ve Teknik Dergisi, Bilim CD’leri Serisi 9. [69] National Aeronautics and Space Administration, NASA, Cosmic Background Explorer [online], http://lambda.gsfc.nasa.gov/product/cobe/. [Ziyaret Tarihi: 15 Temmuz 2008]. [70] National Aeronautics and Space Administration, NASA, Wilkinson Microwave Anisotropy Probe [online], http://map.gsfc.nasa.gov/. [Ziyaret Tarihi: 15 Temmuz 2008]. [71] National Aeronautics and Space Administration, NASA, WMAP, Five Years Results on the Oldest Light in the Universe [online], http://map.gsfc.nasa.gov/news/index.html. [Ziyaret Tarihi: 15 Temmuz 2008]. [72] European Space Agency, Planck Science Team Home [online], http:// www.rssd.esa.int /index.php?project=PLANCK&page=index. [Ziyaret Tarihi: 15 Temmuz 2008]. [73] G. Patanchon, J. Delabrouille, and J.-F. Cardoso , 2004, “Source separation on astrophysical data sets from the WMAP satellite,” in Int. Conf. on Indepen. Comp. Anal. ICA’04, (Granada, Spain), 1221–1228. [74] M. Costagli, E. E. Kuruoglu, and A. Ahmed , 2003, “Source separation of astrophysical images using particle filters,” Tech. Rep. ISTI-2003-TR-54, ISTICNR. [75] M. Malfait and D. Roose , 1997, “Wavelet-based image denoising using a Markov random field a priori model,”, IEEE Trans. Image Process., 6 (4), 549–565. [76] M. Belge, M. E. Kilmer, and E. L. Miller , 2000, “Wavelet domain image restoration with adaptive edge-preserving regularization,”, IEEE Trans. Image Process., 9 (4), 597–608. [77] A. Pizurica, W. Philips, I. Lemahieu, and M. Acheroy , 2002, “Joint inter- and intrascale statistical model for Bayesian wavelet based image denoising,”, IEEE Trans. Image Process., 11 (5), 545–557. [78] R. D. Paget, 1999, Nonparametric Markov random field models for natural texture images. PhD thesis, University of Queensland, Australia. [79] E. B. Sudderth, A. T. Ihler, W. T. Freeman, and A. S. Willsky , 2003, “Nonparametric belief propagation,” in IEEE Conf. Comp. Vis. Pattern Recog., CVPR’03, vol. 1, (Madison, Wisconsin), 605–612. 103 [80] R. M. Neal, 2003, “Slice sampling,”, Annals of Statistics, 31 (3), 705–767. 104 ÖZGEÇMİŞ Koray Kayabol 1977 yılında Sakarya'da doğmuştur. İlk, orta ve lise öğrenimini Sakarya'da tamamladıktan sonra 1993 yılında İstanbul Üniversitesi, Mühendislik Fakültesi, Elektrik-Elektronik Mühendisliği Bölümünde lisans eğitimine başlamıştır. 1993-1997 ve 1998-2002 yıllarında sırasıyla lisans ve yüksek lisans öğrenimini tamamlamıþtır. 2001-2008 yıllları arasında İstanbul Üniversitesi, Telekomünikasyon Anabilim Dalında Araştırma Görevlisi olarak görev yapmıştır. Bilimsel ilgi alanları istatistiksel işaret ve imge işleme, gözükapalı kaynak ayrıştırma, Bayesçi ve Monte Carlo yöntemlerdir.