liscence plaka çerçevesi
Transkript
liscence plaka çerçevesi
Uluslararası Katılımlı 17. Makina Teorisi Sempozyumu, İzmir, 14-17 Haziran 2015 Bir Aracın Önünde Seyreden Aracın Uzaklığının Tek Kamera Kullanarak Tahmini Mustafa Kısa* Selçuk Üniversitesi Konya Fatih Mehmet Botsalı † Selçuk Üniversitesi Konya Özet—Bu çalışmada, trafikte seyreden bir binek aracın konsoluna bağlanmış tek bir CCD kamera ile alınan sayısal görüntülerden aracın önünde seyreden diğer araçlardan en yakın olanının araca olan uzaklığını tahmin etmeyi sağlayan bir yöntem sunulmuştur. Araç olma olasılığı olan görüntüleri elde etmek üzere görüntüye Gaussian Algoritması ile gürültü giderme işlemi uygulanmakta, eşikleme ve Canny algoritması uygulanarak kenarlar belirlenmekte, Hough algoritması ve Harris ve Stephens Köşe Bulma algoritması kullanılarak görüntüdeki araç olma olasılığı olan aday dikdörtgenler belirlenmektedir. Aday dikdörtgenlerin araç olup olmadığı konusundaki karar görüntünün her hangi bir plaka görüntüsü içerip içermediğine bakılarak verilmektedir. Plaka olma potansiyeli taşıyan aday dikdörtgenler ise, aday dikdörtgen görüntülerinin en boy oranı esas alınarak sınıflandırılmaktadır. Aday görüntülerin belirlenmesinde OpenCV (Open Source Computer Vision)kütüphanesine ait fonksiyonlar kullanılmıştır. Sunulan yöntemle, önde seyreden araçlardan en yakın olanının aracına bağıl uzaklığı tahmin edilmektedir. Önde seyreden aracın uzaklığı, araç görüntüsündeki plakanın boyutu esas alınarak tahmin edilmektedir. Uzaklık hesabında bir aracın önceden belirlenmiş muhtelif uzaklıklardan alınan görüntülerinden ölçülen plaka boyutları kullanılmaktadır. Önerilen yöntem kullanılarak doğal gün ışığı şartlarında yapılan sürüş denemeleri yapılmıştır. Sürüş denemelerinde tek kamera ile alınan görüntüler kullanılarak yapılan uzaklık tahminlerindeki hata belirlenerek önerilen yöntemin kullanılabilirliği değerlendirilmiştir. image. Candidate licence plate images are classified by using aspect ratio of the candidate rectangles. Functions in OpenCV ( Open Source Computer Vision) function library are used in determining the candidate images. Presented method determines the relative distance of the closest vehicle driving in the front. Relative distance of the front vehicle is estimated by using the size of the plate in the image in pixels. Relative distance is calculated by using licence plate dimensions in pixels, measured from vehicle images taken from knowns distances as reference. Driving trials conducted in natural daylight conditions by using the proposed method has been conducted. Error in estimating the relative distances in the trials are determinend, and the effectiveness of the proposed method is evaluated. Keywords: vehicle recognition, distance estimation by camera, plate recognition, Hough algorithm, Canny algorithm, Harris and Stephens algorithm I. Giriş Geleceğin taşıtlarında, aktif güvenlik önlemleri kapsamında önde seyreden araçların tespit edilmesi, bu araçların mesafe ve hızına bağlı olarak sürücünün uyarılması veya araç hızının kontrol edilmesi gibi uygulamaların yaygın olarak kullanılması beklenmektedir. Trafikte seyreden araçların tanınması konusunda henüz otomotiv endüstrisinde yaygın olarak kullanılan bir standart bulunmamaktadır. Bu nedenle, halen trafikte seyreden araçların tanınması konusundaki araştırmalar yoğun olarak devam etmektedir. Bu kapsamda, çok sayıda araştırmacı görüntü işleme tekniklerini kullanmaktadır. Trafikteki potansiyel tehlikeleri algılayarak sürücüyü bilgilendirmek amacıyla görüntü işleme tekniklerinin kullanıldığı trafik işaret levhalarının tanınması, şerit çizgisi tespiti, araç ve engel tespiti uygulamaları çok sayıda araştırmacının ilgisini çekmiştir [1-7]. Trafikteki araçların tanınması, aracın önünde, yanında veya arkasında da seyreden araçların tanınması, yakındaki araçların bağıl uzaklığının tahmini konusunda görüntü işleme tekniklerini kullanmışlardır [8-11]. Trafikte seyreden araçların tanınması konusunda görüntü işleme tekniklerini kullanarak yapılan çalışmalarda genellikle araç tanıması ve izlenmesi yapılmaktadır Bu konudaki çalışmalar içinde, öndeki ya da arkadaki aracın uzaklığını tahmin eden kısıtlı sayıda çalışma bulunmaktadır. Bu çalışmalarda, önde giden araçların bağıl mesafesi ve hızının tespit edilmesinde Anahtar kelimeler: araç tanıma, kamera ile uzaklık tahmini, plaka tanıma, Hough algoritması, Canny algoritması, Harris ve Stephens algoritması Abstract—In this work, detection and distance estimation of vehicles driving in front of a vehicle in traffic is accomplished by using digital images captured by a single CCD camera fixed on the car. Gaussian noise filter, thresholding, Canny Edge Detection algorithm, Hough algorithm and Harris and Stephens Corner Detection algorithms are applied in order to detect candidate vehicle images. Candidate vehicle images are classified by using the state of containing a licence plate * mkisa@selcuk.edu.tr fbotsali@selcuk.edu.tr † 1 Uluslararası Katılımlı 17. Makina Teorisi Sempozyumu, İzmir, 14-17 Haziran 2015 zamanda çalışmakta olup bilgisayar ekranındaki yol görüntüsünde araç ve plaka olma olasılığı bulunan objeler renkli çerçeve içine alınarak işaretlenmektedir. Geliştirilen yazılım, Intel tarafından, gerçek zamanlı bilgisayarlı görme uygulamaları için geliştirilmiş olan OpenCV (Open Source Computer Vision Library) adlı herkesin kullanımına açık bir fonksiyon kütüphanesini kullanmaktadır. Kullanılan bilgisayar, Intel i3 işlemcili, 2 Gb hafıza, 380 Gb sabit disk kapasiteli Packard Bell marka Easy Note TK tipi dizüstü bilgisayardır. Görüntü almak üzere AF 22X OPTICAL ZOOM özellikli CCD Sanyo marka web kamerası bilgisayara USB kapısından bağlanmıştır. Web kamerası, öndeki araçların yol eksenine paralel konumda olacağı varsayımıyla test aracının ön konsoluna mercek düzlemi yol eksenine dik (mercek ekseni yol eksenine paralel) olacak şekilde sabitlenmiştir. Mercek ekseninin yol eksenine paralel ayarlanmasının nedeni, öndeki araçların plaka görüntüsünün gerçek boyutunda olmasını sağlamak üzere görüntünün mümkün olduğunca plakaya dik doğrultuda alınması amacına yöneliktir. genellikle sabit kamera veya hareketli stereo kamera ile alınan görüntüler kullanılmaktadır[12-14]. Bu çalışmanın amacı: sürüş güvenliğini sağlamak amacıyla trafikte seyir halindeki bir aracın konsoluna yerleştirilen tek kamera ile alınan sayısal görüntülerden önde seyreden araçların tanınması ve kameraya uzaklığının tespit edilmesidir. II. Tekli Kamera ileAraçlarınTanınması ve Mesafe Tahmini Bu çalışmada, trafikte seyreden bir aracın konsoluna bağlanmış bir CCD kamera ile alınan sayısal görüntüler kullanılarak aracın önünde seyreden diğer araçların kameraya olan uzaklığı tahmin edilmektedir. Geliştirilen yöntemde CCD kamera ile alınan sayısal görüntü önce gürültü giderme amacıyla Gaussian filtresinden geçirilmekte, ardından görüntü gri renk sakalasına dönüştürülmekte, elde edilen görüntüye eşikleme (tresholding) ve Canny Kenar Belirleme algoritmalarını uygulanarak görüntüdeki araç olma olasılığı olan parçalar bölütlenmektedir. Görüntüdeki araç olma olasılığı olan dikdörtgenler Hough algoritması ve Harris ve Stephens Köşe Bulma algoritması kullanılarak belirlenmektedir. Aday dikdörtgenlerin araç olup olmadığı konusundaki karar görüntünün her hangi bir plaka görüntüsü içerip içermediğine bakılarak verilmektedir. Plaka olma potansiyeli taşıyan aday dikdörtgenler ise, aday dikdörtgen görüntülerinin en boy oranı esas alınarak sınıflandırılmaktadır. Aday görüntüler, piksel sayısı, en boy oranı, plaka içerme durumu göz önüne alınıp sınıflandırılarak araç olup olmadığına karar verilmektedir. III. Plaka Yüksekliği ile Uzaklık Arasındaki İlişki Bu çalışmada önde seyreden araçların uzaklığını tespit etmede aracın tanıtım plakasının kullanılmasına dayalı bir yöntem kullanılmıştır. Kullanılan yöntem için patent müracaatı yapılmıştır. Kullanılan yöntemde, önde seyreden aracın uzaklığının kalibre edilmiş kamera ile alınan iki boyutlu görüntüdeki plaka yüksekliği ile orantılı olduğu kabul edilmektedir. Türkiye’de araçlarda kullanılan plakalar standartlaştırılmış boyutlara sahiptir. Standart plaka boyutları:21 Mart 2012 tarih 28240 sayılı resmi Gazetede yayımlanan Karayolları Trafik Yönetmeliği 6.Madde 2.bendine göre 11x52 cm ve 21x32cm dir. Yol görüntüsünü alan kameranın her zaman odak ekseninin yol düzlemine paralel, plaka yüzeyine dik olduğu kabul edilmektedir. Bundan dolayı aday araçların plakalarında “h” yüksekliği referans değer olarak kabul edilmiştir. Şekil 2. Plaka yüksekliğinin gösterimi Şekil 1. Sistemin gösterimi Geliştirilen yöntemde önde seyreden araçlardan en yakın olanının bağıl uzaklığı tahmin edilmektedir. Önerilen yöntemin uygulanması amacıyla geliştirilen C++ dilindeki yazılım araçta bulunan bilgisayarda gerçek 2 Uluslararası Katılımlı 17. Makina Teorisi Sempozyumu, İzmir, 14-17 Haziran 2015 Geliştirilen yöntemde önde seyreden aracın uzaklığı aşağıdaki bağıntı kullanılarak tahmin edilmektedir: Burada; q : Yol deneyi sırasında alınan öndeki araca ait görüntüdeki plakanın piksel cinsinden yüksekliği, p : Kalibrasyon sırasında alınan öndeki araca ait görüntüdeki plakanın piksel cinsinden yüksekliği, (a)Alınan görüntü m : Kalibrasyon sırasında öndeki aracın kameraya uzaklığının ölçülen değeri [cm], M : Öndeki aracın kameraya uzaklığının tahmin edilen değeri [cm] ifade etmektedir. IV. Denemeler Önerilen yöntemin doğrulanması amacıyla Hyundai marka Accent Era tipi bir test aracına bağlanan kamera ile trafikte seyreden araçların uzaklık tahmini yapılmıştır. A. Kalibrasyon Amaçlı Denemeler Test aracı ile izlenen araç arasındaki uzaklık ile iki boyutlu görüntüdeki plaka yüksekliği arasında oransal ilişki olduğunu kanıtlamak amacıyla her iki araç durgun halde iken araçlar arası uzaklığının farklı değerleri için (1m, 2m, 3m, 4m, 5m, 7m, 10m, 15m, 25m, 35m, 80m, 90m) görüntüler alınmıştır. Bu denemelerde, iki boyutlu görüntü kullanılarak tahmin edilen uzaklık değerinin doğrulanması amacıyla iki araç arasındaki uzaklık hem kalibre edilmiş şerit metre ile hem de Bosch DLE 150 tipi lazermetre ile yapılmıştır. Denemelerin gösterimi Şekil 1Şekil 4’ de verilmiştir. (b)Kenar belirleme sonrası plaka testi yapılan görüntü (c)Ekranda görülen çerçeve içine alınmış görüntü Şekil 3. Araçlar arasındaki uzaklık ile plaka yüksekliği arasında oransal ilişki olduğunu kanıtlamak amacıyla yapılan ölçüm (uzaklık 1 m 3 Uluslararası Katılımlı 17. Makina Teorisi Sempozyumu, İzmir, 14-17 Haziran 2015 (a) Alınan görüntü (a) Alınan görüntü (b) Kenar belirleme sonrası plaka tespiti yapılan görüntü (b) Kenar belirleme sonrası plaka tespiti yapılan görüntü (c) Ekranda görülen çerçeve içine alınmış görüntü (c) Ekranda görülen çerçeve içine alınmış görüntü Şekil 4. Araçlar arasındaki uzaklık ile plaka yüksekliği arasında oransal ilişki olduğunu kanıtlamak amacıyla yapılan ölçüm (uzaklık 5 m) Şekil 5. Araçlar arasındaki uzaklık ile plaka yüksekliği arasında oransal ilişki olduğunu kanıtlamak amacıyla yapılan ölçüm (uzaklık 25 m) 4 Uluslararası Katılımlı 17. Makina Teorisi Sempozyumu, İzmir, 14-17 Haziran 2015 karayolunun Otogar Kavşağı ile Sarayönü Kavşağı arasındaki yaklaşık 35 km uzunluğundaki bölümünde yapılmıştır. Test aracı Hyundai marka Accent Era tipi sedandır. Tablo 2’de görüldüğü gibi, iki araç arasındaki uzaklık için elde edilen tahminlerdeki bağıl hata araçlar arasındaki uzaklığa bağlı olarak değişmektedir. Bu durumun, uzaklık tahmin etme yönteminin plakanın piksel cinsinden yüksekliğine bağlı olarak değişmesinden kaynaklandığı düşünülmektedir. Araçlar arasındaki mesafe arttıkça görüntüdeki plaka yüksekliğinin piksel cinsinden değeri küçülmekte, piksel sayısındaki yuvarlama hatalarına bağlı olarak uzaklık tahminindeki bağıl hata doğal olarak artış trendine girmektedir. İzlenen ve izleyen araç arasındaki uzaklık için elde edilen tahminlerdeki bağıl hata %1.86-4.90 arasında değişmekte olup kabul edilebilir düzeyde bulunmuştur. Sürüş denemelerinde alınan görüntüler Şekil 6-7’de verilmiştir. İki araç arasındaki uzaklığın 35 m’den büyük olması halinde görüntüde plaka tespit edilmesi mümkün olamamaktadır. Doğrulama amaçlı çekimlerde elde edilen sonuçlar Tablo 1’de sunulmuştur. Önerilen Yöntemle Tahmin Edilen Uzaklık(cm) 99.6 Hata % 1 Şerit metre ile Ölçülen Uzaklık (Referans) (cm) 100 -0.4 100.1 0.1 2 200 201.3 -0.65 199.7 0.15 3 300 297 -1 300.8 0.2 4 400 394 -1.5 401 0.25 5 500 491 -1.8 501.4 0.28 6 700 684 -2.3 702.6 0.37 7 1000 971.4 -2.86 1004.2 0.42 8 1500 1455 -3 1510.4 0.69 9 2500 2376 -4.96 2482.2 0.71 10 3500 Plaka Tespit Edilemedi 3474.1 0.74 11 8000 Plaka Tespit Edilemedi 7934.4 0.82 12 9000 Araç ve edilemedi 8923.5 0.85 Deneme No plaka tespit Lazermetre ile ölçülen Hata % TABLO 1. Araçlar durgun iken uzaklık tahmini Tablo 1’den görüldüğü gibi; önerilen yöntemle yapılan uzaklık tahminindeki hata iki araç arasındaki uzaklıklığa bağlı olarak artmakta olup ölçüm hatası; 1-25 m uzaklıklarda %0.4-%4.96 aralığında değişmektedir. Bağıl hata, lazermetre ile yapılan uzaklık ölçümlerde ise aynı aralıkta %0.1-0.71 aralığında değişmektedir. Önerilen yöntemle yapılan uzaklık tahmini lazermetre ile ölçülene göre %0.3-%4.25 aralığında hata içermekle birlikte kabul edilebilir sınırlar içindedir. İki araç arasındaki uzaklık 25m’yi geçtikten sonra mesafe tahminindeki hata % 5 i geçmekte, 35 m yi geçtikten sonra görüntüdeki plakanın tespiti mümkün olamamaktadır. Ancak buna rağmen araca ait görüntü tanınarak çerçeve içine alınmaktadır. Geliştirilen yöntem, görüntüde yer alan 90m’den daha uzaktaki araçları tanıyamamaktadır. İzlenen ve izleyen araçlar durgun iken yapılan, doğrulama amaçlı denemelerde elde edilen görüntüler Şekil 3- Şekil 5’de verilmiştir. Deneme No Tahmin Edilen Uzaklık (m) Lazermetre ile ölçülen uzaklık (m) Hata % 1 2 3 4 5 6 7 8 9 6,28 7,24 12,37 13,08 16,30 17,21 22,82 22,95 Tespit Edilemedi 6,399 7,420 12,728 13,470 16,870 17,868 23,961 24,130 63,578 1,86 2,40 2,81 2,90 3,40 3,68 4,76 4,90 TABLO 2. Trafikte seyreden muhtelif araçların uzaklık ve bağıl hızının tahmini V. Sonuçlar Sunulan yöntem kullanılarak, 10-60 km/h hızda seyreden test aracı ile Sanyo AF 22X OPTICAL ZOOM özellikli CCD kamera kullanılarak gerçek yol şartlarında, gündüz saatlerinde, değişik iklim koşullarında (çiseleyen yağmurlu, açık, kapalı hava) yapılan uzaklık tahminlerinde aşağıdaki sonuçlara ulaşılmıştır: En çok 90 m uzaklıktaki önde seyreden araçlar tespit edilebilmektedir, Önde seyreden araca ait görüntüde plaka tespiti yapılabilmesi için araçlar arası uzaklığın 35 m’den az olması gerekmektedir, 0-25 m uzaklıktaki araçların uzaklığı yaklaşık % 5 bağıl hata ile tespit edilebilmektedir. Geliştirilen yöntemin, ağır yağmurlu iklim koşullarında, cam sileceklerinin hareketinin oluşturduğu kesikliklerden dolayı güvenilir sonuçlar vermediği tespit edilmiştir. B. Yol Denemeleri Karayolunda seyir halinde olan iki araç arasındaki uzaklığın sunulan yöntemle hangi doğrulukta tahmin edilebildiğini belirlemek üzere, kamera yerleştirilen test aracı seçilen bir güzergahta seyrederken test aracının görüş alanı içine giren muhtelif araçların uzaklığı tahmin edilmiş, yapılan uzaklık tahminini doğrulamak üzere iki araç arasındaki uzaklık Bosch DLE 150 tipi lazermetre kullanmılarak manuel olarak ölçülmüştür. Yol denemeleri, gerçek yol şartlarında, gündüz saatlerinde, çiseleyen yağmurlu, açık, kapalı hava koşullarında yapılmıştır. Geliştirilen yöntem, ağır yağmurlu iklim koşullarında, cam sileceklerinin çalışması nedeniyle görüntüde oluşan kesikliklerden dolayı güvenilir sonuçlar vermemektedir. Yol denemeleri, Konya-Afyon 5 Uluslararası Katılımlı 17. Makina Teorisi Sempozyumu, İzmir, 14-17 Haziran 2015 (a) Alınan görüntü (a) Alınan görüntü (b) Kenar belirleme sonrası plaka tespiti yapılan görüntü (b) Kenar belirleme sonrası plaka tespiti yapılan görüntü (c) Ekranda görülen araç ve plaka işaretlenmiş görüntü(uzaklık 628.00 cm) Şekil 6. Trafikte test çekimleri (c) Ekranda görülen araç ve plaka işaretlenmiş görüntü(uzaklık 724.00 cm) Şekil 7. Trafikte test çekimleri 6 Uluslararası Katılımlı 17. Makina Teorisi Sempozyumu, İzmir, 14-17 Haziran 2015 Kaynakça [1] Kısa M. Karayolunda Seyreden Araçların Tanınması. Doktora Tezi, Selçuk Üniversitesi, Konya, 2014. [2] Aizenberg I. Butakoff C. Frequency domain median-like filter for periodic and quasi-periodic noise removal, Proceedings of SPIE, Image Processing: Algorithms and Systems, 12, 8, 181-191, 2002. [3] Huh K. Park J. Hwang J. ve Hong D. A stereo vision-based obstacle detection system in vehicles, ELSEVIER Optics and Lasers in Engineering 46 Vol.168–178, 2008. [4] Hsu G.S. Chen J.C. ve Chung Y.Z. Application-Oriented License Plate Recognition, IEEE Transactions on Vehicular Technology, Vol. 62, 2013. [5] Kaplan K. Kurtul C. ve Akın H. L. Real-Time Traffic Sign Detection and Classification Method for Intelligent Vehicles, IEEE International Conference on Vehicular Electronics and Safety 24-27 Temmuz 2012. [6] Li X. ve Guo X. Vision-Based Method for Forward Vehicle Detection and Tracking, International Conference on Mechanical and Automation Engineering. 2013. [7] Mousa A. Canny Edge Detection Based Vehicle Plate Recognition. International Journal Of Signal Processing, Image Processing and Pattern Recognition Vol.5. 2012. [8] C. F. Wu, C. J. Lin, H. Y. Lin ve H. Chung Adjacent Lane Detection and Lateral Vehicle Distance Measurement Using Vision-Based NeuroFuzzy Approaches. 2013. [9] Y.C.Kuo, N.S. Pai ve Y.F. Li Vision-Based Vehicle Detection For a Driver Assistance System. 2011. [10] D. Gao, W. Li, J. Duan ve B. Zheng, A Practical Method of Road Detection for IntelligentVehicle. 2009. [11] J.Y. Chang ve C.W. Cho, Vision-Based Front Vehicle Detection and Its Distance Estimation. 2006. [12] Kormann, B., Neve, A., Klinker, G. ve Stechele, W.,Stereo Vision Based Vehicle, In VISAPP (2), 431-438, 2010. [13] Huh, K., Park, J., Hwang, J. ve Hong, D., A stereo vision-based obstacle detection system in vehicles, ELSEVIER Optics and Lasers in Engineering 46 Vol.168–178, 2008. [14] Toulminet, G., Bertozzi, M., Mousset, S., Bensrhair, A. ve Broggi, A.,Vehicle Detection by Means of Stereo Vision-Based Obstacles Features Extraction and Monocular Pattern Analysis, IEEE Transactions On Image Processing, Vol. 15, No. 8, 2006. 7