www.i-treasures.eu
Transkript
www.i-treasures.eu
KONSORSIYUM METODOLOJİ Somut olmayan kültürel mirası sürdürenler sanatlarını icra ederken çok modlu duyargalar (sensör) aracılığıyla kaydedilir. Görüntü/sinyal işleme ve örüntü tanıma teknikleri kullanılarak kaydedilen sinyallerdeki düşük (örn. hareket izleme) ve orta seviye (örn. duruşlar, hareketler, ses tempoları) özellikler ortaya çıkarılır. Bu işlemi takiben, önerilen yöntem iki konuyu hedefler: a) farklı modalitelerden bilgi elde etmek için veri füzyonu analizi uygulama, b) olasılıklı çıkarım kullanarak düşük veya orta seviye multimedya özelliklerini yüksek seviye kavramlarla eşleştirmek için içerik ve bağlamı birleştirme (örn. elde edilen veriyi insanlar tarafından anlaşılabilir hale dönüştürme). Dijital miras kaynaklarının, sanat eserlerinin dijitalleştirilmiş hallerini içerdiği gerçeğinden yola çıkarak, multimedya içeriğin anlamsal analizinin gerekli olduğu sonucuna varılabilir. Çünkü bu tip sanat eserlerinin otomatik açıklayıcı notları olması onların dijital koleksiyonlara hızlıca entegre edilmesini mümkün kılar ve çeşitli araştırma ve eğitimle ilgili işleri kolaylaştırır. Bu kapsamda ortaya çıkacak özgün yeni bilgi diğer kültürel kaynaklarla birleştirilerek i-Treasures platformu üzerinden erişilebilir olacaktır. Bu sayede farklı miras türlerinden farklı türlerde içeriğe erişim imkanı sağlanacaktır. Buna ek olarak, web-tabanlı oyun motorlarındaki gelişmelerin avantajını kullanarak 3B bir öğrenme ortamı geliştirilecektir. Bu ortam kendi başına bir uygulama olabileceği gibi, platform içine gömülü bir uygulama da olabilecektir. Bu oyun benzeri uygulama, duyu-motor öğrenmeyle, öğrenen kişinin eğitiminin ve performans değerlendirmesinin gelişmesine katkıda bulunacaktır. Şarkı Ses İzleme Müzik Hareket ve Duygu Dans Metin'den Şarkı'ya Somut Olmayan Enstrüman Kareografi Université Pierre et Marie Curie (UPMC) http://www.upmc.fr http://www.espci.fr Centre National de la Recherche Scientifique (CNRS) http://www.cnrs.fr/ University of Mons (UMONS) http://portail.umons.ac.be Istituto Tecnologie Didattiche Consiglio Nazionale delle Ricerche (ITD-CNR) http://www.itd.cnr.it/ The Centre for Museums, Heritage and Material Culture Studies at University College London (UCL) http://www.mhm.ucl.ac.uk Turk Telekomunikasyon A.S. (TT) http://www.turktelekom.com.tr University System of Maryland (USM) http://www.usmd.edu El Sanatları Vücut Duruşu Şarkı söyleme Hassas eklemleri Günlük hareketler Hareketler Centre for Research and Technology Hellas Information Technologies Institute (CERTH-ITI) http://www.certh.gr http://www.iti.gr Kaydetme ark-çevirme Modelleme Özgün hareketler Yerel Eğitim Öğrenme Kurumları İletim Aristotle University of Thessaloniki (AUTH) http://www.auth.gr http://psyche.ee.auth.gr ACAPELA Group Babel Technologies SA http://www.acapela-group.com University of Macedonia (UOM) http://www.uom.gr http://www.multimedia.uom.gr Association pour la Recherche et le Développement des Méthodes et Processus Industriels (ARMINES) / Ecole Nationale Supérieure des Mines de Paris (ENSMP) http://www.armines.net http://www.mines-paristech.fr Contact: Dr Nikos Grammalidis (Coordinator) Centre for Research and Technology Hellas (CERTH) - Information Technologies Institute (ITI) 1st Km Thermi-Panorama Road, 57001 (PO Box 60361), Thermi-Thessaloniki, Greece Tel: +30-2310 -464160 (int. 112) Email: ngramm@iti.gr SOMUT OLMAYAN HAZİNELER Somut Olmayan Kültürel Mirası yakalama ve Yaşayan İnsan Hazinelerden zor bulunan bilgi birikimini öğrenme www.i-treasures.eu European Commission Directorate General for Communications Networks, Content and Technology (DG CONNECT) Unit G2 'Creativity', Euroforum building, 10, rue Robert Stumper, L-2557, Luxembourg Email: cnect-digicult@ec.europa.eu MOTiVASYON Kültürel ifade sadece mimari, heykel veya eser koleksiyonlarıyla sınırlı degildir. Müzik, dans, şarkı söyleme, zanaatkarlık gibi bilgi ve yetenekleri içeren manevi canlı ifadeleri de kapsar. İnsan zekasının ve yaratıcılığının bu görünümleri bizim Somut Olmayan Kültürel Miras (SOKM)’ımızı oluşturur. Bu tip kültürel miras aynı anda hem geleneksel hem çağdaş hem de canlıdır, çünkü sadece miras kalan bilgiler değil çağdaş kültürel ifadelerin yenilenmesi anlamına da gelir. Geçmişe, şimdiye ve kesinlikle geleceğe değinir ve insanlığın kültürel çeşitliliğinin kaynağıdır. Somut olmayan kültürel miras oluşumu sözlü olarak veya hareketle aktarılır ve zaman içerisinde değişime uğrar. Bu yüzden, iyi korunmadıkları takdirde Somut olmayan kültürel mirasın bazı elemanlarının yok olma ve nesillerinin tükenme riski vardır. Bilgi ve haberleşme teknolojileri somut olmayan kültürel mirasın korunmasına destek verebilir, sunumları için yeni yollar yaratabilir, toplum farkındalığını artırabilir, kültürel kaynaklara kesintisiz ve evrensel ulaşım sağlayabilir, araştırma ve eğitim servislerini destekleyebilir ve gizli kalmış manevi mirasları gün ışığına çıkarabilir. Özellikle son ifade somut olmayan kültürel mirasın korunmasında en zorlu problemi oluşturur ve a)somut olmayan kültürel mirasın daha iyi anlaşılmasını sağlar, b) farklı zaman dilimlerinde veya coğrafi bölgelerde yaşamış toplumlar arasındaki bağlantıyı ortaya çıkarır ve c) bilgi transferi ve eğitimi konusunda yeni bir zemin hazırlar. AMA i-Treasures projesinin genel amacı SOKM kaynaklarına ulaşım sağlayan açık ve genişletilebilir bir platform geliştirmek, araştırmacılar arasında bilgi alış verişini sağlamak ve nadir bulunan bilgi birikiminin yaşayan kültürel miras ustalarından çıraklara aktarılmasına destek olmaktır. Bu amaçla, proje sadece kültürel içeriğin dijitalleştirilmesinden fazlasını hedeflemektedir. Asıl katkı sağladığı nokta, yeni bir bilgi birikimi oluşturmak amacıyla SOKM’nin analizi ve modellemesi için yeni yöntemler ve yeni teknolojik paradigmalar öne sürerek şimdiye kadar incelenmemiş ve üzerinde çalışılmamış kaynaklar (“saklı manevi hazineler”) ortaya çıkarmaktır. İ-Treasures projesinin özünde farklı SOKM şekillerinden saklı gizli hazineleri ortaya çıkarabilmek için çoklu algılama teknolojisi(2B/3B optik sensörler, sesötesi sensörler, microfonlar, EEC vb.) kullanarak belirli motifleri(duruş, jestler, ses motifleri, hareketler vb.) saptamak yatmaktadır. İ-Treasures projesi çerçevesinde dört farklı SOKM bileşeni detaylo olarak incelenmektedir; a) nadir bulunan geleneksel şarkılar, b) nadir bulunan dans etkileşimleri, c) geleneksel el zanaatkarlığı ve d) çağdaş müzik besteleme. ESAS HEDEFLER • Zor bulunan bilgi birikimini ve kullanıcı ihtiyaçlarını belirlemek • SOKM’nin korunması ve aktarılması ve saklı somut olmayan kültürel mirasın tanımlanması için yeni teknolojiler sunmak • Var olan kültürel içeriğin ötesinde daha önce hiç analiz edilmemiş kültürel içeriğin oluşturulması için çoklu sensör teknolojilerini kullanmak • SOKM verileri üzerinde Semantik Medya Yorumlaması yapmak • SOKM araştırması ve eğitimi için bir web platformu geliştirmek ve değerlendirme yapmak • Kültürel ifade için yeni yöntemler yaratmak • SOKM’nin korunması için insanlar arasındaki farkındalığı artırmak • Prototip Bölgesel Okullar konsepti aracılığıyla nadir bununan bilginin korunması, yenilenmesi ve gelecek nesillere aktarılması için sistematik bir yöntemin geliştirilmesine destek vermek ÖRNEK SENARYOLAR • Çalışma 1: Nadir Bulunan Şarkı Söyleme Bilgisi • Çalışma 3: Geleneksel Zanaatkarlık Bu çalışmanın amacı en son teknoloji sensörleri ve veri füzyonu tekniklerini kullanarak çok modlu ses ve jest analizi için yenilikçi yöntemler geliştirmektir. Şarkı söylerken insan sesinin kapasitesini araştırmak amacıyla üzerinde ultrason güç çevirici, optik kamera, piezoelektrik güç çevirici ve/veya burun akustik mikrofonu bulunan bir mobil “süper başlık” geliştirmek projenin ana hedeflerinden biridir. Şarkı söyleme üzerine yapılan çalışma UNESCO’nun Manevi Kültürel Miras Envanterindeki acil koruma altına alınması gereken bir takım geleneksel Avrupa’ya özgü şarkı söyleme teknikleriyle ilgilenmektedir. Seçilen şarkılar; Korsika(Fransa)’dan “cantu in paghjella”, Sardinya(İtalya)’dan “canto a tenore” pastoral şarkıları ve Athos Dağı(Yunanistan)’ndan Bizans ilahileridir. Çalışma ayrıca yeni gelişen modern bir şarkı söyleme şekli olan, vokalistin vurmalı çalgıların seslerini taklit ettiği “beat box”ı da kapsar. Geleneksel el becerisi üzerine yapılan çalışma, çömlekçilik üzerinden giderek zanaatkarla yarattığı materyal arasındaki etkileşimin analizi, modellemesi, tanınması ve anlamsal analizini yapmayı hedeflemektedir. El becerisi etkileşiminden kastedilen materyalin elle kontrol edilmesi ve ona bir şekil verilmesidir. Sistem zanaatkarla materyal arasında daha önceden tanımlanmış ve kaydedilmiş en önemli etkileşimlere göre sürekli olarak zanaatkarın el hareketinlerini tanır. Kısaca bu çalışma zor bulunan el becerisi bilgisine sahip olan insanlardan en önemli hareketlerini ve yöntemleri öğrenmeyi hedefler. i-Treasures projesi çerçevesinde, 2B/3B ve/veya gömülü sensörlerin kullanımına dayalı bir melez hareket tanıma yöntemi kullanılarak, çömlekçilik el sanatı hakkında bilgi birikimi elde edilecektir. • Çalışma 2: Nadir Bulunan Dans Bilgisi • Çalışma 4: Çağdaş Müzik Besteleme Dans, dans edenin vücudunu içinde barındırmakla beraber özünde soyut bir sanattır. Dans, anlık duruma göre farklı mesajlar taşıyabilir, estetik ve artistik yönlere (modern dans, bale), kültürel ve sosyal yönlere (halk dansları, geleneksel danslar), hikaye anlatmaya ( sembolik danslar) ve ruhsal anlamlara(semazenler) odaklanabilir. Dansın türüne göre, hareketin keskinliği ve yapılış şekli(“hareket kalitesi”) en önemli unsur olabilir (modern dans) ancak geleneksel danslar gibi sadece işlevin önemli olduğu durumlarda bu önem azalır. Dans çalışması, modern dans ve geleneksel dans olmak üzere iki konu üzerinde odaklanmaktadır. Bu çalışmada, hareket keskinliği ve kısıtlamalara (bazı danslarda dansın bir parçası olarak çeşitli aksesuarlar kullanılabilir, bunlar da vücudun hareketini etkiler) bağlı olarak farklı tiplerde sensörler (derinlik kameraları, eylemsizlik sensörleri ve optik mocap sistemleri) kullanılacaktır. Gösteri sanatları insanların hem iletişimsel (ifadeler, duygular vb.) hem de kontrol(aksiyonları tetikleri, sürekli değişen parametreleri kontrol etme) yönlerini birleştirir. Sanatçı algıyı, hareketi ve bilgiyi birleştiren bir tetikleyici ve aktarıcıdır. Bu çalışmanın asıl amacı yeni bir somut olmayan müzik aleti geliştirmektir. Örneğin, müzik bestelemek için yeni bir Çok Modlu İnsan-Makine Arayüzü geliştirilecektir. Bu alette gerçekte yapılan doğal hareketler müzik/ses segmentleriyle eşleştirilir ve bu işlem yapılırken sanatçının duygusal durumu da göz önüne alınır. Hareket veri alımı ve 2B/3B ve/veya gömülü sistemlere dayalı analiz için melez bir yaklaşım kullanılır. Sanatçının duygusal durumu da EEG ile ve yüz ifadesi analiziyle çözümlenir. Bütün bu hareketler, ifadeler, duygular ve sesler geliştirilen alete entegre edilerek farklı profillerdeki (besteciler, sanatçılar, müzisyen olmayanlar vb.) kullanıcılara daha karışık vücut/müzik etkileşimini keşfetme olanağı tanır.