Actualisation d`une interface cerveau
Transkript
Actualisation d`une interface cerveau
Préface Ce projet final est le dernier travail de mes études de licence au Département de Génie Informatique, Faculté d’Ingénierie et de Technologie, Université Galatasaray. Il consiste en une réalisation d’une Interface Cerveau-Machine pour contrôler un robot humanoïde. La réalisation de ce projet des fois a été difficile, cependant, ces périodes difficiles de travail m’a permis de construire une bonne connaissance sur les notions Interface CerveauMachine. J’espère que ce dernière projet sera un point de départ pour l’avenir de mes études. D’abord, je voudrais exprimer ma gratitude à mon conseiller Yard.Doç.Dr. R. Burak Arslan qui m’a guidé tout au long de ce projet final avec ses connaissances et son expérience. Ensuite, je voudrais remercier à Ozan Çağlayan à cause de son support, son aide, sa positive posture et son énergie qu’il partage avec tout le monde sans hésitation. Sans doute que je ne pourrais pas arriver à réaliser ce projet sans leurs contributions. Enfin, je remercie toutes mes professeurs, ma famille, mes amis qui m’aident tous ensemble de former ma personalité d’aujourd’hui. Pour les gens qui me connaissent, je voudrais citer un parole de Manu Chao ; "Toujours trop tôt pour un trop tard" Mai 2014, Istanbul Barış Serhan ii Table des Matières Préface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ii Table des Matières . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii Liste des Notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v Liste des Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vii Liste des Tableaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii Résumé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix Özet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . x 1 INTRODUCTION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1 OBJECTIVE ET MOTIVATION . . . . . . . . . . . . . . . . . . . . . . 1 1.2 CONTOUR DU RAPPORT . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 INTERFACES CERVEAU-MACHINE . . . . . . . . . . . . . . . . . 3 2.1 CERVEAU HUMAIN . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.1.1 Système Nerveux Central . . . . . . . . . . . . . . . . . . . . . . 5 2.1.2 Neurones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.1.3 Cortex Cérébral . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.1.3.1 Rythme Cérébral . . . . . . . . . . . . . . . . . . . . . 9 2.1.3.2 Potentiel évoqué . . . . . . . . . . . . . . . . . . . . . 11 2.2 IMAGERIE CEREBRALE . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.3 ELECTROENCEPHALOGRAPHIE . . . . . . . . . . . . . . . . . . . . 14 2.3.1 Les Electrodes . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.3.1.1 Types des électrodes . . . . . . . . . . . . . . . . . . . 15 2.3.1.2 Localisation des électrodes . . . . . . . . . . . . . . . . 15 Plate-formes Logicielles . . . . . . . . . . . . . . . . . . . . . . 16 2.3.2 3 REALISATION DE NOTRE INTERFACE . . . . . . . . . . . . . . . 3.1 19 MATERIAUX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.1.1 Emotiv EEG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.1.1.1 Emotiv SDK . . . . . . . . . . . . . . . . . . . . . . . 21 Kondo KHR-3hv . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.1.2.1 Carte wifi KCB-3WL . . . . . . . . . . . . . . . . . . 23 3.1.2.2 Heart2Heart . . . . . . . . . . . . . . . . . . . . . . . 24 l’Autres Matériels Additionnels . . . . . . . . . . . . . . . . . . 25 CONCEPTION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 4 CONCLUSION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 Bibliographie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 3.1.2 3.1.3 3.2 iv Liste des Notations ADSL - Asymmetric Digital Subscriber Line (en ang.) Ag - Argent AgCl - Chorure d’Argent API - Application Program Interface (en ang.) BBA - Beyin Bilgisayar Arayüzü (en tur.) BCI - Brain-Computer Interface (en ang.) CPU - Central Processing Unit (en ang.) CS - Channel Select (en ang.) EEG - Electroencéphalographie ECG - Electrocardiogramme ECoG - Electrocorticographie EDK.dll - Emotiv Development Kit’s Dynamic Linked Library (en ang.) EOG - Electrooculogramme EP - Potentiel Evoqué EMG - Electromyogramme fMRI - Functional Magnetic Resonance Imaging (en ang.) fNIRS - Functional Near-Infrared Spectroscopy (en ang.) GPIO - General-Purpose Input/Output (en ang.) ICM - Interface Cerveau-Machine ICO - Interface Cerveau-Ordinateur IHM - Interfaec Homme-Machine INRIA - Institut National de Recherche en Informatique et en Automatique K+ - Potassium v LED - Light Emitted Diode (en ang.) LIS - Locked-In Syndrome (en ang.) MEG - Magnétoencéphalographie MS - Microsoft Na+ - Sodium OS - Operating System (en ang.) RAM - Random Access Memory (en ang.) ROM - Read Only Memory (en ang.) SE - Système d’Exploitation SDK - Software Development Kit (en ang.) SLA - Sclerose Latérale Amyotrophique SNC - Système Nerveux Central SMR - Sensory Motor Rhythm (en ang.) SQUID - Superconducting Quantum Interference Device (en ang.) USB - Universal Serial Bus (en ang.) UDP - User Datagram Protocol vi Liste des Figures 2.1 Schéma général du fonctionnement d’une ICM . . . . . . . . . . . . . . 3 2.2 Le Cerveau humain . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 Système nerveux central . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.4 Un neurone . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.5 Potentiel d’Action . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.6 Les phases du potentiel d’action . . . . . . . . . . . . . . . . . . . . . . 8 2.7 Cortex cérébral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.8 Les Rythmes Cérébrals . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.9 La Schema de la Chaîne des Intracorticaux Microélectrodes de UTAH . . 13 2.10 Placement des électrodes . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.11 Le système standard international 10-20 . . . . . . . . . . . . . . . . . . 17 3.1 Le Casque Emotiv . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.2 Les écrans des logiciels d’Emotiv . . . . . . . . . . . . . . . . . . . . . . 22 3.3 Kondo KHR-3hv . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.4 Carte wifi KCB-3WL . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.5 Un écran de Heart2Heart . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.6 Le schema qui montre l’entraînement du système . . . . . . . . . . . . . 26 3.7 Le schéma général du système . . . . . . . . . . . . . . . . . . . . . . . 28 Liste des Tableaux 2.1 Comparison des Méthodes d’Imagerie Cérébrale . . . . . . . . . . . . . . 13 Résumé Les interfaces cerveau-machine (ICM) sont des appareils d’un type nouveau permettant la communication directe entre le cerveau d’un utilisateur et une machine. Leurs objectif est de fournir un moyen alternatif d’interaction sans la participation des voies musculaires. Ils peuvent être réaliser grâce à la mesure non-invasive d’informations provenant du cortex par électroencéphalographie (EEG). En jour à l’autre, EEG devient une technologie que nous utilisons dans la vie quotidienne pour des jeu-vidéos et des raisons médicales au moyen des produits abordables commercialisé par des différentes entreprisses. Dans notre étude, nous allons actualiser une interface en utilisant une casque EEG à bas prix et nous essaierons de contrôler un robot humanoïde par la pensée des sujets expérimentaux. Nous nous intéressons à voir la capacité et l’exactitude du contrôle des ICM’s crées avec les systèmes EEG à bas prix. Nous voulons savoir s’il y a des possibilité de créer ICM pour l’usage médicale à futur proche, spécifiquement la création des servanterobots contrôlé par le cerveau d’un patient paralysé. ix Özet Beyin-bilgisayar arayüzleri (BBA), kullanıcısının beyni ve bir bilgisayar sistemi arasında doğrudan iletişimi kurarak, herhangi bir kasın yardımı olmadan enformasyon aktarımını sağlar. İnsan makina etkileşimine yeni bir boyut kazandıran bu sistemler, son zamanlarda oyun sektöründe ve tıbbi bilişim alanlarında günlük yaşamda karşımıza çıkmaya başlamıştır. Bu çalışmada, düşük fiyatlı bir EEG aygıtı kullanılarak, insansı bir robotun kontrol edilmesine olanak sağlayan, bir BBA gerçekleştirmek hedeflenmektedir. Çalışma kapsamında, düşük maliyetli donanımlarla gerçekleştirilebilecek BBA’lerinin kapasitesi ve hassasiyet derecesi araştırılmak istenmektedir. Bu döküman kapsamında, tanıtım ardından gelen ilk bölümde, öncelikle BBA domeninde karşımıza çıkan temel konseptler incelenmiş, ardından sinirbilimsel temel kavramlardan konu ile ilişkili olanlar kısaca açıklanmış ve serebral görüntüleme teknikleri, BBA konseptinde önemli bir yer tutan elektroencefalografinin altı çizilerek konuyla ilgili temel bilgiler aktarılmaya çalışılmıştır. Sonraki bölümde ağırlıklı olarak kendi çalışmamızdan bahsedilmiştir. Hangi platformlarda çalışmayı seçtiğimiz ve bu seçimleri hangi kriterlere göre yaptığımız da bu bölümde açıklanıyor. Bu platformları genel hatlarıyla tanıttıktan sonra gerçekleştirmek istediğimiz BBA için kullanıdığımız metodlar, oluşturduğumuz konsept hakkında bilgiler vererek bu bölümü sonlandırıyoruz. Sonuç bölümünde ise yaptımız deneyler ve bunlardan elde ettiğimiz sonuçlardan bahsedilmektedir. Bu bölümde çalışmanın genel bir değerlendirilmesi yapılarak bir vargı elde edilmeye çalışılmıştır. Şuanda okumakta olduğunuz özet bölümünün ilerleyen kısımlarında, Fransızca olarak kaleme alınan bu raporun genel içeriğinin, kısa bir Türkçe özeti sunulmaya çalışılacaktır. x Beyin-Bilgisayar Arayüzleri temel olarak ; İnsan beyninin elektriksel aktivitesini ölçümler, elde ettiği verileri bilgisayar yardımıyla işler, bu işlemlerden bir sonuç elde eder ve son olarak duyusal yollardan geri bildirim yapılır. Bu dört temel aşama Şekil 2.1’de (Figure 2.1) incelenebilir. Genel olarak herhangi bir BBA’nün işlem sürecini biraz daha detaylandıralım. İnsan beyni yaklaşık olarak 85 milyar nöron adı verilen sinir hücresine sahiptir. Bu sinir hücrelerinin 24 milyarı bir kaç milimetre kalınlığındaki, beynin en üst katmanı olan serebral korteks içerisinde bulumaktadır. Bu katman farklı bölgeler için, bilişsel, motor, duyumsal vb. bir çok farklı süreci yönetmektedir. BBA’lerinin ölçümünü yaptığı elektriksel aktivite, genllikle serebral kortekse aittir. Belirli bir bölgeden, tek ya da bir grup nöronun aktivitesi, spesifik olarak ilgili süreçle ilişkilendirilebildiği gibi, genel aktivite frekans-zaman aralığında incelerek, bilişsel durumlara dair çıkarımlar yapmak mümkündür. Bu çalışma dahilinde bu konuların detaylarına girilmemiştir. Serebral korteksin aktivetesini ölçmek için birçok farklı yöntem bulunuyor. Bunlardan BBA domeninde en sık karşılatığımız elektroensefalografi (EEG) adı verilen, saç derisinin üzerine yerleştirilen elektrodlar vasıtasıyla potensiyel farklarını ölçmeye dayalı noninvazif (ensizyon gerektirmeyen) bir metod. Noninvazif olması uygulamada pratiklik sağladığından arayüz tasarımlarında en sık karşılaştığımız yöntem bu oluyor. Biz de bu çalışmada, Emotiv firmasının sunduğu, medikal alanda kullanılanların aksine çok daha ucuz bir çözüm olan "Emotiv EEG" başlığını kullanıyoruz. EEG haricinde, invazif, yani uygulanması için neşterli operasyon gerektiren serebral görüntüleme teknikleri de BBA tasarımları için kullanılmaktadır. Kolaylıkla tahmin edilebileceği gibi kortekse yaklaşıldıkça sinyalin kalitesi atarak, oluşturulan sistemleri daha kararlı kılmaktadır. Örneğin ; Elektrokortikografi (ECoG) adı verilen yöntem direk olarak serebral kortex üzerine yerleştirilen electrotlar yardımıyla veri toplar. Dış gürültü azaldığından sinyal kalitesi EEG’ye göre çok daha yüksektir, ancak uygulanması maliyetli ve deneyim gerektirir. Benzer şekilde serebral korteksin içerisine, tek ya da elektrot dizisi olarak yerleştirilen intrakortikal mikroelektrotlar yardımıyla toplanan veri de ECoG’a göre çok daha temiz iken, maliyet ve deneyim gereklilikleri yine artmaktadır. xi Ana sürecimize geri dönecek olursak, kayıt yapacağımız metodu seçip korteksin elektirik sinyallerini kaydettikten sonra, bu sinyalleri işleme aşamasına geliriz. BBA’lerinin sayısal işaret işlemeye dayalı bu sürecini 3 alt aşamada inceleyebiliriz ; Önişleme (Prétraitment) adımı elde edilen sinyalin gürültüden arındırılması adımıdır. Analog sinyal sayısallaştırılmadan önce çeşitli analog filtreler yardımıyla da bu işlemler gerçekleştirilebilir. Hatta gürültüyü kaynağına en yakın yerde temizlemek için, üzerlerinde elektronik devreler bulunan aktif elektrotların işlemleri de bu süreç altında değerlendirilebilir. Sinyal temizlendikten sonra Öznitelik Çıkarma (Feature Extraction) adımına gelinir. Bu adımın amacı elimizdeki sinyal içerisindeki, her hangi bir mental süreci en iyi şekilde represante eden verileri toplamaktır. Bu fazda ilgili mental süreci (task) betimleyen bir karakteristik vektör de oluşturulur. Bir sonraki adım sınıflandırma (Classification) adımıdır. Bu adımda bir önceki fazda elde ettiğimiz karakteristik vektörler yardımıyla deneğin her mental sürecine denk düşen bir sınıf oluşturulur. Diğer bir deyişle, ham sinyalimiz artık anlamlandırılmıştır. Bu proje dahilinde, Emotiv SDK tarafından sağlanan sinyal işleme alt yapısını kullanmaktayız. Emotiv, kaynak kodu kapalı olan, bu üç işlemi gerçekleştirdiği bir kütüphane sunuyor. Bu kütüphane bize sadece önceden belirlenmiş görevler (task) için sınıflandırılmış sonuçları döndürüyor. Bu yapı uygulama geliştirme sürecine çok büyük bir pratiklik katsa da, projenin sinyal işleme kısmının özünü, Emotiv sunmuş olduğu yapıyla sınırladırıyor. Buna karşın, Emotiv EEG başlığı ile sinyal işlenebilen platformlar da mevcut. Emotiv şirketinden bağımsız, açık ya da kapalı kaynak kodlu çalışan bu uygulamalar, sayısal işaret işlemede hem kolaylık hem de esneklik sağlayan bir çok araç içeriyor. Çalışmamızın bu aşamasını gereçekleştirmek için farklı araçları inceledik. Matlab üzerinde çalışan EEGLAB, g.BSanalyze gibi işlevsel uygulama platformları bulunuyor, ancak bunların bir kısmı paralı ve çoğunluğu offline çalıştığı için projemizde kullanmayı uygun bulmadık. Ayrıca bir Fransız ulusal araştırma kurumu olan INRIA (Türkiye’deki TUBİTAK’ın ben- xii zeri) tarafından geliştirilmiş "openvibe" adlı uygulamayı da çalışmamız dahilinde kullanmayı düşündük. Bu program hem Emotiv’in sağlayamadığı sınıflandırma, fitreleme algoritmalarının kullanımına olanak sağlıyor hem de modüler yapısı ve görselliğiyle Matlab karşısında uygulama kolaylığı sunuyor. Openvibe ile gelen ve BBA senaryolarında iskelet yapısı sıklıkla kullanılan, motor korteks üzerinden toplamda 10 adet elektrot ile veri toplayarak ve deneğin sağ ya da sol elinin hareketinin hayal etmesini baz alarak çalışan senaryoyu modifiye ederek kullanmayı düşündük. Ancak Emotiv EEG başlığında bulunan 14 eletrot, 10-20 standart elektrot yerleştirme sistemine göre sabit noktalarda bulunuyor ve ilgili senaryo için gerekli olan C1, . . . ,C6 ve FC3, FC6, CP3, CP4 pozisyonlarının hiç birinde elektrotu bulunmuyor. Sonuç olarak proje için zamanımız da kısıtlı olduğundan Emotiv SDK ve birlikte gelen uygulamalar ile çalışmayı uygun bulduk. Başta belirttiğimiz BBA tasarım sürecinin üçüncü adımına gelmiş bulunuyoruz. Bu noktada elimizde deneğin ilgili bilişsel süreci ile ilişkilendirilmiş, diğer bir deyişle klasifiye edilmiş sinyalimizi bulunuyor. Artık bu bilgiyi uygulamanın doğasına göre bir herhangi bir eyleme dönüştürebiliriz. Uygulama çeşitlerine örnek verecek olursak, ilk göze çarpan sanal klavye uygulamaları olur. Bu üçüncü adımı baz alarak konuştuğumuzda, sanal klavye uygulamalarında elimizde olan bilgi, bir kursorun direksiyon vektörlerinden biri olabilir ya da ekranda görülen klavyede yazılmak istenen harfe tekabül eden bir katar. Bu aşamada ne tarz bir bilgi elde edileceği ve bununla ne yapılacağı tamamen tasarımcının hayal gücüyle sınırlıdır. Örneğin bu uygulama felçli bir hastaya takılacak robot kol olabileceği gibi, deneysel bir çalışma için bir sıçanın somatosensöriyel korteksinde bir bıyığıyla (whisker) ilişkili alana da sinyal gönderen bir uygulama da olabilir. Yelpazedeki uygulama çeşitliliği istenildiği kadar genişletilebilir. Bu çalışmada Kondo KHR-3hv modelli, japon Kondo Kagaku firmasının ürettiği bir insansı robot kiti kullanılmıştır. Bu robot, üzerindeki 17 adet cervo motor sayesinde önceden tanımlanmış hareketleri yapabildiği gibi, birlikte gelen Heart2Heart yazılımı sayesinde yeni hareketler tasarlanarak seri port üzerinden robotun kontrol kartına (RCB-4hv) yüklenebilmektedir. Ayrıca robotun üzerinde 200 mhz arm işlemci ve bir kablosuz ağ kartı bulunan gömülü bir sistem (KCB-3wl) bulunmaktadır. Bu kart üzerinde hafif bir Linux işletim sistemi koşmaktadır. xiii Genel olarak, bir BBA tasarım sürecinin son aşaması, deneğe duyusal kanallardan geri bildirim yapılmasıdır. Böylelikle bir Beyin-Bilgisayar etkileşiminin döngüsü tamamlanmış olur. Bir önceki aşamada olduğu gibi uygulamanın türüne göre bu uyaran değişir. Örneğin bir sanal klavye uygulamasında geri dönüş (feedback) bilgisayar ekranına denek tarafından seçilmiş harfin bastırılarak gösterilmesi olurken, bir nöral protez olan "Cochlear Implant" için geri dönüş, kulak salyangozunda (cochlea) bulunan duyu hücrelerinin uyarılması olabilir. İşitme yetisini kaybeden hastaların işitmelerini sağlayan bu protezler BBA olarak sınıflandırılmasa da, bahsettiğim genel yapı kapsamında, etkileşimin yönü hariç, diğer gerçekleşen süreçler oldukça benzerdir. (Nöral protezler sinir sistemiyle bir arayüz sağlarken, BBA doğrudan beyinle sağlar.) Şimdiye kadar olan kısımda, kendi çalışmamızdan da örnekler vererek bir Beyin-Bilgisayar Arayüzü tasarımının kaba hatlarından bahsetmiş olduk. Projemizin konseptini tekrar genel olarak toparlayacak olursak ; Öncelikle Emotiv EEG Başlığı kullanarak denek üzerinden topladığımız kafatasının elektriksel aktivitesini, Emotivin kendi araçları yardımıyla bilgisayara aktarıyoruz. İlk aşamada denek robota, ya da bilgisayar ekranına bakarak, robotun yerinde duruduğunu, ileri ya da sola hareket ettiğini hayal ediyor. Bu işlem (training) süresince kaydettiğimiz sinyalleri "Emotiv Engine" sayesinde sınıflandırarak, her aksiyon için farklı bir sonuç cevabı üretiyoruz. Daha sonra bu bir byte’lık cevabı, Java ile Eclipse’de yazdığımız istemci program vasıtasıyla kablosuz ağ üzerinden robota gönderiyoruz. Bu sırada, halihazırda boot ettiğimiz robotun üzerinde C ile yazdığımız ve KCB-3wl gömülü sisteminin ARM işlemcisi için derlediğimiz sunucu programımız çalışmakta oluyor. İstemci program, sunucuya UDP protokolüyle, gerçek zamanlı olarak deneğin düşündüğü aksiyonların sınıflarını iletiyor. Sunucu program ise aldığı bu komutları, RCB-4hv kontrol kartının anlayacağı 2 byte’lık özel bir veri yapısına dönüştürerek bu karta iletiyor. Son olarak da, kontrol kartı deneğin zihninden o anda geçen hareketi gerçekleştirmek için ilgili servo motorlara güç ve yön bilgilerini gönderiyor. Bu çalışma kapsamında, Emotiv EEG Başlığını kullanarak Kondo KHR-3hv insansı robotunun kontrol edildiği bir Beyin-Bilgisayar Arayüzü gerçekleştirmiş olduk. xiv Robotun dökümantasyon dilinin genellikle japonca olması, konuyla ilgili yeteri kadar kaynak bulunmaması, KCB-3wl’nin işlemcisinin sadece VMware üzerinde koşan Japonca bir linux işletim sistemi üzerinde derlenebiliyor olması, insansı robota dair karşılaştımız sorunların bir kısmıdır. Bu sorunlar haricinde robotun işlevselliği ile ilgili bir sorunla karşılaşmadık. Japonca bilmeyen ve Kondo KHR-3hv ile çalışmak isteyenler için "google translate" yeterli katkıyı sağlamaktadır. Farklı deneklerle yaptımız testler sonucunda, Emotiv sisteminin, kullanan kişilere göre değişkenlik gösterdiğini söyleyebiliriz. Sistemin hassasiyet derecesi hakkında yaptığımız deneylerle tam bir sonuca varamadık. Buna karşın, deneğin hayal edeceği hareket sayısı arttıkça, mental durumlar arasında ayırım yapmanın zorlaştığını söyleyebiliriz. Sadece nötr, ileri ve sol komutlarıyla sistemi kullanan kişi, dördüncü durum (sağa hareket) sisteme eklendiğinde, mental durumlar arasındaki ayrımı yapmakta zorlanarak sistemi hassas bir biçimde kontrol edemedi. Bu çalışma, felçi hastaların düşünceleriyle kullanabilecekleri servis robotu geliştirmek için, Emotiv yazılım geliştirme araçlarının yeterli hassasiyete ve kullanıcıdan bağımsız çalışma yetkinliğine sahip olmadıklarını göstermektedir. xv 1 1 INTRODUCTION 1.1 OBJECTIVE ET MOTIVATION L’objectif général de ce projet, c’est comprendre des approches et des concepts générales sur les interfaces cerveau-machine et en un réaliser. Nous intéresserons plus précisément aux systèmes qui utilisent une technique basée sur l’acquisition des signaux des potentiels d’action qui sont produites par cortex cérébrale, s’appelle électroencéphalographie. La compréhension des méthodes numériques et des approches de traitement des signaux digitaux est une nécessité pour pourvoir réaliser ce projet, alors amélioration de ce type de connaissance était une cible aussi. Tout autour du monde, il y a beaucoup de patients paralysies souffrent de maladies comme la sclerose latérale amyotrophique (SLA), le locked-in syndrome (LIS), les dystrophies musculaires, les blessures de la moelle épinière etc. Ils ont perdu leur capacité à se déplacer, certains entre eux, même si à communiquer avec le monde extérieur. Alors, Il y a beaucoup d’efforts et de mains-d’oeuvre dépensés pour prendre soin de leur vie quotidienne. D’un jour à l’autre, les nouvelles technologies sont découvertes par des universités ou les centres de recherche individuels. Ceci déclenche la nécessité d’un processus d’adaptation de cette nouvelles technologies à notre vie habituelle. La force qui nous pousse, est la possibilité de faire une petite contribution à la domaine l’informatique médicale. 1.2 CONTOUR DU RAPPORT Vous pouvez voir la structure de ce rapport final ci-dessous ; Après cet introduction, en Chapitre 2, Nous essaierons d’expliquer brièvement les concepts 2 de IHM, les bases neurologique et les techniques générales d’imagerie cérébrale en accentuant électroencéphalographie. On parlera aussi de quelques plate-formes logicielles connues pour le traitment signaux. Dans la chapitre suivant, On parlera plutôt de notre étude. Nous présenterons des plateformes sur lesquelles on avait travaillé en critiquant les causes de choix. On expliquera la conception que nous avons désigné pour réaliser notre IHM. Finalement, nous raconterons des expériences conçues, annoncerons leurs résultats et nous conclurons de notre travail en critiquant les résultats obtenus dans les expériences. 3 2 INTERFACES CERVEAU-MACHINE Une interface cerveau-machine désigne (ICM) un système de liaison directe entre un cerveau et un ordinateur, permettant à un individu de communiquer avec son environnement sans passer par l’action des nerfs périphériques et des muscles. Ces systèmes ciblent en premier lieu le domaine médical et principalement pour les patients handicapé. Le domaine de l’ICM est en liason avec les axes de recherche comme le traitement de signal, l’informatique, les neurosciences, la robotique etc. Vous pouvez voir le schéma général du fonctionnement d’une ICM ci-dessous.(Trad, 2012) (cf.figure 2.1) F IGURE 2.1 – Schéma général du fonctionnement d’une ICM Si nous voulons éxpliquer brièvement ces phases ; • Mesure de l’activité cérébrale : Il existe plusieurs techniques pour mesurer des activités électrique de cérébral cortex. Dans la cadre de notre travail on utilisera EEG. • Prétraitement des données : les signaux EEG étant réputés pour leurs bruits, l’étape de prétraitement est donc essentiel pour nettoyer les signaux de tout parasite. • Extraction de caractéristiques : Le but de cette étape est de garder les informations les plus appropriés qui représentent une tâche mentale dans un signal. Cette phase permet de construire un vecteur caractéristique représentatif de cette tâche. 4 • Classification : La classification des signaux est réalisée sur les vecteurs caractéristiques déjà définis à l’étape précédente. Cette étape consiste à allouer une classe à chaque tâche mentale du sujet. • Traduction en commande : Quand nous classifions les signaux, il faut la traduire en une commande bas niveau afin de contrôler un système comme par exemple contrôler une prothèse ou déplacer dans un environnement virtuel. Dans la cadre de notre projet, ça sera un robot humanoïde. • Feedback : Cette dernière phase consiste à renvoyer au sujet un retour soit par une information visuelle ou sonore sur la tâche mentale effectuée. 2.1 CERVEAU HUMAIN Le cerveau est le principal organe du système nerveux des animaux. Chez les vertébrés, il est situe dans la tête, protégé par le crâne, et son volume diversifie d’une espèce à l’autre. Le cerveau humain a la même structure générale que le cerveau des autres mammifères et il est responsable de réguler les autres systèmes d’organes du corps, en agissant sur les muscles ou les glandes, et d’effectuer des fonctions cognitives. F IGURE 2.2 – Le Cerveau humain Le cerveau humain est peut-être un des plus complexe structure dans la nature d’homme qu’on a pas pu arriver de résoudre son mystère. Il a environ 85milliard de neurones et 24milliard de ce montant se trouve dans le cortex cérébral (Carter, 2009). On sait qu’un neurone a environ 10 mille synapse pour pourvoir connecter avec des autres, ça veut dire 5 un homme adulte a environ 10 14 synapse alors le nombre des connexions possibles entre des neurones dans le cerveau humain incroyeblement énorme. Comme il est impossible et aussi inutile de parler tous les sous-systèmes de cerveau humain dans le cadre de notre projet, nous essayons de vous expliquer quelques notions nécessites de base de cerveau humain ci-dessous. 2.1.1 Système Nerveux Central Le système nerveux central (SNC) est formé de milliards de neurones connectés entre eux et d’un tissu de soutien interstitiel. Il est constitué de l’encéphale (cerveau, cervelet, tronc cérébral) protégé par le crâne, et de la moelle spinale, long cordon blanchâtre d’environ 40 à 45 centimètres logé dans la colonne vertébrale.(voir la figure 2.2). F IGURE 2.3 – Système nerveux central SNC est responsable de la transmission de l’information dans le corps et de la coordination des mouvements. Cette conjoncture nécessite un espace pour des application des IHM’s. Quand il n’y avait pas une possibilité de guérir un maladie adéquat au système nerveux, on a besoin les remplacements qui peuvent mimer le système original. Quelqu’un qui a perdu sa ouïe peut commencer à entendre avec l’aide des implants cochléaires. Dans 6 un future proche, même les personnes paralysés peuvent avoir de la chance d’utiliser les bras robotique (Hochberg et al., 2012) ou des avatars virtuels. 2.1.2 Neurones Le neurone est l’unité fonctionnelle et fondamentale du système nerveux. Sa configuration cellulaire spécifique le rend capable de générer, de transmettre et de recevoir des informations sous forme de signaux électriques. Le neurone est constitué de quatre grandes régions : le corps cellulaire, ou soma, les dendrites, les axones et les terminaisons présynaptiques (cf. figure 2.3). Chacune de ces différentes régions joue un rôle bien défini dans l’initiation et le transport de l’information (Carter, 2009). F IGURE 2.4 – Un neurone Au point de vu fonctionnel, il faut considérer le neurone comme une entité polarisée, c’est-à-dire que l’information ne se transmet que dans un seul sens : des dendrites vers l’axone. Le neurone va donc recevoir des informations, venant d’autres neurones, grâce à ses dendrites. Il va ensuite y avoir sommation, au niveau du corps cellulaire, de toutes ces informations et via un potentiel d’action (un signal électrique) le résultat de l’analyse 7 va transiter le long de l’axone jusqu’aux terminaisons synaptiques. A cet endroit, lors de l’arrivée du signal, des vésicules synaptiques vont venir fusionner avec la membrane cellulaire, ce qui va permettre la libération des neurotransmetteurs (médiateurs chimiques) dans la fente synaptique. Le signal électrique ne pouvant pas passer la synapse (dans la cas d’une synapse chimique), les neurotransmetteurs permettent donc le passage des informations, d’un neurone à un autre. F IGURE 2.5 – Potentiel d’Action On peut dire aussi que le potentiel d’action est une brusque modification du potentiel de repos. C’est un phénomène électrique qui naît suite à une stimulation électrique de la cellule. Ce phénomène nous aide de construire les ICM’s en enregistrant les potentiel d’action des groupes des neurones. Vous pouvez voir son quatre phases ci-dessous ;(cf. figure 2.5) • la Dépolarisation - La stimulation provoque l’ouverture des canaux à sodium. Les ions Na+ traversent de façon passive ces canaux, et pénètrent dans la cellule.La face externe de la membrane devient alors électronégative, et la face interne devient électropositive. • le Repolarisation - Les canaux à sodium se ferment, donc le sodium ne rentre plus. Les canaux à potassium s’ouvrent : les ions K+ sortent pour compenser l’entrée de Na+. La face externe de la membrane redevient alors électropositive, et la face interne redevient électronégative : la membrane est à nouveau polarisée. • l’Hyperpolarisation - Les canaux à potassium restent ouverts. Les ions K+ continuent 8 (a) Dépolarisation (b) Repolarisation (c) Hyperpolarisation (d) Retour de repos F IGURE 2.6 – Les phases du potentiel d’action à sortir de la cellule. La face externe de la membrane devient alors hyperpositive, et la face interne devient hypernégative. • le Retour au potentiel de repos - Le rétablissement de l’état initial est actif. 2.1.3 Cortex Cérébral Le cortex correspond à la partie recouvrant certains organes. Le cortex cérébral est un tissu organique aussi appelée substance grise, recouvrant les deux hémisphères du cerveau sur une épaisseur de quelques millimètres. Le cortex cérébral est composé de différentes couches, plus ou moins nombreuses selon la région de l’hémisphère recouverte. Le cortex cérébral règne sur ce qu’on nomme les « fonctions nerveuses élaborées » et est regroupé en aires ayant des fonctions différentes notamment sensorielles, motrices et d’association. Le cortex cérébral participe à de nombreuses fonctions cognitives notamment entre autres, certains sens, le langage, les actions volontaires de la motricité et la mémoire.(cf. figure 2.6) F IGURE 2.7 – Cortex cérébral 9 2.1.3.1 Rythme Cérébral Un rythme cérébral désigne une oscillation électromagnétique dans une bande de fréquences donnée résultant de l’activité électrique cohérente d’un grand nombre de neurones du cerveau telle qu’on peut l’observer en électroencéphalographie (EEG). Ces ondes sont de très faible amplitude, elles sont de l’ordre du microVolt (chez l’être humain) et ne suivent pas toujours une sinusoïde régulière. Les caractéristiques des rythmes cérébraux dépendent de l’état psychologique et, le cas échéant, pathologique de la personne chez qui on les enregistre. Ainsi, l’enregistrement de l’activité rythmique cérébrale permet d’étudier les phases du sommeil ou de caractériser des maladies neurologiques, telles que l’épilepsie. Les activités électriques cérébrales rythmiques sont classées selon leur fréquence cidesous ; (cf. figure 2.7) • Alpha : fréquences comprises entre 8.5 et 12 Hz. Elles caractérisent un état de conscience apaisé, et sont principalement émises lorsque le sujet a les yeux fermés. • Beta : correspond aux fréquences supérieures à 12 Hz (et généralement inférieures à 45 Hz). Elle apparaissent en période d’activité intense, de concentration ou d’anxiété. • Gamma : les fréquences supérieures à 24 Hz, généralement d’environ 40 Hz. Elles ont été récemment impliquées dans les processus de liage perceptif. • Delta : fréquences jusqu’à 4 Hz, normales chez le très jeune enfant, elles peuvent ensuite caractériser certaines lésions cérébrales. • Thêta : fréquences entre 4.5 et 8 Hz. On les observe principalement chez l’enfant, l’adolescent et le jeune adulte. Elles caractérisent également certains états de somnolence ou d’hypnose, ainsi que lors de la mémorisation d’information. • Fuseaux : trains d’ondes comprises entre 12 et 16 Hz, caractéristiques de la phase de sommeil léger. Également reliés aux ondes SMR (Sensory Motor Rhythm). 10 (a) Ondes alpha (b) Ondes beta (c) Ondes gamma (d) Ondes delta (e) Ondes theta (f) Ondes fuseaux F IGURE 2.8 – Les Rythmes Cérébrals 2.1.3.2 Potentiel évoqué Un potentiel évoqué (EP) désigne la modification du potentiel électrique produite par le système nerveux en réponse à une stimulation externe, notamment sensorielle (un son, une image, etc.) mais aussi à un événement interne, notamment une activité cognitive (attention, préparation motrice, etc.). Les potentiels évoqués peuvent enregistrés par EEG ou MEG et ils sont utilisés en neurophysiologie humaine et animale pour comprendre l’organisation fonctionnelle du système nerveux dans la recherche en neurosciences. Ils sont aussi utilisable pour des IHM’s (Fazel-Rezai and Ahmad, 2011). Ces signaux électriques étant en général très faibles (de l’ordre du micro-Volt), il est souvent nécessaire de répéter l’enregistrement un grand nombre de fois de façon à moyenner toutes ces mesures pour augmenter le rapport signal sur bruit et obtenir une caractérisation fiable du potentiel évoqué. Le potentiel peut alors être décrit par différents paramètres comme son amplitude, sa latence, etc. le plus connu potentiel évoqué utilisé dans la domaine IHM s’appelle P300. Ici, le lettre "P" signifie que c’est une onde d’amplitude positive, et "300" sous-entend qu’elle apparait 300 ms après le début d’une stimulation. Dans la plupart des cas, cet EP est acquis par EEG. La procédure à partir de laquelle l’onde P300 est la plus souvent étudiée est le paradigme oddball. On présente au sujet au moins 2 stimuli différents, l’un est l’item 11 non-cible (qui apparait fréquemment), l’autre constitue l’item cible (son apparition est plus rare et demande une réaction de la part du sujet), mais il peut également y avoir un item distracteur (qui est peu fréquent et qui interfère avec l’item cible). Le fait que l’item cible soit rare et qu’il implique une réponse de P300. Ce paradigme utilisé à réaliser des claviers virtuels pour des personnes paralysés dans le cadre de ICM.(Sellers and Donchin, 2006) 2.2 IMAGERIE CEREBRALE L’imagerie cérébrale (dite aussi neuro-imagerie) désigne l’ensemble des techniques issues de l’imagerie médicale qui permettent d’observer le cerveau, en particulier lorsqu’un individu exécute une tâche cognitive. Il existe de nombreuses techniques pour mesurer l’activité cérébrale. Les techniques plutôt intéressantes dans le contexte des IHM sont la magnétoencéphalographie (MEG), l’électroencéphalographie (EEG), l’électrocorticographie (EcoG) et le mésurement d’activité par une chaîne des intracorticaux microélectrodes(ou une seule microélectrode) (Çağlayan, 2014) . • EEG - C’est la mesure de l’activité électrique du cerveau par des électrodes placées sur le cuir chevelu. Vous pouvez voir les détailles de ce technique en 2.2 • EcoG - C’est une technique similaire à EEG qui mesure l’activité électrique avec des électrodes implantées cet fois sous la surface du crâne, directement au niveau du cortex cérébral. C’est une technique partiellement invasive qui fournit une meilleure résolution spatiale et un meilleur rapport signal sur bruit (en ang. SNR) que l’EEG. • MEG - Cette technique est utilisée pour mesurer des champs magnétiques induits par l’activité électrique du cerveau par l’intermédiaire des appareils extrêmement sensibles comme le Superconducting Quantum Interference Device (SQUID). MEG fournit une bonne résolution spatio-temporelle mais nécessite l’utilisation d’une chambre à blindage magnétique. • Intracortical Microélectrode - Le but principal de ces électrodes est d’enregistrer un signal très précis, en s’appuyant sur l’activité de quelques neurones uniquement (en ang, single-unit activity). Ce type d’électrode est très peu utilisé, car il nécessite une 12 opération chirurgicale lourde afin d’implanter l’électrode dans une des régions du cortex. Vous pouvez voir une des plus connu chaine des intracorticaus microélectrodes utilisé pour IHM s’appelle UTAH ci-dessous (cf. figure 2.11). Récemment, ces microélectrodes ont été utilisé pour réaliser une IHM qui permet à contrôler un bras robotique par une patient paralysée. (Hochberg et al., 2012) • fNIRS - Il y’a aussi des travaux sur IHM avec une méthode s’appelle fNIRS qui est l’application à l’imagerie cérébrale de la spectroscopie proche infrarouge. Cette technique consiste à mesurer de l’oxygénation d’une zone du cerveau afin d’en déduire son activité (Zimmermann et al., 2013). F IGURE 2.9 – La Schema de la Chaîne des Intracorticaux Microélectrodes de UTAH Bien que chacune des méthodes d’imagerie mentionnés avant peut être utilisé pour un système IHM, EEG surpasse les autres méthodes grâce à sa haute résolution temporelle, la portabilité, non-invasif et peu coûteux. Le reste de ce travail sera uniquement axé sur les systèmes IHM non-invasif basés EEG. Vous pouvez voir la comparaison les méthodes sur le tableau ci-dessous(cf. table 2.1). 2.3 ELECTROENCEPHALOGRAPHIE L’électroencéphalographie (EEG) est une méthode d’exploration cérébrale qui mesure l’activité électrique du cortex cérébral par des électrodes placées sur le crâne. En 1875, Richard Caton a découvert activité électrique de cerveau dans les animaux, mais l’histoire d’électroencéphalographie des humains est commencé à se dessiner à la fin des 13 TABLE 2.1 – Comparison des Méthodes d’Imagerie Cérébrale (Nicolas-Alonso and Gomez-Gil, 2012) Methode Temporal Resolution Temporelle Technique Activité Portabilité Resolution EEG ~0.05s ~10mm Non-invasive Electrique Portable MEG ~0.05s ~5mm Non-invasive Magnetique Unportable ECoG ~0.003s ~1mm Invasive Electrique Portable Intracortical ~0.003s ~0.05mm - 0.5mm Invasive Electrique Portable fMRI ~1s ~1mm Non-invasive Hemodynamique Unportable fNIRS ~1s ~5mm Non-invasive Hemodynamique Portable années 1920’s, quand les premiers enregistrement de EEG du crâne humain est acquis par le psychiatre Allemand Hans Berger (Wozniak-Kwasniewska, 2013). Dans les années 1950’s, son technique a commencé à utiliser dans neurochirurgie, neurologie et sciences cognitives. Le principe de fonctionnement de EEG est base sur des différences potentiels sur les différents régions du cortex cérébral. nous mesurons ces différences potentiels en disposant sur l’ensemble du cuir chevelu de 10 à 20 électrodes, petites plaques métalliques reliées par des fils à l’appareil d’enregistrement. Celui-ci mesure le potentiel électrique détecté par chaque électrode et compare les électrodes deux à deux, chaque comparaison se traduisant par un tracé appelé dérivation. La réactivité électroencéphalographique est évaluée au moyen d’épreuves simples : ouverture des yeux, hyperpnée (respiration ample et lente), stimulation lumineuse intermittente obtenue grâce à des éclairs lumineux brefs et intenses dont la fréquence est progressivement croissante. Dans nos jours, la technique EEG est utilisé souvent pour des applications d’ICM car elle n’a pas besoin la chirurgie et même si les solutions professionnelles sont déjà cher, il existe aussi des systèmes EEG commercialisés ne sont pas trop cher.(Çağlayan, 2014) Dans les parties suivantes, on parlera des types des électrodes, puis de la localisation des électrodes et finalement les plate-forme logicielles pour le traitement signaux acquis par 14 EEG. 2.3.1 Les Electrodes En EEG, les capteurs sont des électrodes de quelques millimètres de rayon qui enregistrent les variations de potentiels électriques. 2.3.1.1 Types des électrodes Il existe essentiellement deux types d’électrodes utilisées pour l’enregistrement EEG : électrodes passives et actives des électrodes. Électrodes passives sont de petits disques métalliques généralement en étain, d’or, d’argent ou de chlorure d’argent (Ag / AgCl) reliée à un amplificateur par l’intermédiaire de fils électriques. Le signal acquis est ensuite amplifié dans le circuit d’amplification externe. Comme les signaux du cerveau acquis par le cuir chevelu ont des amplitudes comprises entre 10-100uV, sources de bruit d’amplitude plus élevés, comme les mouvements de tête, les facteurs environnementaux et le bruit de ligne électrique (Un signal fréquence 50 ou 60 Hz en fonction du pays) ont le risque de brouiller les signaux comme leurs amplitudes deviennent encore plus après amplification. Pour éviter ce problème, autant que possibles, les câbles d’électrodes doivent être courts, blindé et fixe. Électrodes actives utilisent un petit circuit intégré pour amplifier les signaux avant la transmission a lieu . Les signaux du cerveau préamplifiés sont donc plus robuste contre les sources de bruit externes mentionnés ci-dessus étant donné que les bruits additifs ne sont pas préamplifiés. 2.3.1.2 Localisation des électrodes Les électrodes peuvent être insérées dans un bonnet élastique ou bien ils peuvent fixe sur un casque. (cf. figure 2.9) Le tissu et les électrodes forment un bonnet qui est disposé sur la tête du sujet. Ces électrodes sont en argent chloruré et un gel conducteur est ajouté pour assurer une bonne conduction entre 15 (a) Un bonnet élastique EEG (b) Un casque EEG F IGURE 2.10 – Placement des électrodes l’électrode et le scalp. Elles sont disposées selon le système standard international 10-20 de placement des électrodes (cf. figure 2.10) 2.3.2 Plate-formes Logicielles Il y a plusieurs plate-formes sur laquelle il est possible d’étudier avec des données brutes collectés en temps réel ou hors ligne par des système EEG. On essaye d’expliquer brièvement quelques logiciels connus dans la domaine d’interface machine-humaine en accentuant des côtés pour et des côtés contre ci-dessous ; • BioSig BioSig est une bibliothèque logiciel de code source ouvert pour le traitement de signaux biomédical, caractérisé pour les analyses de bio-signaux comme par exemple électroencéphalogramme (EEG), électrocorticogramme (ECog), électrocardiogramme (ECG), électrooculogramme (EOG), électromyogramme (EMG). – (pour) il est utilisable sur matlab comme un toolbox et il donne beaucoup des facilités pour traitment de signaux avec ses algorithmes de ’feature extraction’ et ses méthodes de classification. – (contre) il n’est pas utilisable en temps réel. • BCI2000 BCI2000 est une système à l’usage générale pour la recherche IHM. Il peut aussi 16 F IGURE 2.11 – Le système standard international 10-20 utiliser pour l’acquisition des donnes, la présentation de stimulus et des application de surveillance du cerveau. – (pour) il est un logiciel de code source ouvert. – (pour) il appuie la langue c++ – (contre) la partie du traitement de signaux n’est pas très forte, il manque des algorithmes de traitement de signaux et d’apprentissage machine. • OpenVibe OpenViBE est le premier projet français multipartenaires sur les interfaces cerveauordinateur financé par l’Agence Nationale de la Recherche. Il permet de concevoir, tester et utiliser facilement des interfaces cerveau-ordinateur. Il offre un outil simple d’accès et d’utilisation, qui s’adresse aussi bien à un public de chercheurs que de cliniciens ou encore de développeurs de jeux vidéo. – (pour) il est un logiciel de code source ouvert. 17 – (pour) il est facile à utiliser à cause de son modularité et son visualité. – (contre) il est difficile d’étendre ce qu’il était déjà fait dans ces modules, il est crée plutôt pour les non-programmeurs. • g.BSanalyze g.BSanalyze est un environnement interactif pour les traitements et les analyses des donnes de multimodale biosignal dans le domaine de la recherche clinique et du science de la vie.Il est un third-party product qui marche sur matlab. – (pour) il a un paquet extensive pour biosignal analyses avec les outils très modulaire. – (contre) il est commercial. – (contre) il ne marche que offline. • EEGLAB EEGLAB est une matlab toolbox très connue pour le traitement des signaux. – (pour) Sa documentation est très bonne et large. – (pour) il est un logiciel de code source ouvert. – (contre) il faut être trop bien en codage sur matlab pour un usage compétent. 18 3 REALISATION DE NOTRE INTERFACE Dans ce troisième chapitre, nous parlerons de notre projet en expliquant les matériaux que nous avons utilisé et la conception. Tout d’abord, nous raconterons les spécifications de matériaux utilisés en citant les points importants de les choisir. Finalement, nous conceptualiserons de notre projet en utilisant les méthodes d’IHM racontées dans la deuxième partie et les matériaux racontés dans la partie actuelle. 3.1 MATERIAUX Dans cette partie, nous allons raconter les matériaux utilisés pour réaliser notre projet. Premièrement, nous expliquerons le système EEG que nous utilisons en parlants de son matériel et son logiciels. Deuxièmement, nous parlerons des notre robot humanoïde, et finalement, nous raconterons les autres matériels additionnels nécessites pour notre système. 3.1.1 Emotiv EEG Nous avons décidé de travailler avec le casque Emotiv EEG. D’abord, c’était un des casques qu’on a déjà dans notre laboratoire et puis il est très connue dans la société de ICH. C’est pour ça qu’il y avait beaucoup de documentation et des projets ce qu’on peut examiner. Il acquise les signaux par ses électrodes secs avec lesquels nous ne devons pas utiliser les gels spéciaux produit pour conductivité, alors leurs utilisation devient plus vite que les anciens type d’électrodes. C’était un des plus décisif raison pour nous. (cf. figure 3.1 ) Le casque EEG de Emotiv mesure un électroencéphalogramme multi-canal pour la recherche, ce qui permet une large gamme d’applications en-dehors de la domaine ICM 19 F IGURE 3.1 – Le Casque Emotiv aussi, comme la neurologie, le biofeedback etc. Ce casque se connecte sans fil à un PC. Les 14 noms de canaux EEG basés sur les 10-20 emplacements internationaux sont les suivants : AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4. Si nous listons les caractéristiques du casque ; • Conception d’édition limitée • 14 canaux EEG offrent par leur positionnement optimal une résolution spatiale précise • Le gyroscope génère des informations de position optimale pour le curseur et la caméra de contrôle • Haute-performance sans fil pour une autonomie totale de mouvement • Le dongle ou récepteur est compatible USB et ne nécessite pas de pilotes personnalisés • La batterie au lithium fournit 12 heures d’utilisation continue Les signaux détectés par le casque EEG de Emotiv est apparues en 3 catégories subdivisées ; • L’expression - Les signaux mesurés par le casque permettent de surveiller les expressions faciales des joueurs en temps réel. Quand un utilisateur sourit, leur avatar peut imiter l’expression avant même qu’ils soient conscients de leurs propres sentiments. • L’affection - Le casque surveille les états émotionnels des utilisateurs en temps réel. Nous accédons ainsi à l’état d’esprit de l’utilisateur, sur la façon dont les gens réagissent 20 et ce qu’ils pensent du matériau ou stimuli qui leur est présenté. Il obtien la rétroaction en temps réel sur le plaisir de l’utilisateur et son niveau d’engagement, de fatigue ou de concentration. • Le cognitif - le casque lit et interprète les pensées et les intentions conscientes de l’utilisateur. Les utilisateurs peuvent manipuler des objets virtuels en utilisant seulement la puissance de leur pensée. 3.1.1.1 Emotiv SDK C’est un kit de développement commercialisé par Emotiv. General propose de ce kit est d’aider à des développeurs qui vont créer des applications jeux-video controllé par le casque EEG et distribué par le magasin en ligne de Emotiv. Il existe aussi une édition de recherche pour des chercheurs et des scientifiques qui veulent travailler avec le même casque, Emotiv Epoc EEG. Il existe des logiciels viennent avec Emotiv Systems, Nous avons testé Emotiv Control Panel, EmoKey et EmoComposer.(cf. figure 3.2) En les utilisant, nous avons réussi à renvoyer des chaînes de caractères spéciales par chaques différents états du cerveau du sujet d’exprimant qui sont déjà entraînés avant l’expériences avec le logiciel Control Panel. Vous pouvez voir l’écran adéquat à l’entraînement du cerveau pour des tâches particuliers comme les mouvements sur un direction. Avec cet entraînement, on crée une liaison pour chaque état cognitif du cerveau avec une tâche particulier. Le logiciel EmoKey est permet de renvoyer des chaînes de caractères lié avec un état cognitif déjà entraîné. Ceci nous donne une grosse facilité pour réaliser la partie du traitement de signaux de notre projet. Cependant, comme nous seront des ingénieurs d’informatique, il faut mieux utiliser le bibliothèque (EDK.dll) dans notre interface à lieu des données fourni à travers sur EmoKey. 21 (a) EmoKey (b) Control Panel F IGURE 3.2 – Les écrans des logiciels d’Emotiv 3.1.2 Kondo KHR-3hv Nous avons utilisé le kit de robot humanoïde autonome KHR -3hv fabriqué par l’entreprise japonais, Kondo Kagaku. Nous n’avons pas perdu beaucoup de temps pour la décision du robot humanoïde. Comme nous avons déjà un kit de Kondo KHR-3HV dans notre laboratoire et comme il n’y a pas une grande différence entre les autres robots humanoïdes dans le cadre de notre projet, alors nous y avions déjà décidé même avant commencer à étudier sur le projet. Ce kit comprend toutes les pièces à assembler et un logiciel pour programmer leurs mouvements, s’appelle Heart2Heart.Il mesure 40 cm de haut pour un poids de 1,5 Kg. Il dispose d’un port USB et d’une batterie au nickel de 10,8 V pour 800 mAh. Il fonctionne avec 17 servos digitaux avec des roulements pignons métalliques. Les servos sont connectés en séries ce qui évite les câbles partout. C’est un kit avec une combinaison des pièces en plastique composite avec des pièces en aluminium. Il ne s’agit pas d’un robot télécommandé, il faut le programmer avec le logiciel afin qu’il réalise les actions prévues. (cf. figure 3.3) Il est équipé d’un micro-contrôleur plus puissant, le RCB-4HV qui contrôle jusqu’à 35 servomoteurs en série compatible avec le protocole servomoteur CS3.0 (en série) et un large gamma d’éléments optionnels. Cette carte comprend également plusieurs ports d’extension (10x A/D et 10x PIO) qui permettent l’utilisation d’un large choix de capteurs et 22 (a) le Kit (b) Intégré F IGURE 3.3 – Kondo KHR-3hv d’options d’extensions. 3.1.2.1 Carte wifi KCB-3WL Nous avons utilisé un micro contrôleur s’appelle KCB-3WL pour communiquer avec la carte contrôle (RCB-4HV) de robot humanoïde (cf. figure 3.4). Ce micro contrôleur viens avec une microprocesseur basé sur ARM. Ce carte est distribué par le même entreprise, Kondo Kogaku, c’est pour ça que nous avons pas rencontre avec une problème basé sur matériel. Cependant nous avions des difficulté quand on avons essayé de compiler un programme pour lui contrôler. C’est micro contrôleur de wifi viens avec un linux image pour VMware sur lequel il existe un compilateur pour son ARM CPU. Néanmoins, cet image est japonais comme tous ses autres documents aussi. C’est vraiment trop difficile de trouver la documentation en anglais ou français pour des produits de Kondo Kogagu. Vous pouvez voir quelque spécification de KCB-3WL ci-dessous ; • Taille : 49.2 x 52 x 12 mm • CPU : SAMSUNG ARMbase32bit CPU 200MHz • Memoire : RAM 16MByte, Flash ROM 8MByte • Interface de WiFi : IEEE802.11a/b/g(54Mbps/11Mbps) 23 F IGURE 3.4 – Carte wifi KCB-3WL • Port USB : USB1.1 x1, Full Speed (12Mbps), 500mA de port USB • Port GPIO : x 12 • LED de Statut : x 3 • Source de courant : 16 V ( for HV), au-dedans 5 V et 3.3 V, 240 mA 1A. • SE : Linux OS 3.1.2.2 Heart2Heart Le kit de Kondo viens avec un logiciel, s’appelle Heart2Heart. Ce logiciel marche seulement sur Windows et il donne les possibilités de programmer le humanoïde robot. Nous avons des difficultés à cause de son langue japonais mais nous avons arrivé à programmer les moteurs cervo. Nous avons aussi réussi de modifier les mouvements prédéfinis et de mettre sur la mémoire de la carte RCB-4HV. Il n’est possible que de connecter sur les ports séries avec Heart2Heart. Le logiciel permet de créer des nouveaux mouvements en changeant la force et la direction de la force qui enverra à les cervos. Plusieurs mouvements prédéfinis sont venus avec le logiciel aussi. Vous pouvez voir un exemple son écran ci-dessous. (cf. figure 3.5) 24 F IGURE 3.5 – Un écran de Heart2Heart 3.1.3 l’Autres Matériels Additionnels Nous avons travaillé sur Windows 7 64-bit car Heart2Heart marche seulement sur cette plate-forme et nous ne voulons pas aussi avoir des problèmes comptabilité avec les programmes de Emotiv SDK. On l’avez utilisé sur bootcamp dans un portable MacBook Pro. On avez des problèmes de connecter à la carte wifi KCB-3wl à cause des régulations de sécurité du réseau de l’université. Donc nous avons décidé d’utiliser un routeur wifi ADSL de D-Link. 3.2 CONCEPTION Notre méthode de création du IHM commencé par l’acquisition des signaux en avec l’aide de Emotiv SDK, continué par l’interprétation de ces signaux avec l’interface et finalisé par la transmission les ordres au robot pour qu’il les actionne. Nous pouvons essayer d’expliquer le système un peu plus précisément avec les schéma ci- dessous (voir les figures 3.6 et 3.7). Premièrement, on commence avec un entraînement du système en utilisant une espace crée spécifiquement pour cette raison (voir la figure 4.6). Ici, on acquis les signaux potentiels d’action crée par le cerveau d’un/une sujet en utilisant le casque 25 Emotiv EEG pour trainer notre système. Tandis que nous demandons le sujet qu’il pense à une action comme "tourner à gauche" ou "marche arrière" etc. en regardent le robot humanoïde qui est situé au milieu de l’espace d’entraînement, le système va classifier ces potentiels d’action avec des algorithmes contenus dans Emotiv API. F IGURE 3.6 – Le schema qui montre l’entraînement du système Vous pouvez comprendre comment le système marchera en regardant le schéma général (voir la figure 3.7). Ici, on voit le même processus qu’on a déjà vu dans l’étape d’entraînement du système sauf que maintenant on utilise les signaux classifiés pour contrôler le robot humanoïde Kondo KHR-3hv. Si nous détaillons ces étapes de notre concept ; 1 Ce premier étape consiste à l’acquisition de signaux et leurs transmission à travers du casque EEG à Emotiv API. Emotiv SDK est totalement responsable de fournir des nécessites de cet étape. 2 Une fois la connexion établie, alors on peut avoir les donnés à travers une structure s’appelle "EMO ENGINE". Dans notre travaux on a utilisé deux programmes, "EmoKey" 26 et "Control Panel" pour pourvoir classifier les signaux et avoir les données signicatives qui seront utilisables en notre interface in Eclipse environnement. 3 Nous avons crée notre interface en Eclipse environnement en utilisant Java. Nous avions des difficultés d’utiliser les méthodes dans SDK avec "Java Wrapper", comme nous avons mentionné étape précèdent , on avait choisi de utilisé les programmes fournis par Emotiv. Cependant cet projet peut améliorer en immigrant C++ et MS Visual Studio. Quand nous avions une donnée à notre interface, nous créons une chaîne d’un octet adéquat à la pensée courante. Puis nous ouvrons des sockets pour le protocole d’UDP et nous envoyons cet octet à KCB-3wl sans fil. 4 Nous avons programmé un serveur en langue C qui marche sur KCB-3wl. Une fois le paquet envoyer sans fil en troisième étape, alors notre server reçoit cet octet, il le convertit à une chaîne de 16 bits pour que la carte contrôle (RCB-4HV) de humanoïde robot peut comprendre son signification. Quand elle le sais, il reste à adresser les forces lesquelles nous avions défini avant avec le logicielle Heart2Heart, à des moteurs cervos adéquats. Finalement, notre sujet voit que le robot humanoïde fait le mouvement qu’il avait pensée. 27 F IGURE 3.7 – Le schéma général du système 28 4 CONCLUSION Dans le contexte de ce projet, nous sommes arrivé à réaliser un Interface Homme-Machine pour contrôler le robot humanoïde, Kondo KHR-3hv, en utilisant le casque EEG de Emotiv. La langue de documentation du robot a réduit notre vitesse. la compilateur pour le CPU de sa carte wifi est plate-forme dépendent, on peut compiler juste sur un image SE de Linux en Japonais sur VMware. En dehors de japonais, les codes principales viens avec sa carte wifi est difficile de déboguer, il existe des erreurs alors il faut faire attention à des versions, à des structures des bits dans les octets des messages. Si vous ne parlez pas japonais, "google translate" est trop utile. Une fois vous comprenez son mécanisme, le robot marche sans problème. En faisant des test avec différentes sujet, nous avons vu que le système Emotiv trop dépendent à personne. Nous ne pouvons pas conclure un résultat juste à propos de la précision d’utilisation. Néanmoins, nous pouvons dire que quand on augmente le nombre de possibilité pu capturer par le casque, autrement dire, le nombre des directions que les sujets peuvent penser, la possibilité de faire distinction entre les pensées des actions devient plus difficiles. Nous avons vu qu’un sujet contrôle le robot pour trois possibilité action ("état neutre", "tournée à gauche", "marche en avant") très précisément, cependant, quand nous avons ajouté l’action "tournée à droit", le même sujet était pas capable de contrôler le robot. Ce travail nous montre que aujourd’hui c’est difficile de créer une IHM avec la précision pour un robot de service pour des patients paralysés en utilisant les outils de développement d’Emotiv. Références Carter, R. (2009). The Human Brain Book. Dorling Kindersley. Fazel-Rezai, R. and Ahmad, W. (2011). P300-based brain-computer interface paradigm design. Master’s thesis, University of North Dakota. Hochberg, L. R., Bacher, D., Jarosiewicz, B., Masse, N. Y., Simeral, J. D., Vogel, J., Haddadin, S., Liu, J., Cash, S. S., van der Smagt, P., and Donoghue, J. P. (2012). Reach and grasp by people with tetraplegia using a neurally controlled robotic arm. Nature 485(7398) :372-5. doi : 10.1038/nature11076. Nicolas-Alonso, L. F. and Gomez-Gil, J. (2012). Brain computer interfaces, a review. Sensors, 12(2) :1211–1279. Sellers, E. W. and Donchin, E. (2006). A p300-based brain‚Äìcomputer interface : Initial tests by {ALS} patients. Clinical Neurophysiology, 117(3) :538 – 548. Trad, D. (2012). Interface Cerveau-Machine, Application au handicap moteur. PhD thesis, Université de Versailles Saint-Quentin en Yveline. Wozniak-Kwasniewska, A. (2013). Evaluation de l’excitabilité corticale par électroencéphalographie pour l’optimisation de la stimulation magnétique transcrânienne répétée chez les patients souffrant de troubles de l’humeur. PhD thesis, L’Université de Grenoble. Zimmermann, R., Marchal-Crespo, L., Edelmann, J., Lambercy, O., Fluet, M.-C., Riener, R., Wolf, M., and Gassert, R. (2013). Detection of motor execution using a hybrid fnirsbiosignal bci : a feasibility study. Journal of NeuroEngineering and Rehabilitation. Çağlayan, O. (2014). A portable and embedded ssvep bci system : embci. Master’s thesis, Galatasaray University.