"Eylem Seçiminin Limbik Sisteme Bağlı Olarak Dinamik
Transkript
"Eylem Seçiminin Limbik Sisteme Bağlı Olarak Dinamik
ĐSTANBUL TEKNĐK ÜNĐVERSĐTESĐ FEN BĐLĐMLERĐ ENSTĐTÜSÜ EYLEM SEÇĐMĐNĐN LĐMBĐK SĐSTEME BAĞLI OLARAK DĐNAMĐK SĐSTEM YAKLAŞIMI ĐLE MODELLENMESĐ DOKTORA TEZĐ Selin METĐN Elektronik ve Haberleşme Mühendisliği Anabilim Dalı Elektronik Mühendisliği Programı Tez Danışmanı: Doç.Dr. Neslihan Serap ŞENGÖR OCAK 2013 ĐSTANBUL TEKNĐK ÜNĐVERSĐTESĐ FEN BĐLĐMLERĐ ENSTĐTÜSÜ EYLEM SEÇĐMĐNĐN LĐMBĐK SĐSTEME BAĞLI OLARAK DĐNAMĐK SĐSTEM YAKLAŞIMI ĐLE MODELLENMESĐ DOKTORA TEZĐ Selin METĐN (504022102) Elektronik ve Haberleşme Mühendisliği Anabilim Dalı Elektronik Mühendisliği Programı Tez Danışmanı: Doç.Dr. Neslihan Serap ŞENGÖR OCAK 2013 ĐTÜ, Fen Bilimleri Enstitüsü’nün 504022102 numaralı Doktora Öğrencisi Selin METĐN, ilgili yönetmeliklerin belirlediği gerekli tüm şartları yerine getirdikten sonra hazırladığı “EYLEM SEÇĐMĐNĐN LĐMBĐK SĐSTEME BAĞLI OLARAK DĐNAMĐK SĐSTEM YAKLAŞIMI ĐLE MODELLENMESĐ” başlıklı tezini aşağıda imzaları olan jüri önünde başarı ile sunmuştur. Tez Danışmanı : Doç. Dr. Neslihan Serap ŞENGÖR Đstanbul Teknik Üniversitesi .............................. Jüri Üyeleri : Prof. Dr. Serdar ÖZOĞUZ Đstanbul Teknik Üniversitesi ............................. Doç. Dr. Yağmur DENĐZHAN Boğaziçi Üniversitesi .............................. Doç. Dr. Müştak YALÇIN Đstanbul Teknik Üniversitesi .............................. Prof. Dr. Haluk BĐNGÖL Boğaziçi Üniversitesi .............................. Teslim Tarihi : Savunma Tarihi : 27 Aralık 2012 21 Şubat 2013 iii iv ÖNSÖZ Genel anlamda bu tezi hazırlarken beynimizde olup bitenleri bilimin resmi dili olan matematiğin kesinliğiyle anlamaya çalıştım. Bir mühendisin sinir sistemini anlaması için önceden bilmediği biyoloji, psikoloji, sosyoloji, farmakoloji, tıp, hatta ekonomi gibi alanları tarayıp ilgili bilgileri iyice özümsemesi gerekir. Dolayısıyla tezin en zor kısmı, mühendis aklımla tıp alemine dalıp kimi zaman aptalca kimi zaman mühendisçe yorumlarla sinir sistemini öğrenmeye çalışmak oldu. Sözü geçen bilim dallarındaki özellikle terminolojinin karmaşıklığı ve buna karşın Türkçe bilim diline katkıda bulunabilmek için hemen her terimi çevirmeye çalışmam elbette bazen gülünç veya anlaşılmaz sonuçlar üretti. Tezin içindeki terimler kulak tırmalayıcı veya yanlış yönlendirici değildir diye umuyor, hatam varsa şimdiden özür diliyorum. Bu çalışmaya başlarken bana güvenip danışmanlığımı kabul eden Doç.Dr. Neslihan Şengör’e özellikle teşekkür ederim. Yol boyunca desteğini ve ilgisini eksik etmedi, benim kadar onun da emeği geçti. Ayrıca tüm eğitim hayatım boyunca bana çeşitli yetenekleri, farklı bakış açılarını kazandıran, düşünmeyi öğreten adlarını sayamacağım kadar çok insana da teşekkür ediyorum. Tezin hazırlanma süresi boyunca eleştiri ve yorumlarıyla yön veren tez izleme komitesinin üyeleri Doç.Dr. Yağmur Denizhan ile Prof.Dr. Serdar Özoğuz’a ve tezi iyileştirmek için tartışma ortamına katkı sağlayan jüri üyeleri Doç.Dr. Müştak Yalçın ile Prof.Dr. Haluk Bingöl’e de teşekkür etmek isterim. Tez kapsamında yapılan çalışmalar için ĐTÜ Geliştirme Vakfı (ITU-BAP proje no: 34135) ile TÜBĐTAK (proje no: 111E264) destekleri alınmıştır. Proje ekibindeki arkadaşlarıma da çalışmalarında elde ettikleri sonuçlarla ilerlemde sağladıkları katkı ve yardımları için teşekkür ederim. Doktora çalışmalarım sırasında zaman ayırıp hazırlanmama yardım eden Mustafa Isnık ve bu sürede sabır gösteren eşi Gül’e; çalışma zamanı konusunda esneklik gösteren Netaş ve ST Microelectronics’deki iş arkadaşlarıma; bilimsel toplantılarda veya rica üzerine düşüncelerini ve eleştirilerini, hatta kendi çalışmalarını paylaşarak tezime katkıda bulunan insanlara, özellikle Prof. Dr. Ertan Yurdakoş, Yrd.Doç.Dr. Yasemin Keskin Ergen ve Dr. Tanseli Nesil’e ayrıca şükranlarımı sunarım. Bugünlere ulaşmamda katkısı olan ve yıllarca sabırla bana destek olan aileme, ilk günden beri beni cesaretlendiren eşim Tarkan Doğu’ya minnettarım. Onlarsız olmazdı. Mart 2013 Selin Metin Elektronik ve Haberleşme Y.Müh. v vi ĐÇĐNDEKĐLER Sayfa ÖNSÖZ ........................................................................................................................ v ĐÇĐNDEKĐLER .......................................................................................................... vii KISALTMALAR ........................................................................................................ ix ÇĐZELGE LĐSTESĐ..................................................................................................... xi ŞEKĐL LĐSTESĐ........................................................................................................xiii ÖZET.......................................................................................................................... xv SUMMARY .............................................................................................................xvii 1. GĐRĐŞ ................................................................................................................... 1 2. DUYGUSAL DAVRANIŞLARDA ETKĐN BEYĐN DÖNGÜLERĐ.................. 5 2.1 Duygusal Devrelerin Nörofizyolojik Temelleri ........................................... 5 2.1.1 Bazal Ganglianın Eylem Seçimindeki Rolü............................................. 7 2.2 Duygusal Devrelerin Etkin Olduğu Bir Süreç: Bağımlılık ........................ 10 2.2.1 Bağımlılığın Nörofizyolojik ve Davranışsal Temelleri.......................... 13 2.2.2 Karşıt Süreçlerin Nörofizyolojik Temelleri ........................................... 14 2.2.3 Đlişkisel Öğrenme ve Pekiştirmeli Şartlanmanın Nörofizyolojik Temelleri ………………………………………………………………………….16 2.2.4 Ödül Sistemi ve Dopamin ...................................................................... 18 2.3 Bağımlılığı Açıklamak Đçin Geliştirilmiş Hesaplamalı Modeller .............. 21 2.3.1 Karşıt Süreçler ve Pekiştirmeli Öğrenme Modelleri.............................. 21 2.3.2 Madde Bağımlılığı Modelleri................................................................. 25 3. NĐKOTĐN BAĞIMLILIĞINA ĐLĐŞKĐN BĐR HESAPLAMALI MODEL........ 27 3.1 Nikotin Bağımlılığının Moleküler Temelleri ............................................. 27 3.2 Nikotin Bağımlılığına Đlişkin Hesaplamalı Modeller................................. 29 3.3 Nikotin Bağımlılığına Đlişkin Bir Model Önerisi ....................................... 30 3.3.1 Tez Çalışmasında Geliştirilen Modelin Nörofizyolojik Temelleri ........ 30 3.4 Nikotin Bağımlılığı Đçin Geliştirilen Model............................................... 32 3.4.1 Modelde Ele Alınan Sinir Sistemi Yapıları ........................................... 33 3.4.2 DA Đşareti Modülünün Karşıt Süreç Oluşturması.................................. 34 3.4.3 Eylem Seçimi Modülünün Dinamik Davranışının Analizi .................... 35 3.4.4 Modelde Pekiştirmeli Öğrenmenin Gerçeklenmesi ............................... 39 3.5 Benzetim Sonuçları .................................................................................... 42 3.6 Sonuç ve Tartışma...................................................................................... 45 3.6.1 Önerilen Modelin Farkı ve Getirdiği Đlerlemeler ................................... 48 4. EYLEM SEÇĐMĐNĐN NÖRON SEVĐYESĐNDE MODELLENMESĐ.............. 51 4.1 Daha Gerçekçi Bir Modellemeye Doğru: Hodgkin-Huxley Denklemleri . 51 4.1.1 Hodgkin-Huxley Denklemleri ile Eylem Seçimi Devresinin Modellenmesi......................................................................................................... 52 4.1.2 Hücre Zarı Đyon Kanallarının Nöron Etkinliğindeki Rolü ..................... 55 vii 4.1.3 Geliştirilmiş Hodgkin-Huxley Modeli ile Eylem Seçimi Devresinin Modellenmesi ......................................................................................................... 59 4.2 Dorsal Striatal Eylem Seçimi Devresine Ödülün Etki Etmesi ................... 64 4.2.1 Ödül Etkisinin Minimal Modellenmesi.................................................. 66 4.2.2 Ödül Etkisinin Genişletilmiş Model ile Ele Alınması............................ 69 4.3 Sonuç ve Tartışma...................................................................................... 74 5. SONUÇ .............................................................................................................. 77 KAYNAKLAR........................................................................................................... 81 EKLER ....................................................................................................................... 89 ÖZGEÇMĐŞ ............................................................................................................... 99 viii KISALTMALAR ACA : Anterior Singulat Bölge (anterior cingulate area) ACC : Anterior Singulat Korteks ACh : Asetilkolin Aml : Amigdala APA : Apamin BLA : Bazolateral Amigdala Ca : Kalsiyum Cl : Klor DA : Dopamin Enk : Enkefalin GABA : Gama Aminobütrik Asit Glu : Glutamat GPe : Globus pallidus pars eksterna GPi : Globus pallidus pars interna K : Potasyum LDTg : Laterodorsal Tegmental Nukleus LH : Lateral Hipotalamus MDmc : Medialis Dorsalis pars magnocellularis mOFC: Medyal Orbitofrontal Korteks mPFC : Medyal Prefrontal Korteks MSN : Medium Spiny Nöron MSS : Merkezi Sinir Sistemi Na : Sodyum NAc : Nucleus Accumbens nAChR: Nikotinik asetilkolin almacı (nicotinic acetylcholine receptor) OFC : Orbitofrontal Korteks PFC : Prefrontal Korteks PPTg : Pedunculopontine Tegmental Nukleus PSP : Postsinaptik Potansiyel Ser : Serotonin SNr : Substantia Nigra pars reticulata SNc : Substantia Nigra pars compacta STN : Subtalamik Nukleus Str : Striatum STR-D1: Striatumun D1 tipinde DA almacına sahip nöronları STR-D2: Striatumun D2 tipinde DA almacına sahip nöronları TDRL : Zamansal Fark Pekiştirmeli Öğrenme THL : Talamus TTX : Tetrodotoksin VP : Ventral Pallidum VS : Ventral Striatum VTA : Ventral Tegmental Bölge (ventral tegmental area) ix x ÇĐZELGE LĐSTESĐ Sayfa Çizelge 3.1 : Ağırlık matrisleri öğrenme ile ayarlanmadan önce sistemin sabit noktaları …………………………………………………………………….37 Çizelge 3.2 : Öğrenme başlamadan önce ppm denkleminin Wr parametresine bağlı dallanma noktaları...................................................................................................... 38 Çizelge 3.3 : Ağırlık matrisleri öğrenme ile ayarlandıktan sonra elde edilen sabit noktalar …………………………………………………………………….38 Çizelge 3.4 : Öğrenme bittikten sonra ppm denkleminin Wr parametresine bağlı dallanma noktaları...................................................................................................... 38 Çizelge A.1 : (A.1) sistemi için dallanma noktaları ............................................. 91 Çizelge B.1 : Đyon kanalı fonksiyonlarında kullanılan parametreler ................... 95 Çizelge B.2 : Nöronlar için hücre zarı parametreleri ........................................... 96 Çizelge B.3 : Nöronlar arası bağlantı parametreleri............................................. 98 xi xii ŞEKĐL LĐSTESĐ Sayfa Şekil 2.1 : Eylem seçici motor devresinin anatomisi ............................................ 9 Şekil 2.2 : NAc yoluyla ödüle dayalı eylem seçimini gerçekleştiren bazal ganglia devresi ……………………………………………………………………….10 Şekil 2.3 : Karşıt süreçlerin bağımlılığın gelişmesiyle değişmesi....................... 15 Şekil 2.4 : VTA’daki DA ve GABA nöronları üzerinde etkili nörotransmiterler20 Şekil 3.1 : Amaca yönelik davranışların seçiminde görev alan beyin bölgeleri ve bağlantıları ……………………………………………………………………….32 Şekil 3.2 : ppm denkleminin Wr parametresine bağlı dallanma diyagramları ...... 39 Şekil 3.3 : Sistemin her durumuna ait beklentideki hata grafikleri ..................... 43 Şekil 3.4 : Sistemin her durumuna ait W parametrelerinin değişimi .................. 44 Şekil 4.1 : Hodgkin-Huxley modeliyle gerçeklenen eylem seçici devrenin DA salgılanan durumdaki çıkışları ................................................................................... 53 Şekil 4.2 : Tek başına çalışan dorsal eylem seçimi devresinin girişinin eşik altında uyarıldığı durum............................................................................................. 60 Şekil 4.3 : Tek başına çalışan dorsal eylem seçimi devresinde STR-D2 kanalının DA tarafından baskılanmadığı durum........................................................................ 61 Şekil 4.4 : Tek başına çalışan dorsal eylem seçimi devresinde DA’in STR-D2 kanalını baskıladığı durum......................................................................................... 63 Şekil 4.5 : Ödüle dayalı eylem seçimi devresi .................................................... 65 Şekil 4.6 : Eylem seçimi devresinde dorsal ve ventral birlikte etkin ve DA’in STR-D2 kanalını baskıladığı durum .......................................................................... 67 Şekil 4.7 : Eylem seçimi devresinde dorsal ve ventral birlikte etkinken VTA’nın tonik ateşleme yapması nedeniyle çıkış etkinliğinin artması..................................... 68 Şekil 4.8 : Eylem seçimi devresinde dorsal ve ventral yolak birlikte etkinken girişin uyarılmaması sonucu etkinlik gözlenmemesi ................................................. 70 Şekil 4.9 : Eylem seçimi devresinde dorsal ve ventral yolak zıt çalışırken ödülün etkisiyle hareket gözlenmesi ...................................................................................... 72 Şekil 4.10 : Eylem seçimi devresinde dorsal ve ventral yolak paralel çalışırken daha kuvvetli çıkış elde edilmesi ............................................................................... 73 Şekil A.1a : x& = r + x 2 sisteminde eyer noktası dallanması oluşması ........................ 91 Şekil A.1b : A2.1 sistemi için b=-1 iken a parametresine bağlı dallanma diyagramı 91 Şekil A.2 : (A.1) sisteminde parametreler değiştirildiğinde Hopf dallanması........... 91 xiii xiv EYLEM SEÇĐMĐNĐN LĐMBĐK SĐSTEME BAĞLI OLARAK DĐNAMĐK SĐSTEM YAKLAŞIMI ĐLE MODELLENMESĐ ÖZET Bu tez çalışmasında amaçlanan duyguların davranışlar üzerindeki etkisini açıklamaya yönelik hesaplamalı modelleri doğrusal olmayan sistem yaklaşımıyla tasarlamak ve elde edilen modeller aracılığı ile bilişsel süreçlerin anlaşılabilirliğine katkıda bulunmaktır. Bu nedenle beyindeki öğrenme ve karar verme sistemlerini etkileyen duygusal süreçler incelenip duygusal davranışlarda etkin olan beyin bölgeleri ve sinir hücreleri arasındaki iletişimin dinamiği araştırılmıştır. Daha sonra da bu dinamiği yansıtan matematiksel modeller geliştirilmiştir. Önerilen hesaplamalı modeli sınayabilmek için bağımlılık davranışları ve davranış seçiminde etkin olan yapılardaki tek hücre ölçümlerine ilişkin sonuçlardan yararlanılmıştır. Geliştirilen modeller dinamik sistemler olarak kurgulanıp sistem davranışları dallanma analiziyle incelenerek dinamik sistemin uyarlanabilirliğini en fazla etkileyen parametreler belirlenmiştir. Ele alınan ilk hesaplamalı model nikotin bağımlılığı için geliştirilmiş olup bağımlılık davranışını pekiştirmeli öğrenme temeline oturtarak modellemektedir. Model ile düşüncesizce rastgele gerçekleştirilen davranışların pekiştirmeli öğrenme sayesinde kalıplaşarak dürtüsel davranışlara dönüşmesi sayesinde bağımlılığın gelişeceği gösterilmektedir. Modelde dopaminin nöromodülatör olarak etkisi gösterilip XPPAUT kullanılarak dallanma diyagramlarıyla parametre analizi yapılmıştır. Geliştirilen model, moleküler düzeyden sistem düzeyine kadar farklı ölçekleri bütünleştiren ve ortalama ateşlenme oranı yaklaşımını kullanan bir yapıdır. Ödülün etkisini yansıtmak için başlangıçta rastgele gerçekleştirilen sigara içme ve içmeme eylemleri bağımlılığın gelişip gelişmemesine göre değerlendirilmekte ve ödül veya ceza olarak bellekte yerini almaktadır. Geçmiş davranışa ait bellekteki bilgiler kullanılarak bir sonraki davranışlara karar verilmektedir. Modelde kullanılan iki aşamalı eylem seçimi devresi, bazal ganglia, talamus ve prefrontal korteks sistemini ayrıntılı açıklayabilmesi bakımından benzerlerinden farklıdır. Önerilen modelin getirdiği bir ilerleme de moleküler düzeydeki değişiklikleri gösteren dinamik sistemin bağımlılıkla oluşan direnç mekanizmasını ortaya koyabilecek biçimde parametrik olarak ayarlanabilir hale getirilmesidir. Hem moleküler hem dinamik sistem düzeyinde bileşenleri olması açısından önerilen model duygusal süreçlerin gelişimine ilişkin farklı yaklaşımları birleştirmektedir. Dopaminin pekiştirmeli öğrenme üzerindeki etkisinin modellenmesi ile nörotransmiterlerin sinirsel ağlardaki rolü de sisteme dahil edilmektedir. Modelin özgün yanı, nikotin bağımlılığını pekiştirmeli öğrenme üzerinden inceleyerek eylem seçimini bir dinamik sistem olarak ortaya koyabilmesidir. Nikotin bağımlılığı için önerilen bu model başka bağımlılık türleri için de kullanılabilir. Tez çalışması kapsamında geliştirilen ikinci model duygusal davranışların eylem seçimine etkisini nöron düzeyinde ele almaktadır. Bu modelin farkı, nöronların fizyolojik özelliklerini ve hücre zarındaki iyon kanallarının etkilerini göz önüne xv almasıdır ve biyofiziksel açıdan daha gerçekçi bir yapı ortaya koymasıdır. HodgkinHuxley benzeri iletkenlik tabanlı nöron modelleri kullanılarak hücre zarındaki iyon kanallarının nöronun çalışması üzerindeki etkisi gösterilmiştir. Bu sayede farklı tipteki vuruları üretebilen nöronlar içeren bir sistem elde edilmiştir. Tasarlanan devre ile eylemlerin seçimine karar veren dorsal striatumdan geçen doğrudan ve dolaylı yolaklar gerçeğe uygun biçimde modellenmiştir. Bu dinamik sistemin üzerinde ödülün etkisini göstermek üzere ventral striatumdan geçen ve ödülün etkisini gösteren bir ventral eylem seçimi devresi de sisteme eklenmiştir. Böylece eylem seçiminde görev alan limbik beyin bölgelerinin hemen hemen tamamını içeren bir dinamik sistem elde edilmiştir. Model bu açıdan literatürdeki benzerlerinden ayrılmaktadır. Bu model ile eylem seçimi sırasında bir davranış istenmese bile ödül getirici olduğu veya hoşa gittiği için gerçekleştirilebileceği gösterilmiştir. Bu açıdan önerilen model, hem dorsal hem ventral bazal ganglia döngülerini içeren ve bunların etkileşimini doğru biçimde yansıtan ilk örnektir. Kullanılan iletkenlik tabanlı dinamik sistem modeliyle nöronların çalışması fizyolojik verilere uygun biçimde kurgulanabilmiş ve patlama, süregen, anlık tipte ateşlemeler gözlenebilmiştir. Ayrıca modeldeki her nöronun çıkış geriliminin ona etki eden nöronların akımları cinsinden ifade edilmesi, bir sinapsta oluşan ve tüm pre-sinaptik nöronlardan gelen uyarının toplanarak post-sinaptik nörona iletilmesi durumuyla örtüşmektedir. Önerilen modelde her beyin bölgesi bir tek nöron ile temsil edilmektedir ve modelin ürettiği sonuçlar, tek bir nöron ile yapılan çalışmalarda elde edilen sonuçlar ile uyumludur. Bu modelin bağımlılıkla ilişkisini kurmak için ilk modelde olduğu gibi nikotin bir uyaran olarak sisteme eklenip uzun vadede nikotin varlığına bağlı olarak eylem seçimlerinin değişmesi gösterilebilir. Benzer biçimde farklı uyaranlardan kaynaklanan değişiklikler nöron modeline yansıtılarak değişik bağımlılık türleri de incelenebilir. xvi MODELLING ACTION SELECTION BASED ON LIMBIC SYSTEM BY DYNAMICAL SYSTEM APPROACH SUMMARY Our emotions, ideas, our perception of ourselves and the environment, our decisions and actions are all the outcomes of the brain which is a physical structure. The mathematical methods used in science to study the physical systems will also help us to understand the operation of our brains and the cognitive processes produced by the brain. The aim in this thesis is to propose a mathematical model which will help to explain the cognitive processes involving the emotions and especially the mechanism of drug addiction. The intention is to obtain results which will explain cognitive processes with the analysis of this model. The main goal of neuroscience is to understand the processing and computing dynamics of a neuron and the role of neurons in large neural networks. Computaional neuroscience uses information theory and develops mathematical models to explain the operation of the structures in the brain and neural systems. Computational modes are powerful tools to study the functioning of the brain. With the help of mathematical approach, the hypothesis can be tested to the level of exaction and it is possible to define the parameters which cannot be directly measured in the experiments. Modelling makes it easier to deduce and compare both quality and quantity. To be able to understand the functioning of the brain one must study in various scales: nervous system, subsystems (such as reward system), neural networks, micro circuits, neurons, axon-synaps-dendryte structures, neurotransmitters, ion channels… these all have different effects on the dynamics of the output of the brain. The physical output of the brain processes are actions. The performance of actions depends on the decision mechanism. Emotions can change our actions by effecting on the decision mechanism. Pleasurable actions are performed more often while unwanted disliked actions are avoided. The results of the pleasurable actions or behaviors trigger the reward mechanism. Thus it is a good way to investigate the brain reward mechanism to test the outcome of the emotional processes. Addictive behaviors arise when brain reward mechanism malfunctions. The goal of this thesis is to design computational models to explain emotional behaviors by using non-linear dynamic system approach and to help understanding of the processes. Therefore the emotional processes which effect the learning and decision systems in the brain are examined and the brain structures involved in emotional behaviors and dynamics of the transmission between the neurons are investigated. Then, mathematical models are developed to reflect this dynamics. The proposed models are tested by using the results obtained from single cell measurement experiments of addictive behavior and neural structures taking part in action selection. The developed models are designed as dynamic systems and the system behavior is studied by bifurcation analysis to define the parameters which influence the controllability of the system the most. xvii The first computational model explained in this work is developed for nicotine addiction and models the addictive behavior based on reinforcement learning concept. The model demonstrates that impulsive behaviors are stamped in with reinforcement learning mechanism to change into compulsive behaviors and thus addiction develops. Nicotine addiction is used as an example and how the molecular effects of blood nicotine level is perceived as reward is computed by a dynamic system. An action selection circuit is used to state emotions as an output of the motor circuits of the brain. Thus the dorsal action selection loop in the basal ganglia known since 1990s is included in the model as a dynamic system. The model integrates different scales of modelling approaches varying from molecular level to systems level. The behavior of the neuron groups in the circuit is studied by using mean firing rate approach with the help of a sigmoid function. In order to include reward in the model, smoking and non-smoking actions which occur randomly at first are evaluated according to the adopted behavior (that is according to whether addiction develops or not) and the evaluation results are stored in the memory as reward or punishment. The decision on the next action choice is made by using the information of the past actions stored in the memory. The two-stage action selection circuit used in the model is different from its peers because it can thoroughly explain the prefrontal cortex-basal ganglia-thalamus system which it utilizes. The modifications caused by the action choices are modelled by adapting a parameter in the premotor circuit which forms the first stage. This parameter adaptation corresponds to the modulatory effects of dopamine signalling in reinforcement learning and thus the system can learn one of the following behavioral patterns: addict, non-addict and indecisive (one who cannot permanently decide on the same action). It is easy to follow the dynamical behavioral modifications brought by tuning this learning parameter according to dopamine level. To do this, the action selection circuit is analyzed with XPPAUT and the bifurcations brought by the parameter modifications are demonstrated. Dopamine is used as a neuromodulator in this model. Dopamine secretion from the ventral tegmental area stimulates action selection task in the basal ganglia and takes part in coding the learned behaviors. One of the improvements of the proposed model is the parametric modification of dynamic system, which shows the molecular level alterations, to demonstrate the neural resistance mechanism developed with addiction. This resistance mechanism is the molecular level counterpart of opponent processes and it has a neutral level in healthy individuals. In addicts, this neutral level has changed due to the fact that the metabolism wants more and more of the substance of addiction each day. This neutral level change can be adjusted with a parameter in the proposed model. Since it has both molecular and systems level components, the developed computational model integrates different approaches to the development of emotional processes. By modelling the effects of dopamine in reinforcement learning the role of the neurotransmitters in neural networks is included in the system as well as the electrical transmission on the neurons. The distinctive side of this model is to state action selection as a dynamic system by examining nicotine addiction from reinforcement learning perspective. The opponent processes theory which is used to explain the emotions in psychology is utilized to show the molecular level xviii modifications in addiction process and this helps the developed model to study addiction behavior from many different perspectives. This computational model designed for nicotine addiction can also be used to study other types of addictions. The dynamic systems in the model corresponding to opponent processes and action selection can be constantly used because the same processes will also occur in different substance addiction types. By selecting a different rewarding substance instead of nicotine in the model the same system can be used to examine different addiction phenomenons. Therefore the proposed model is a good candidate for computational models in neuroscience which will help to understand brain processes. In order to improve this model, the action selection circuit is handled again with a biophysically plausible and each neuron in the circuit is modelled with HodgkinHuxley model. When this new system is examined, it is observed that the circuit no longer functions correctly. While looking for the reasons behind this problem, it is realized that Hodgkin-Huxley model does not contain several ion channel currents and therefore it cannot demonstrate all firing patterns of a physical neuron and its dynamics does not let to produce action potential (such as rebound spikes) without an external stimulating current. Therefore neuron models given in the literature are investigated and the action selection circuit is designed again to contain more brain structures with better connections. The second model developed within the thesis handles the effects of emotional behaviors on action selection from the level of neurons. The difference of this model is that it takes into account the physiological properties of neurons and the effects of the ion channels on the cell membrane to state a more realistic structure. The action selection circuit from the first model is enhanced to use Hodgkin-Huxley type conductance based neuron models in order to demonstrate the effects of ion channel currents on the functioning of a neuron. Thus a system is obtained which can produce different types of action potentials. This new model is developed in two stages: In the first stage the designed circuit contains only ventral tegmental area and nucleus accumbes to demonstrate the effects of the reward in action selection. In the second stage the first circuit is enhanced to include all reward system components such as amygdala, lateral hypothalamus, pedunculopontine tegmental nucleus and laterodorsal tegmental nucleus. In this model, every neuron is modelled according to its biophysical properties and each neuron represents a different brain structure. The results obtained from the model are coherent with the results obtained from single neuron experiments. The designed dynamic circuit correctly models the direct, indirect and hyperdirect pathways of the dorsal striatum. In order to demonstrate effects of the ventral reward system, a ventral action selection circuit is included in the model. The dopaminergic afferent connections of striatum are handled differently for each neuron which contains one of each dopamine receptor types, D1 or D2. The projection from substantia nigra pars compacto to D1 neuron has activating sodium and L-type calcium currents while the projection to D2 neuron has inactivating sodium and activating potassium currents. Of these ion channel currents, the most important one is the inactivating sodium current. With the help of these currents the excitatory and inhibitory effects of dopamine is demonstrated. Among these ion channel currents, the most effective one is Na current of D2 neuron. xix This model is studied with different levels of external inputs and the results show that even though a behavior is unwanted, it can be preferred due to its rewarding or pleasing quality. From this scope, the proposed model is the first example which contains both the dorsal and ventral action selection circuits and correctly reflects their interaction. The designed model is distinctive from its peers because it involves almost all of the brain structures taking part in emotional processes. The neural functionality is modelled appropriately with the help of the conductance based dynamic system model and burst, tonic, phasic types of action potentials are observed. Also the output potential of each neuron is calculated by the input currents of its afferent projections and this is consistent with the addition of pre-synaptic potentials to constitute the post-synaptic potential. This model can be used to show the long term modification of behaviors in addiction by adding nicotine as a stimulating agent. Similarly different stimulators can be used to observe different types of addiction. xx 1. GĐRĐŞ Fiziksel dünyayı anlamaya çalışırken kuramlar geliştirir, bunları kullanarak tahminler yapar ve doğrulamak için de deneyler uygularız. Deney sonuçlarına göre kuramları reddeder, düzeltir veya kabul ederiz. Tahmin yürütmek ve deney kurgulamak için bir başlangıç noktasına ihtiyaç vardır, ayrıca bazen kuramları sözlü olarak oturtmaya çalışırken olası tüm sonuçları doğru biçimde kurgulayamayabiliriz. Bu aşamada çözüm için matematiğin kesinliğine başvurmak en iyi yoldur. Sözlü tanımlarımızı denklemlere döktüğümüzde bir matematiksel model elde etmiş oluruz. Artık matematiksel yöntemleri kullanarak modeli inceleyebilir, farklı girdilere karşılık nasıl çıktılar elde edileceğini, zaman içindeki değişimleri öngörebiliriz. Đyi kurgulanmış bir model ile araştırdığımız fiziksel olguları daha iyi anlayabilir, sistemlerin davranışını daha doğru olarak ortaya koyabiliriz. Duygularımız, düşüncelerimiz, kendimizin ve etrafımızın farkında olmamız, verdiğimiz kararların ve eylemlerimizin hepsi fiziksel bir yapı olan beynimizin bir ürünüdür. Fiziksel sistemlerin incelenmesinde bilimin bugüne kadar yararlandığı ve geliştirdiği matematiksel yöntemler, fiziksel bir yapı olan beynimizin işleyişini ve çıktısı olan bilişsel süreçleri anlamamızda da etkili olacaktır. Bu tez çalışmasının amacı, duyguların dolayısıyla limbik sistemin etkili olduğu bilişsel süreçleri açıklamaya yardımcı olacak bir matematiksel model ortaya koymak ve bu matematiksel modelin analizi ile ilgilenilen bilişsel süreçleri açıklamaya yönelik sonuçlar elde etmektir. Modelin sınamak için limbik sistemin etkin olduğu süreçlerden özellikle madde bağımlılığı ele alınmış ve nikotin bağımlılığı mekanizmasını açıklayacak bir model önerilmiştir. Matematiksel modeli tasarlarken doğrusal olmayan dinamik sistem yaklaşımı benimsenmiştir. Dinamik sistemi tasarlarken MATLAB ile yazılan kodlar kullanılmış, sistemin davranışını incelemek içinse XPPAUT ile dallanma analizi yapılmıştır. Dinamik sistem yaklaşımını kullanmanın temel nedeni, beyindeki sinirsel etkinliğin sonucunda ortaya çıkan 1 karmaşık davranışların ve nöronların çalışmasının da aslında birer dinamik sistem olmasıdır. Bir nöronun çalışma ve hesaplama dinamiklerini anlamak ve nöronların geniş sinir ağları içindeki rollerini çözümlemek, sinirbilimin esas hedefidir. Hesaplamalı sinirbilim, beyin ve sinir sistemlerini oluşturan yapıların çalışmasını açıklamak için bilgi işleme kuramlarını kullanır ve matematiksel modeller geliştirmeye çalışır [1]. Modelleme sayesinde çıkarımlarda bulunmak kolaylaşır, deneylerde doğrudan ölçülemeyen parameterleri belirlemek mümkün olur. Hesaplamalı modeller, beynin işlevlerini araştırmak için güçlü araçlardır. Matematiksel yaklaşım sayesinde kuramlar kesinlik derecesinde sınanabilir ve hem niceliksel hem niteliksel karşılaştırmalar yapılabilir. Ancak bazı kısıtlar da vardır: pek çok fiziksel kavramı kesin matematiksel ifadelere dökmek zordur. Psikolojide çok kolay açıklanabilen bazı kavramları hesaplamalı biçimde belirtmek çok karmaşık olabilir [2]. Hesaplamalı sinirbilim çalışmaları, son otuz yılda ayrı bir araştırma alanı olarak kendini göstermiş ve giderek olgunlaşan çalışmalar yapılmaya başlanmıştır. Hücre ve sinir ağlarından bilişsel psikoloji ve davranışsal ekonomiye kadar beynin çalışmasıyla ilgili pek çok alanda hesaplamalı ve kuramsal yaklaşımlar geliştirilmiştir. Hesaplamalı sinirbilim araştırmalarının, elde edilen sonuçlara dayanarak gerçeğine yakın biçimde çalışabilen protez organlar, laboratuar deneyleri yerine bilgisayar benzeşimleriyle tasarlanan ilaçlar gibi çok çeşitli uygulama alanları vardır. Dünya çapında sinirbilim ile ilgilenen çeşitli araştırma grupları vardır. Bunlardan biri olan Bernstein hesaplamalı sinirbilim ağı, 2004 yılında Almanya’da bu alanda çalışan üniversite bölümleri, enstitüler ve araştırmacıları bir araya getirmek için kurulmuştur. Ana araştırma konuları algılama, motor kontrol, düşünceler ve karar verme, bilgi işleme, bilgisayar benzeşimleri, öğrenme ve hafıza, beynin gelişimi, sara hastalığı, beyin – bilgisayar arayüzü, nöroteknolojidir. Grupta yapılan çalışmalardan bazıları hastanın yürüme alışkanlığını öğrenip yürüdüğü ortama uyum geliştirebilen RunBot isimli bir nöroprotez, şehirde gezerken GPS veya harita kullanmak yerine yayalara yaklaşıp yol tarifi sorarak yönünü otonom olarak bulabilen ACE isimli bir robot, beyin dalgalarını çözümleyerek yazı yazabilen bir bilgisayar – beyin arayüzüdür. 2 Beynin işleyişini anlayabilmek için farklı ölçeklerde incelemek gerekir: sinir sistemi, alt sistemler (ödül sistemi gibi), sinir ağları, mikrodevreler, nöronlar, akson-sinapsdentrit yapıları, nörotransmiterler, iyon kanalları… bunların hepsi beynin ürettiği çıkışların dinamiğini farklı biçimlerde etkilerler. Bu düzeylerin her biri için geliştirilmiş modeller olduğu gibi birkaçını bütünleştiren modeller de vardır [3]. Ancak matematiksel modellerin bu belirtilen düzeylerin hepsine dair tüm ayrıntıları içermesi beklenemez zira karmaşıklık fazlasıyla artar. Zaten matematiksel model kullanmanın amaçlarından biri de daha sade ve yönetilebilir bir sistem oluşturarak karmaşık yapıyı çözümlemektir. Bu tez kapsamında iki farklı seviyede modeller geliştirilmiştir. Đlk model üst seviyede duygusal yapılar arasındaki işleyişi işlevsel olarak modellemektedir. Bunun için [4]’de olduğu gibi moleküler ve sistem seviyesindeki iki devreyi birleştiren bir model geliştirilmiştir. Daha sonra da sinir hücrelerinin çalışmalarını biyofiziksel olarak gerçekçi biçimde ele alan ikinci bir model ile ilk modelin göstermekte zayıf kaldığı farklı tür ateşleme davranışları elde edilmiştir. Beyindeki süreçlerin fiziksel dünyadaki çıktıları, eylemlerdir. Eylemlerin gerçekleştirilmesi ise karar verme mekanizmasına bağlıdır. Duygular, karar verme mekanizmasını etkileyerek davranışlarımızı değiştirebilirler. Hoşlanılan eylemler daha sık gerçekleştirilirken sevilmeyen, istenmeyen eylemlerden kaçınılmaya çalışılır. Hoşlanılan eylemler veya davranışların sonuçları, ödül mekanizmasını harekete geçirir. Bu açıdan, duygusal süreçlerin çıktılarını sınamanın iyi bir yolu, beyindeki ödül mekanizmasını ele almaktır. Ödül mekanizması doğru çalışmadığında madde bağımlılığı, kumar alışkanlığı gibi davranışlar ortaya çıkabilir. Bu tez çalışmasında beyindeki öğrenme ve karar verme sistemlerini etkileyen duygusal süreçler incelenip bu etkileşimi yansıtan matematiksel modeller geliştirilmiştir. Bağımlılık davranışları, duyguların karar verme süreçlerini etkilemesini gösteren iyi bir örnektir. Dolayısıyla geliştirilen matematiksel modeller, özellikle bağımlılık mekanizmasını açıklamaya çalışmaktadır. Geliştirilen modeller dinamik sistemler olarak kurgulanıp sistem davranışları dallanma analiziyle incelenmiştir. Böylece dinamik sistemin yönetilebilirliğini en fazla etkileyen parametreler belirlenmiştir. Tezin ikinci bölümünde duygusal devrelerin ve bağımlılığın nörofizyolojik temelleri üzerinde durulacaktır. Bazal ganglia yapılarının ve limbik sistem elemanlarının 3 beyindeki karar alma ve öğrenme sistemlerindeki görevlerine değinilip bunlar arasındaki dinamik ilişkilerden söz edilecektir. Daha sonra da bu sistemleri açıklamak için geliştirilmiş hesaplamalı modellerden örnekler verilecektir. Üçüncü bölümde nikotin bağımlılığı için geliştirilmiş olan hesaplamalı model açıklanacaktır. Nikotin bağımlılığının fizyolojisi anlatılıp bu konuda önerilmiş olan hesaplamalı modellere değilecektir. Son olarak da tez kapsamında geliştirilen matematiksel model verilip dallanma diyagramlarıyla parametre analizi yapılacaktır. Geliştirilen model, moleküler düzeyden sistem düzeyine kadar farklı ölçekleri bütünleştiren bir yapıdır. Dördüncü bölümde bazal gangliadaki eylem seçimi devresini nöron düzeyinde ele alan bir model anlatılmaktadır. Bu modelin farkı, nöronların fizyolojik özelliklerini ve hücre zarındaki iyon kanallarının etkilerini göz önüne almasıdır. Üçüncü ve dördüncü bölümlerin her ikisinin de sonunda bir sonuç ve tartışma bölümü yer almaktadır. Bu alt bölümde geliştirilmiş olan modellerin getirdiği farklılıklar ve geliştirilmeye açık yönleri ile literatürde hangi noktada oldukları tartışılmaktadır. Tezin son bölümü ise yapılan tüm çalışmaları özetleyen ve ileriye dönük araştırmalar için öneriler sunan sonuç bölümüdür. Tez kapsamında yapılan çalışmalardan üçüncü bölümde anlatılanlar sinirbilimde çalışan farklı disiplinlerden gelen araştırmacıların görüşlerini almak üzere [5]-[9]’da sunulmuştur. Bu çalışmaları toparlayan bir yayın [10]’da yer almıştır. Dördüncü bölümde anlatılanlar ise [11]-[13]’de parça parça sunulmuştur. Yapılan çalışmalar ve gelinen nokta [14]’te matematik ve sinirbilim başlıklı oturumda sunularak bu konuyla uğraşan ulusal araştırmacıların yorumları alınmıştır. Önerilenler disiplinlerarası bir çalışma olduğundan tıp alanında çalışan uzmanların görüşüne başvurmak üzere dönem dönem Đstanbul Üniversitesi Tıp Fakültesi Nöroloji anabilim dalı tarafından düzenlenen perşembe toplantılarına katılarak ve 2011 haziran ayında Ege Üniversitesi Beyin Araştırmaları Enstitüsü ziyaret edilerek bu konuda yapılan çalışmalar hakkında bilgi aktarılmış, ayrıca ortak çalışma platformu oluşturmak için girişimde bulunulmuştur. 4 2. DUYGUSAL DAVRANIŞLARDA ETKĐN BEYĐN DÖNGÜLERĐ Limbik sistem, memeli beyninde duyguların oluşması ve iletiminden sorumlu olan yapılar ve bunlar arasındaki döngülerden oluşmuştur; bir adı da duygusal beyindir. Bellek oluşumu ve depolanması, öğrenme, davranışlar, duygusal cevaplar, ruh hali, motivasyon, karar verme, dikkat ve odaklanma, hormon salgılanması, ağrı ve haz duyusu, koku duyusuyla ilgili işlevleri vardır [15]. Bu görevleri yerine getirmek için limbik sistem yapıları birbirleriyle ilişki içinde ve çeşitli döngülere göre çalışırlar. Öğrenme, bellek, ve madde bağımlılığı aynı nörolojik etkenler tarafından yönlendirilirler ve bazı ortak nörotransmiter düzeneklerine sahiptirler [16]. Bu nedenle, bir bilişsel süreci ele alırken limbik sistemi de göz önüne almak doğru olur. Bu tez çalışmasında geliştirilen model limbik sistemin hem duygusal hem de motor işlevlerde görev alan bazal ganglia çekirdeklerini merkezine almaktadır. 2.1 Duygusal Devrelerin Nörofizyolojik Temelleri Bilişsel süreçlerde görev alan beyin bölgelerini ve limbik sistem elemanlarını kısaca tanıtalım: Korteks, beynin en dış katmanıdır. Talamus ve bazal ganglia ile çift yönlü bağlantıları vardır. Vücuttan gelen uyarıların büyük bölümü talamus aracılığıyla kortekse iletilir [17]. Korteks işlevsel açıdan üç ana bölümde incelenir [18]: duyusal bölgeler, talamustan gelen duyusal girişleri alır; assosiyasyon (ilişkisel) bölgeleri, çevrenin (dış dünyanın) anlamlı bir algısını oluşturur; motor bölgeler, istemli hareketlerin kontrol edilmesiyle ilgilidir. Prefrontal korteks (PFC), adaptasyon, soyut düşünme, karar verme, plan yapma, duygusal davranışlar, motivasyon, duygular, kişilik, dikkat süresi, bellek, yürütücü fonksiyonlar, akıl, öğrenme, yaratıcılıkla ilgili ilişkisel korteks bölgesidir. Beynin en itinalı bilişsel işlevleri yan prefrontal korteksi ilgilendirir [15]. PFC’in alt bölgeleri ile orbitofrontal korteks (OFC) ve anterior singulat korteks (ACC), değer biçme ve duyguları işlemede önemli rol oynarlar. Motor ve premotor korteks ise frontal 5 korteksin hareketlerin planlanması, istemli hareketler ile ilgili bilgilerin işlemden geçirilip iletilmesinden sorumlu bölgesidir. Bazal gangliyonlar, beynin iç orta bölgesinde, korteks, talamus ve beyin sapı ile bağlantılı gri cevher kitleleridir. Motor kontrol, bilinç, duygular, motor öğrenme (ör: bisiklete binme) ve göz hareketleri ile ilişkili işlevleri vardır. Kaudat nukleus, putamen, globus pallidus, substantia nigra, ve subtalamik çekirdek, bazal çekirdekleri oluştururlar. Kaudat nukleus ile putamen birlikte neostriatum olarak adlandırılırlar. Kaudat nukleus ile putamenin birleştiği noktadaki nöron topluluğuna nucleus accumbens (NAc) denir ve olfaktor tubercle ile birlikte ventral striatumu oluşturur. NAc, ödül ve motivasyon gibi olumlu duygusal durumlarda önemlidir; neostriatum ise alışkanlıklar ve motor hafızada etkindir [16]. Kaudat nukleus ve putamen birlikte neostriatum olarak adlandırılırlar ve bunlar nucleus accumbens ile birlikte striatum (Str) olarak anılırlar. Tezin ilerleyen bölümlerinde Str ile kastedilen neostriatumdur, NAc ise ayrı olarak ele alınmıştır. Globus pallidus, pars interna (GPi) ve pars eksterna (GPe) olarak ikiye ayrılır. Substantia nigra ise pars reticularis (SNr) ve pars compacta (SNc) olarak ikiye ayrılır. Globus pallidusun ventral bölgesine ventral pallidum (VP) denir [17]. Bazal ganglianın temel girdi bölgesi Str, temel çıktı bölgesi de GPi ve SNr’dır. Str, substantia nigranın pars compacta bölgesinden dopaminerjik ve korteksten glutamaterjik giriş alır, fakat korteks ile resiprok bağlantısı yoktur. Str’un kortikal girişleri, assosiyasyon korteksi ve motor-duyusal korteksten gelir. Bu çekirdekçiklere gelen dopaminin nörotransmiterinin kaynağı, substantia nigra pars kompaktadır. Striatumun çıkışı globus pallidusa bağlanır ve gama aminobütirik asit (GABA), enkefalin ve P maddesi nörotransmiterlerini kullanır. Striatum bölgeleri, hangi korteks bölgesiyle başlıca bağlantısını yapıyorsa o bölgenin davranışsal özelliklerine benzer özellik sergiler. Str’da bulunan başlıca önemli nöron tipi medium spiny nöronlardır (MSN) ve baskılayıcı olan GABA nörotransmiterini salgılarlar. Birbirleriyle mikro devre olarak adlandırılan bağlantılar yaparak birbirlerini baskılarlar. Bu sayede Str içerisinde baskılayıcı bir geri besleme devresi oluşur ve bu geri besleme devresi yarışmalı örüntü sınıflandırma görevlerinde kullanılır [19]. NAc, korteks, amigdala, ventral tegmental alan (VTA) ve hipokampustan giriş alır. NAc için dopamin (DA) kaynağı VTA’dır. NAc’in GABAerjik nöronları ise VP’a bağlantı yaparak talamusun baskılanmasını sağlarlar. Bu devrede VP, bilgiye dayalı 6 limbik ve striatal girişleri birleştiren bir röle görevi yapar. NAc’in bu bağlantıları sayesinde davranışların etkinleştirilmesi ve güç harcanmasına dayalı (motor hareket ile sonuçlanan) karar verme ödevlerinde DA önemli bir rol oynamaktadır [20]. Globus pallidus, striatumdan giriş alır ve çıkışlarını talamusun ventrolateral ve ventral anterior çekirdekçiklerine gönderir. Ventral pallidum bölgesinin başlıca striatal bağlantısı nucleus accumbens iledir. Bu bölgedeki nöronlar, amigdaladan gelen uyarılara nucleus accumbens aracılığıyla tepki verir. Talamus çekirdekleri beynin orta bölümünde ve her iki yarıkürede birer tane bulunurlar. Talamus (Thl), kendisine bağlanan beyin yapılarından gelen girişleri korteksin işleyebileceği biçime dönüştüren bir çevirmen gibi düşünülebilir. Kortekse giden hemen tüm bağlantılar talamustaki sinaptik röleler üzerinden geçer. Anterior talamus çekirdekleri vücuttan gelen bilgileri alırlar ve öğrenme ile hafıza süreçlerinde görev alırlar [17]. Amigdala çekirdekleri, beynin iç orta bölgesinin derinliklerinde bulunan ve badem şeklinde gruplanmış nöronlardan oluşan yapılardır [17]. Anıların, dürtülerin ve duygusal tepkilerin işlenmesinde merkezi bir rol oynarlar. Amigdala (Aml), olumsuz duygusal durumların hatırlanmasından sorumludur [16]. Bazolateral amigdala (BLA), duygusal şartlandırılmış öğrenmeden sorumludur ve duyusal bir deneyime zihinsel değer ve önem atamada etkin bir rol üstlenir. Ayrıca yoğun duygusal değeri olan olayların zihinde işlenmesi için daha fazla kaynak ayrılmasını sağlayarak dikkat mekanizmasında görev alır [18]. Ventral tegmental alan (VTA), beynin alt tabanı yakınında, substantia nigranın üstünde bulunur. Beyindeki ödül mekanizmasının kaynağı olan, nucleus accumbense dopamin salgılayan hücreleri içerir. Bu sayede bilinç, motivasyon, bağımlılık gibi süreçlerde etkindir [17]. 2.1.1 Bazal Ganglianın Eylem Seçimindeki Rolü Bazal ganglia çekirdeklerinin, korteks ve talamus arasında yapısal ve işlevsel olarak farklı, fakat paralel çalışan döngüler aracılığıyla bağlantılar kurmuş olduğu ortaya çıkarılmıştır[21]. Bu döngülerin ayrıntılı incelenmesi [22], limbik sistem ile motor sistem arasında geri beslemeler içeren ve paralel çalışan döngüler sayesinde duygusal uyaranların işlendiğini ortaya koymuştur [23]. Bu döngüler, ortama uygun olan eylemlerin öğrenilmesinde ve uygulanmasında pekiştirmeli öğrenme yöntemini 7 kullanır ve bu sayede korteks bu eylemleri giderek daha hızlı ve doğru biçimde gerçekleştirmeye başlar [19]. Her bir döngü, bazal ganglia ve talamusun ayrı bölümlerini birleştirir ve frontal korteksin ayrı bir bölgesinde çıkış yapacak şekilde sonlanır. Bu döngülerin kabaca motor, okulomotor, iki adet prefrontal döngü ve limbik döngü olduğu düşünülmektedir. Her döngünün bazal ganglianın çıkış çekirdeğine (GPi) doğrudan bir bağlantısı vardır ve bu bağlantının aktivasyonu, döngünün talamik aşamasının baskılanmasını ortadan kaldırır. Aynı zamanda her döngü, dolaylı bir bağlantı yoluyla GPe üzerinden subtalamik çekirdeğe ve oradan da çıkış çekirdeğine uyarıcı yönde bağlanır. Yani her döngünün bazal çekirdekler üzerinde birbirine zıt yönde iki etkisi bulunur. 1990’lardan beri bilinen bazal ganglia eylem seçimi devresi Şekil 2.1’de verilmiştir. [24]’te verilen modele göre eylem seçimi için bazal gangliada doğrudan ve dolaylı olmak üzere iki yol izlenir. Her iki yolak da korteksten başlar ve globus pallidus interna (GPi), yani bazal ganglianın ana çıkış kapısı üzerinde birleşirler ve baskılayıcı etki sağlarlar. Doğrudan yolağın hareketleri seçmeye, dolaylı yolağın da istenmeyen hareketlerin gerçekleşmesini baskılamaya yol açtığı düşünülmektedir. Bu devrede etkili olan striatum, aslında neostriatum(kaudat ve putamen)dur. Doğrudan yol, korteksten Str’a giden glutamaterjik bağlantılarla başlar. Str nöronlarının bir kısmı doğrudan GPi’ye GABAerjik bağlantı yaparlar. GPi de talamusa (Thl) baskılayıcı bir bağlantıya sahiptir. Thl’tan kortekse giden yol ise harekete geçiricidir. Korteksin Str’u harekete geçirmesi GPi’yi baskılar. GPi etkinliğinin azalması sayesinde kendi üzerindeki baskılamanın kalkması nedeniyle Thl da korteksin motor bölgelerini uyararak istenilen hareketin gerçekleştirilmesini pekiştirir. Doğrudan yolağı Şekil 2.1.a’daki gibi özetleyebiliriz. Dolaylı yol da yine korteksin Str’u uyarmasıyla başlar. Bir başka grup Str nöronu globus pallidus eksterna’ya (GPe) GABAerjik bağlantı yaparlar. GPe de subtalamik nukleusa (STN) doğru baskılayıcı bağlantılara sahiptir. STN’den GPi’ye doğru olan bağlantılar ise harekete geçirici(glutamaterjik)dir. Str’un GPe’yi baskılaması nedeniyle GPe etkinliği azalır ve STN üzerindeki baskılama kalkar. STN daha etkin hale gelerek GPi’yi uyarır. GPi’nin uyarılması, Thl’un baskılanması ve motor korteksin daha az uyarılmasıyla sonuçlanır. Böylece istenmeyen hareketlerin yapılması engellenmiş olur (Şekil 2.1.b). 8 Şekil 2.1 Eylem seçici motor devresinin anatomisi. a) Doğrudan yolak b) Dolaylı yolak. Kırmızı oklar o yolakta etkin olan baskılayıcı (GABAerjik), yeşil oklar ise harekete geçirici (glutamaterjik) bağlantıları göstermektedir. Siyah bağlantıların niteliği yazıda anlatılmıştır. DA: dopamin, GPe: globus pallidus externa, GPi: globus pallidus interna, SNc: substantia nigra pars compacta, SNr: substantia nigra pars reticulata, STN: subtalamik nukleus. Bu eylem seçimi modeline göre her iki yolak da normal zamanlarda dengededirler. Đki yolun birleştiği GPi/SNr çıkışındaki toplam etkinin dengeden ufak sapmalarıyla eylem seçimi gerçekleşir. Yolaklardan birinin anormal derecede etkinleşmesi durumunda azalan GPi/SNr çıkışı gereksiz ve fazla sayıda hareket yapılmasına, artan GPi/SNr çıkışı ise hareketlerde durgunluğa (Parkinson hastalığı) yol açar. Doğrudan ve dolaylı yolaklara ek olarak korteks ile STN arasında uyarıcı bir bağlantı vardır ve bu yol üstdoğrudan yolak olarak adlandırılır [25]. Bu yol vasıtasıyla korteksteki etkinlik STN’u ve onun üzerinden GPi’yı uyarır ve Str üzerinden geçen yol kısa devre edilmiş olur. STN’un etkinleşmesiyle birlikte halihazırda süregen şekilde (tonik) olarak uyarılmış olan GPi iyice uyarılır ve böylece Thl üzerindeki baskılama daha da artar. Üstdoğrudan yol üzerinden gönderilen baskılama ile aynı anda birkaç olası seçenek yarışırken bazal ganglia sisteminin bunlar arasından en uygun olanını belirlemesi için iyice hesaplaması sağlanmış olur. 9 Son yıllarda yapılan çalışmalarla genel kabul görmüş olan bu dorsal striatal eylem seçimi devresine ek olarak, ödüle dayalı ve nukleus accumbensin (NAc) etkisini içeren bir model öne sürülmüştür [26]-[27]. Bu model de yine korteksten NAc’e gelen glutamaterjik bağlantılarla başlar ve doğrudan ve dolaylı olmak üzere iki yoldan yürür. Şekil 2.2 NAc yoluyla ödüle dayalı eylem seçimini gerçekleştiren bazal ganglia devresi. a) Doğrudan yolak b) Dolaylı yolak. Kırmızı oklar o yolakta etkin olan baskılayıcı (GABAerjik), yeşil oklar ise harekete geçirici (glutamaterjik) bağlantıları göstermektedir. D1, D2: D1 ve D2 tipinde dopamin almacına sahip sinir hücreleri, DA: dopamin, GPi/SNr: globus pallidus interna/substantia nigra pars reticulata, NAc: nukleus accumbens, STN: subtalamik nukleus, THL: talamus, VTA: ventral tegmental alan, VP: ventral pallidum. NAc’in ödül tepkisi, ventral tegmental alan(VTA)dan gelen DA ile sağlanır. Uyarılma sonucu NAc DA nöronları patlama (burst) biçiminde ateşlenirler. NAc nöronlarında DA ile etkileşime giren çeşitli almaçlar vardır. Bunlardan en önemlileri D1 ve D2 almaçlarıdır. D2 almaçları merkezi sinir sisteminde en fazla sayıda bulunan DA almacı tipidir ve gecikmiş pekiştiriclerin seçimini teşvik ettikleri düşünülmektedir [28]. D1 almaçlarının etkinleşmesi üzerinde bulundukları nöronun uyarılmasına, D2 almaçlarının etkinleşmesi ise tam tersi nöronun baskılanmasına 10 neden olur. Her iki tip almaç da bir nöronda aynı anda bulunurlar ancak DA varlığında toplam etkileri nöronun davranışını (uyarılma/baskılanma) uyarlar. Tezin ilerleyen bölümlerinde doğrudan yolakta Str/NAc nöronlarının uyarılmasını sağlayan D1 almaçları daha etkin olduğundan Str/NAc yapılarında bu yolakta görev alan nöronlar D1 nöronu, benzer biçimde dolaylı yolakta görev alan nöronlar da D2 nöronu olarak adlandırılmıştır. DA, uygulanması en fazla ödül getirecek uyarı-eylem bağıntısını simgeleyen NAc nöronlarının ateşlenmesini artırır. Prefrontal korteksten (PFC) gelen uyarılma ve DA etkisiyle NAcSNr arasındaki doğrudan bağlantı baskılayıcıdır. Ventral pallidum (VP) ve STN üzerinden giden dolaylı yol (Nac VP STN SNr) vasıtasıyla da SNr nöronları NAc tarafından uyarılırlar. DA’e bağlı NAc nöronlarının ateşlenmesi doğrusal yol vasıtasıyla baskılamayı kaldırırken dolaylı yol üzerinde baskılamaya yol açar (Şekil 2.2). Dorsal striatal eylem seçimi devresinde olduğu gibi, GPi/SNr’nin Thl’u baskılaması veya baskılamayı kaldırması sayesinde eylem seçimi gerçekleşir. D1 nöronları doğrudan yol, D2 nöronları da dolaylı yol üzerinde etkilidir. Pek çok uyaran-eylem bağıntısı zayıf olarak ama aynı anda etkin olduğundan NAc nöronları düşük oranda süregen (tonik) ateşlenirler. Bunun net sonucu, D2 nöronları daha fazla sayıda olduğundan, dolaylı yol vasıtasıyla eylemin engellenmesidir. DA salgılanmasına yol açan bir uyaran, dolaylı yolun harekete geçirmesini bastıracak kadar doğrudan yol nöronunun ateşlenmesini artırarak belirli bir eylemin seçilmesini sağlar [27]. Ventral striatumun dopamin (DA) nöronları vasıtasıyla dorsal striatum üzerinde etkisi olması, bazal ganglianın limbik bölgelerinin (ventral) motor bölgelerini (dorsal) etkileyebileceğini göstermektedir [29]. Burada nörofizyolojik temelleri özetlenen eylem seçimi devresine ilişkin hesaplamalı modeller tez çalışmasında önerilecektir. Tez çalışmasının üçüncü bölümünde anlatılan hesaplamalı model, dorsal eylem seçimi devresini konu almaktadır. Dördüncü bölümde anlatılan hesaplamalı model ise hem dorsal hem ventral eylem seçimi devrelerini içermektedir ve bunların kurgulanmıştır. 11 bir arada çalışması üzerine 2.2 Duygusal Devrelerin Etkin Olduğu Bir Süreç: Bağımlılık Bağımlılık davranışları, karar verme mekanizmasının en çarpıcı biçimde yer aldığı duygusal bilişsel süreçlerden biridir. Nikotin bağımlılığı ise toplumda en yaygın gözlenen ve üzerinde en çok çalışma yapılmış bağımlılık türüdür. Bu tez çalışmasında geliştirilen modelde kullanılan yaklaşım, pekiştirmeli öğrenmenin bağımlılık davranışlarını kalıcı hale getiren etken olduğu ve nikotine karşı kanda oluşan metabolik tepkilerin sürecin başlangıcını ve ilerlemesini tetiklediğidir. Beyindeki farklı nörotransmiterler, bu süreçte görev alırlar ancak önerdiğimiz modelde konu dopaminerjik açıdan ele alınmıştır. Madde bağımlılığının nedenleri ve ortaya çıkış süreci farklı yaklaşımlarla ele alınmaktadır [30]-[32]. Bunları kabaca şu başlıklar altında sıralayabiliriz: kalıtsal kuramlar (genetik mirasın yol açtığı bağımlılık), metabolik kuramlar (bağımlılık yapan maddelere karşı gelişen biyolojik tepkiler), şartlandırma kuramları (edimsel öğrenme ve şartlanma süreçlerinin etkisi), ve uyum kuramları (bağımlılık yapan maddelerin etkisinin sosyal ve psikolojik sonuçları) [33]. Bağımlılığı anlamaya yönelik geliştirilen hesaplamalı modeller ise bu sayılanlardan özellikle metabolik ve şartlandırma kuramları üzerinde durmaktadır [34]-[35]. Bu tez çalışmasında önerilecek bağımlılığa ilişkin hesaplamalı model de şartlandırma kuramları göz önüne alınarak geliştirilmiştir. Yıllar boyunca bağımlılığın nedenlerini ve nasıl geliştiğini açıklamak adına sayısız kuram ve formül geliştirilmiştir. Bunlardan şartlanma modelleri üzerine geliştirilmiş olanlar, psikolojideki davranış kuramına göre bağımlılık maddesinin kuvvetli bir pekiştirici olduğunu savunurlar. Klasik şartlandırmaya göre önceleri nötr olan uyaranlar bir pekiştiricinin varlığında bağımlılık ile ilişkilendirilir ve bu nedenle bağımlıların bağımlılık davranışlarını aynı çevresel koşullar gerçekleştiğinde tekrarlaması kolaylaşır [34]. Bağımlılık açısından öncelikli pekiştiricinin haz duygusu olduğu bazı kuramlar tarafından savunulmaktadır [34],[36]. Bir sonraki bölümde anlatılacak olan bağımlılığa ilişkin hesaplamalı model geliştirilirken pekiştirmeli öğrenmeye dayalı olarak şartlanmanın etkisi ele alınmıştır. Bağımlılık, bir maddeden normalin ötesinde hoşlanma durumu ise ve bağımlılığın gelişmesi de bir tür öğrenilen davranış ise, hoşlanma duygusunun ardında nasıl bir mekanizma vardır? Aşırı hoşlanma durumu, hoşlanılan maddenin yokluğundan 12 duyulan üzüntünün de daha yoğun hissedilmesine yol açacaktır. Bunun sonucunda birey saplantılı (compulsive) bir arayış içine girer. Hoşlanma ve kayıptan kaynaklanan üzüntü birbiriyle ilişkilidir ve bu ilişkideki bir bozulma bu duygulardan birinin aşırı hissedilmesine, dolayısıyla da bağımlılık davranışları sergilenmesine yol açmaktadır. Bu süreç psikolojide karşıt süreçler olarak adlandırılan yaklaşımla ele alınmaktadır ve bu tez kapsamında geliştirilen bağımlılığa ilişkin hesaplamalı modelde de karşıt süreçlerin etkisi hesaba katılmaktadır. Bu bölümde, tez çalışması sırasında geliştirilen modelde kullanılan ve bağımlılığın gelişiminde rol alan beyindeki limbik sistem bileşenleri anlatılacak ve bağımlılıkla ilgili moleküler düzeydeki değişiklikler üzerinde durulacaktır. Bağımlılık gelişiminde etkili olan karşıt süreçler ve pekiştirmeli öğrenme mekanizmalarına dair nörofizyolojik yapılara özellikle ele alınan nikotin bağımlılığı açısından değinilecektir. 2.2.1 Bağımlılığın Nörofizyolojik ve Davranışsal Temelleri Bağımlılık, bir maddeye karşı olağanüstü hoşlanma/düşkünlük gösterilmesidir ve bağımlılığın gelişmesi de bir davranışın öğrenilmesi olarak düşünülebilir. Bağımlı olunan maddeye olması gerekenin çok üzerinde değer verilir ve bu abartılmış değer yüzünden maddenin alımı sıklaşır [37]. Değeriyle orantılı olarak bağımlı olunan maddenin eksikliği, bir stres ve üzüntüye neden olur ve bu olumsuz duygular maddenin sürekli aranması için dürtü oluşturur [31]. Maddenin hoşa gitmesi ve eksikliğinden üzüntü duyma birbiriyle yakından ilişkili iki karşıt duygudur ve bu ilişkideki bir bozulma duygulardan birinin şiddetli hissedilmesine neden olarak bağımlılık davranışlarına yol açar. Dünya Sağlık Örgütü, bağımlılığı fizyolojik, davranışsal ve bilişsel olgular içeren bir sendrom olarak tanımlamaktadır. Bir kişi bağımlı hale gelmeden önce bağımlılığa sürükleyen hücreler arası bağlantıdaki esnekliğin (sinaptik nöroplastisite) tersine döndürülebileceği bir dönem vardır, dolayısıyla esneklikteki bazı kalıcı değişikliklerin bağımlılığın nedeni olduğu düşünülmektedir. Bu nedenle bağımlılığı beyindeki mezolimbik ödül sisteminde ödüllendirici eylemlere verilen tepkileri geri dönüşsüz olarak değiştiren bir bozukluk olarak ele alabiliriz. Esneklik kaybolduğundan eylemlerin (yeni) değerleri öğrenilemez ve önceki eylemlere ait öğrenilmiş değerler kalıcı olarak kodlanır. Ödül mekanizmasındaki bu kalıcı 13 değişiklikler nedeniyle bağımlılar, genellikle tamamen iyileşemezler ve tedaviden sonra tekrar madde alımına başlarlar [31]. Bu tezde bağımlılığa, yukarıdaki tanımlara göre öğrenmeyi sağlayan esnekliğin bozulması olarak yaklaşılmış ve bağımlılık gelişmesi gelişigüzel seçimlerden takıntılı duruma geçişin öğrenilmesi ve bozulan esneklik nedeniyle öğrenilen bu bilginin değiştirilmemesi olarak ele alınmıştır. Örnek olarak toplumda genel olarak yaygın bir bağımlılık türü olan sigara bağımlılığının gelişme evreleri rasgele düşünmeden arada bir içmeye, arada birden kronik içiciliğe, ve kronik içicilikten bağımlılığa geçiş olarak verilmektedir [30]. Ani tepkisel davranışlar, bireyin iç ve dış uyaranlara karşı olası olumsuz sonuçları dikkate almadan gösterdiği hızlı ve plansız tepkilerdir. Dürtüsel davranışlar ise yanlış veya olumsuz olduğu bilinen seçimlerde ısrarcı olma davranışıdır. Bağımlılık düşüncesizce gelişen davranışlardan (impulsive) dürtü nedeniyle takıntılı olarak tekrarlanan davranışlara (compulsive) geçilen bir davranış biçimi olarak ele alınabilir. Bu geçiş sırasında istenen davranışı güden olumlu pekiştiricilerden istenen davranışı güden olumsuz pekiştiricilere doğru bir kayma söz konusudur [38]. Bağımlılığa giden süreçte sigara içme davranışı önce çevreden kaynaklanan strese karşı bir tepki olarak gerçekleştirilirken giderek içsel istekleri ve dürtüleri (kanda artan/azalan nikotin düzeyi gibi) bastırmak için tekrarlanan bir davranışa dönüşür [32]. 2.2.2 Karşıt Süreçlerin Nörofizyolojik Temelleri Bağımlılığın davranışsal temelleri, karşıt süreçler kuramına dayanır. Solomon ve Corbit tarafından geliştirilen karşıt süreçler kuramı [36], hoşlanılan dürtüsel davranışlara yol açan koşullanmaları açıklamakta kullanılır. Karşıt süreçler (opponent processes) kuramının merkezinde, bireyi seçim yapmaya iten koşulların yalnızca maddelerin ödüllendirici nitelikleri değil, bireyin genel deneyim ve içinde bulunduğu durum ile de belirlendiği yer alır. Karşıt süreçler modelini ana hatlarıyla şöyle özetleyebiliriz: hoşa giden veya gitmeyen bir uyaranla aniden karşılaşıldığında hızlıca bir tepki oluşur ve bu tepki Şekil 2. 3’te gösterildiği gibi çabucak tepe noktaya varır. Uyaranın durumu değişmediğinde bu tepkinin eğrisi yavaşça bir denge noktasına ulaşır ve orada kalır. Uyaran aniden ortadan kalktığında ise bu ilk tepki ortadan kaybolur ve tam ters nitelikte bir tepki hızlıca gelişerek ters yönde tepe noktasına ulaşır, sonra da zamanla kaybolur. Đlk gelişen tepki A-süreci, uyaran yok 14 olduğunda gelişen tepki ise B-süreci olarak adlandırılır. B-sürecine, ilkine zıt bir duyguya karşılık geliştiğinden “karşıt süreç” denir ve oluşma sıklığı arttıkça kuvvetlenir, seyrekleştikçe zayıflar. B-süreci, A-sürecinin varlığına bağımlı bir süreçtir çünkü A-süreci tarafından dolaylı olarak uyarılır. Sağlıklı bireylerde karşıt süreçler yaklaşık olarak aynı düzeyde oluşur (ör: korku ve arkasından gelen rahatlama) ama bağımlılarda B-sürecinin denge noktasına erişmesi daha uzun sürer ve daha büyüktür [36],[39]-[40]. Karşıt süreçler davranışsal olguları açıklamakta kullanılmakla birlikte metabolik olgular için de söz konusudur. Sigara içildiğinde kandaki nikotine tepki veren ve nikotin bağımlığında etkili olan nikotinik asetilkolin almaçlarının nikotin varlığında uyarılma durumları bir tür karşıt süreç tepkisidir (Şekil 2. 3). Şekil 2. 3 Karşıt süreçlerin bağımlılığın gelişmesiyle değişmesi. Nikotinik asetilkolin almaçlarının kandaki nikotin düzeyine (gri çizgi) verdiği tepkinin sağlıklı insanlardaki (kesikli çizgi) ve bağımlılardaki (siyah çizgi) karşıt süreçler açısından karşılaştırılması (bölüm 3.4.2’de verilen denklemlerden yararlanılarak çizdirilmiştir) Bağımlılık geliştiğinde beyindeki ödül düzeyi algısı da değişir ve böylece A- ve Bsüreçlerinin büyüklükleri azalır. Ortamdaki bağımlılığa yol açan madde miktarını gösteren nötr düzey de düşer. Örneğin sigara içen biri, başlangıçta sigaraya karşı olumlu ya da olumsuz duygular beslemez. Bir süre sigara içtikten sonra sigara içme 15 eylemi kişiye kendini iyi hissettirmeye başlar ve sigara tamamen yanıp bittiğinde sigaranın yokluğu olumsuz bir duygu olarak deneyimlenir. Bu olumlu ve olumsuz ruh halleri, karşıt süreçlerdir. Tezin üçüncü bölümünde anlatılacak olan modelde, karşıt süreçler nikotinik asetilkolin almaçlarının kandaki nikotin düzeyine verdiği tepki olarak görülmektedir. Bağımlılık dinamik bir döngü olarak düşünülebilir. Bu döngü içerisinde birden fazla pekiştirici bağımlılığın gelişmesine katkıda bulunur [39]. Olumlu pekiştiriciler, madde kullanımının onu elde etme olasılığını artırdığı durumlarda etkinken, olumsuz pekiştiriciler ise hoşa gitmeyen bir durumun veya yan etkinin ortadan kalkması yoluyla madde alımını etkilerler (örneğin, sigara içmekten kaynaklanan öksürük azaldığında yeniden sigara içmeyi istemek gibi). Stres ve yoksunluk duygusu da madde alımını teşvik ederek bağımlılığın gelişimine katkıda bulunur. Olağandışı koşullara uyumlanmış denge (allostasis), organizmanın tüm sistem ve parametrelerini olağan duruma uyumlanmış (homeostatik) denge durumundan farklı bir duruma kronik istekleri karşılamak üzere uyarlamasıdır [39]-[40]. Bir başka deyişle kararlılığa erişim durumu (allostasis), değişiklikler devam ederken bünyenin kararlılığını korumasıdır ama bunun da bir bedeli vardır. Bu noktada, bağımlılık maddesinin ödül olarak algılanmasındaki değişikliğin kararlılığa erişim durumuna bir uyum gösterme olduğu ve korunması gereken kararlılığın da ödül fonksiyonunun kararlılığı olduğu söylenebilir. Dopamin (DA) gibi ödül ile ilgili nörotransmiterler, bir noktaya kadar bunu sağlayabilirler. Madde bağımlılığı açısından beyindeki güdüleme (motivasyon) sistemlerinin çalışması incelenirse, bir maddenin beyindeki ilk etkisinin (A-sürecinin), beyin sistemlerindeki kararlı (homeostatik) değişiklikler (B-süreci) olarak karşılandığı savunulabilir [40]. Beyindeki ödül mekanizmasının işleyişinin bozulması bağımlılığa yol açtığından buna bağlı oluşan olumsuz duygu madde kullanımını artıracaktır. Ödül mekanizması bir kez bozulduktan sonra, ödül fonksiyonunun normal homeostatik sınırlarını belirleyen karşıt süreçler (B-süreçleri), tekrar normal sınırlar arasına dönemez. 2.2.3 Đlişkisel Öğrenme ve Pekiştirmeli Şartlanmanın Nörofizyolojik Temelleri Bağımlılığın gelişimine ilişkin kuramlar arasında pekiştirmeli öğrenme ve ilişkisel süreçleri kullananlar baskındır. Pekiştirmeli öğrenmeye odaklanan koşullanmacı yaklaşımda bağımlılık bir olumlu pekiştirici vasıtasıyla maddenin kullanımı olarak 16 tanımlanmaktadır [33]-[35]. Bağımlılığa yol açan maddenin hoşa giden ödüllendirici nitelikleri, bireyin o maddeyi arama davranışlarının artmasına yol açar. Dolayısıyla bağımlılığa yol açan maddeler, belirli bir davranış sonucu elde edilen ödülün artmasını sağlayan pozitif pekiştiricilerdir. Birey, maddeyi her tüketmeye karar verdiğinde bu eylemin değeri ilişkisel hafızada saklanır. Bir sonraki karar anında bu saklanmış değer, aynı eylemin tekrar seçilme olasılığını belirler. Pekiştirmeli öğrenme, durumları, yani seçenekleri, eylemler ile birleştiren bağıntıları keşfetme sürecidir. Bunu yaparken amaç, sayısal bir ödül işaretini en yüksek değere ulaştırmaktır [41]. Pekiştirmeli öğrenmenin iki önemli unsuru, keşfetmek ve kullanmaktır. Keşifler, deneme-yanılma yöntemi ile yapılır ve dolayısıyla ödüller karar anında değil, daha geç elde edilir. Hatta ödüller anlık değil, daha sonraki adımları da değiştirecek biçimde uzun vadeli olabilir (örneğin bulunulan adım için en yüksek değerde olmayan ödül birkaç adımlık ilerleme sonunda birikerek en yüksek değeri alabilir). Öğrenici, halihazırda sahip olduğu bilgiyi kullanarak ödül elde eder, fakat aynı zamanda gelecekte daha iyi eylemleri seçebilmek için keşifler de yapması gerekir. Pekiştirmeli öğrenmede dört önemli unsur vardır [41]. Strateji, öğrenicinin verilen bir zamandaki davranışını belirleyen, durumlardan eylemlere doğru bir eşleştirmedir. Ödül fonksiyonu, amacı belirler ve her durum-eylem çiftini o durumun istenirliğini gösteren bir sayı ile eşleştirir. Değer fonksiyonu, uzun vadede neyin iyi olduğunu belirler ve bir durumdan başlayarak gelecekte elde edilebilecek toplam ödülü gösterir. Ödüller, bir durumun anlık istenirliğini gösterirken değerler, birbirini takip eden durumların getireceği ödüllerin toplamını gösterir. Dolayısıyla o an için en fazla olmayan ödülü veren durum seçilebilir ancak takip eden durumlar göz önüne alındığında en fazla toplam ödül elde edilebilir. Son olarak, ortam modeli planlama yapmak için kullanılır. Bu tez çalışmasında pekiştirmeli öğrenme hem beyindeki öğrenme sürecini ifade etmek hem de makine öğrenmesindeki hesaplama yöntemini ifade etmek için kullanılmaktadır. Üçüncü bölümde anlatılan model, pekiştirmeli öğrenmeye ilişkin bir hesaplamalı modeldir. Gerçekten de bir öğrenme yapısı olarak pekiştirmeli öğrenme, beyindeki bazal ganglia döngüleri ve VTA’ı içeren öğrenme sürecine denk düşmektedir. VTA ve SNc nöronlarından salgılanan DA’in ödül beklentisine dair hatayı kodladığı ve DA’in hedef bölgelere ulaşmasının ödül artırıcı eylemlerin ve 17 beklentinin işleme konulmasını etkilediğine dair bir hesaplamalı model [42]’de önerilmiştir. [35]’te DA ve bağımlılık ilişkisi pekiştirmeli öğrenme ve klasik şartlanma kuralları açısından incelenmiştir. Pekiştirmeli öğrenmenin en iyi seçimi yapmayı denetleyen, hem psikolojik hem de nörolojik bir kuram olduğu öne sürülmektedir. Bu denetim mekanizması iyice anlaşıldığında bağımlılıktaki en iyi dışındaki seçeneklere uyum göstermiş hatalı karar verme sürecini anlamak mümkün olabilecektir. 2.2.4 Ödül Sistemi ve Dopamin Mezolimbik ödül sisteminde, dolayısıyla bağımlılık mekanizmasında rol alan en önemli nörotransmiter dopamindir ve bu tez çalışmasında bağımlılık döngüleri yalnızca dopaminerjik bakış açısıyla incelenmiştir. Ödül sisteminde, olası davranış seçimlerinin değerleri önceki eylemlerin sonuçlarına dayanılarak hesaplanır ve bu değerler hafızada saklanır. Bu saklanan bilgi de gelecekteki eylemlerin sonuçlarını tahmin etmek için kullanılır. Eylemin sonucuyla tahmine ilişkin ödül değeri arasındaki farka ait hatanın dopamin (DA) tarafından kodlandığı düşünülmektedir. Bu hata değeri gelecekteki seçimler sırasında kullanılmak üzere saklanmış bilgiyi güncellemekte kullanılır. Bu nedenle DA, ödül kazancını artıracak biçimde gelecekteki eylemleri biçimlendirir denebilir [37],[39]. Bir eylemden elde edilen ödül ne kadar büyük olursa o eylem o kadar sık tekrarlanır. DA ödül-değer bağlantısını pekiştirir ve bağımlılık davranışlarının gelişmesinde önemli role sahiptir [43]-[44]. DA iletimindeki bozulmalar, DA sisteminde ilişkisel olmayan, uzun süreli, ve sonunda geri döndürülemez değişikliklere (DA duyarlılaştırması – sensitization) neden olarak bağımlılık gelişmesine yol açar [45]. Beyinde DA salgısı için iki kaynak vardır: ventral tegmental alan (VTA) ve substantia nigra pars compacta (SNc). VTA’daki DA nöronları, limbik önbeyin (NAc, amigdala, ve hipokampus) ve PFC ile bağlantı yaparlar. SNc’daki DA nöronları ise dorsal striatum (kaudat ve putamen) ile bağlantılıdırlar [37]. Doğal ödüller ve bağımlılık yapan maddeler, nucleus accumbensteki (NAc) sinaptik DA miktarını artırarak benzer biçimde davranışları etkilerler. NAc ile birlikte, amigdala ve PFC de ödüllerin değerlendirilmesinde ve ödüller ile ilişkili anıların oluşturulmasında önemli role sahiptirler. NAc’deki DA salgısı, bir amacın zevk veren özelliklerini motivasyon ile ilişkilendirir ve böylece ödül ile ilgili davranışların 18 oluşturulmasında kritik bir rol oynar. Yani DA, ödül ile ilişkili öğrenme için değil ama ödül elde etmeye yönelik motivasyonel davranışlar için gereklidir. Ödül elde etmeye yönelik etkin eylemlerin bilgisi dorsal striatumda saklanır. PFC, canlıyı başarılı bir biçimde amaca yönlendirmenin yanında zararlı tepkileri de baskılar. NAc, PFC, amigdala, ve dorsal striatuma ulaşan DA salgısı belirli deneyimlerin motivasyonel önemi ve değerini belirler. Ventral tegmental alandan (VTA) salgılanan nöromodülatör DA sistemine daha yakından bakınca iç dinamiği açısından iki önemli eleman olduğunu görürüz: VTA için ana uyarıcı bağlantılar amigdala (Aml) – lateral hipotalamus (LH) – pedunculopontine tegmental nucleus/laterodorsal tegmental nucleus (PPTg/LDTg) bloğundan gelen asetil kolin (ACh) ve kortikal bölgelerden (özellikle prefrontal korteks – PFC) gelen glutamat(Glu)tır. Bu projeksiyonlar VTA’daki DA ve gama amino-bütirik asit (GABA) nöronlarına sinaps yaparak bunların etkinliklerini kontrol ederler (Şekil 2.4). VTA’nın ana baskılayıcı girişleri nucleus accumbens (NAc) ve ventral pallidum(VP)dan gelen GABAerjik bağlantılardır. VTA’nın iç dinamiği, DA ve GABA nöronlarının etkileşiminden oluşur. GABA nöronlarının etkinliği ACh ve Glu salgısı nedeniyle artar ve GABA nörotransmiteri daha fazla salınmaya başlar. Öte yandan artan GABA etkinliği, DA nöronları üzerinde baskılayıcı bir etkiye sahiptir. DA ve GABA nöronlarına aynı anda ulaşan Glu salımı, başlangıçta DA nöronu etkinliğini biraz artırır. Ancak artan GABA nöronu etkinliği ile birlikte DA salgılanmasında hızlı bir düşüş görülür. Buna karşın DA nöronlarına ACh girmesi DA salgısını azaltır. Böylece GABA etkinliğinin en yüksek seviyeye ulaştığı anda DA nöronu etkinliği de en alt düzeye inmiştir. GABA nöronlarının kendi üzerlerindeki etkisiyse baskılamanın baskılanması biçiminde olup, DA nöronlarına giden GABA salgısını azaltarak dolaylı yoldan DA salgısının artmasını sağlar. GABAerjik nöronların GABA’ya olan duyarlılığı, DAerjik nöronların GABA duyarlılığından 20 kat kadar fazladır [46]. VTA’ya aynı anda ACh ve Glu verildiğinde GABA nöronu etkinliği çok daha yüksek düzeylere çıkarken DA nöronu etkinliği iki fazlı hale gelir. Yani DA salgısı başlangıçta artarak GABA salgısının en yüksek düzeye ulaştığı anda tepe noktasına gelir, ancak sonra çok hızlı azalarak karşıt süreçlerin karakteristik eğrisini meydana getirir. VTA DA nöronları, VTA GABA nöronlarının baskılamasıyla DA salımını azaltırlar. Ancak hem dopaminerjik hem GABAerjik VTA nöronları açısından asıl harekete 19 geçirici nörotransmiter PFC’den salgılanan glutamat(Glu)tır. VTA’dan NAc’e DA salgılanmasını sağlayan ana etken, PFC’in Glu salgısıdır. NAc, artan DA salgısına karşılık olarak VTA’a GABA salgılar ve özellikle VTA GABAerjik nöronları üzerinde etkili olur. VTA DA salgısının artmasında PPTg/LDTg (laterodorsal tegmental nukleus) kompleksinden salgılanan Glu’ın etkisi vardır ve bu bağlantı, dopaminerjik nöronların patlamalar halinde ateşlenmelerine yol açar [26]. PPTg/LDTg bu etkisiyle madde bağımlılığında karşıt süreçlerin güdüleme mekanizmasını oluşturması açısından önemli bir role sahiptir [47]. VTA DA ve GABA nöronlarını etkileyen başka girişler de vardır. Amigdala (Aml) / lateral hipotalamus (LH) kompleksi ve PPTg/LDTg kompleksinden salgılanan asetilkolin (ACh) nörotransmiteri, VTA nöronlarını harekete geçirir [48]-[50]. Ancak Glu ile karşılaştırıldığında ACh, ikinci derece bir uyarandır. ACh salgılayan hücreler, VTA DA nöronlarına seyrek olarak sinaps yaparlar. Ayrıca amigdala, VTA sistemini bazen etkilerken bazı durumlarda etkisiz kalmaktadır. Şekil 2.4 VTA’daki DA ve GABA nöronları üzerinde etkili nörotransmiterler. ACh, asetil kolin; DA, dopamin; GABA, gama amino-bütirik asit; Glu, glutamat; NAc, nucleus accumbens. Sürekli nikotine maruz kalmak duyarsızlaştırmaya (desensitization) neden olarak GABA nöronlarının ACh varlığında gösterdikleri etkinliğin azalmasına yol açar. GABA nöronlarından gelen baskılamanın azalması da DA nöronlarının uzun süreli uyarılmasını sağlayarak DA nöronu etkinliğini dinlenme durumundakinden de yüksek seviyelere taşır (kanda tonik nikotin yokken bile) [48]-[51]. 20 Kolinerjik nöronlar (ACh salınımı), öğrenilmiş bir ödevdeki potansiyel seçimlerin bilgisine ait beklentiyi kodlar. Dolayısıyla ACh işareti, öğrenilmiş bir ödeve ait isteklerin içsel gösterimidir [48],[51]-[52]. Glutamaterjik nöronlar (Glu salımı) ise karar alma davranışları yani eylem seçiminde görev alan dorsal striatum ile ilişkili beyin bölgelerinin öğrenme süreçlerinden sorumludur [4],[48],[51]. Uzun süreli nikotin verilmesi durumunda karşıt süreçler yüzünden DA’in ödüllendirici etkisi azalır. Bu durum da DA nöronu plastisitesini değiştirerek nikotin metabolizmasını kontrol eden ventral DA yolağında bir kontrol açığı oluşmasına yol açar. Đşte bu noktada dürtüsel nikotin arayışı başlamış olur [48],[51]. Mezokortikal DA sistemi ve bu sistemin glutamaterjik geri besleme döngülerindeki bu değişiklikler, bağımlı olunan madde arayışını ve tekrar tekrar madde kullanımına başlamayı tetikleyen etkilere sahiptir [31]. 2.3 Bağımlılığı Açıklamak Đçin Geliştirilmiş Hesaplamalı Modeller Madde bağımlılığını DA açısından ele alan matematiksel modeller, DA’in ödül sistemindeki etkisini araştıranlar, pekiştirmeli öğrenme ve eylem seçimindeki rolünü inceleyenler ve karşıt süreçleri nörodinamik DA sistemi olarak açıklamaya çalışanlar olarak gruplanabilir [53]. Pekiştirmeli öğrenme kısaca bir amacı gerçekleştirmek üzere çevre ile etkileşimde bulunurken edinilen deneyimler sayesinde öğrenme olarak tanımlanabilir. Eylemde bulunan (karar alıcı - aktör), sürekli olarak bir eylemi seçmek için ortam ile etkileşim içindedir ve ortam her eyleme karşılık olarak karar alıcıya yeni durumlar sunar [41]. Karşıt süreçler kuramına göre bir bireyi karar almaya iten koşullar sadece eylemin ödüllendirici veya kaçınılması gereken niteliğine değil, aynı zamanda bireyin genel deneyimine ve o anki durumuna da bağlıdır [36]. Bu bölümde önce karşıt süreçler ve pekiştirmeli öğrenmeye ilişkin matematiksel sinir sistemi modelleri tanıtılacak; sonra da bağımlılık gelişmesiyle ilgili nörodinamik modeller anlatılacaktır. 2.3.1 Karşıt Süreçler ve Pekiştirmeli Öğrenme Modelleri Madde bağımlılığı ile ilgili farmakolojik modeller, pozitif ve negatif geri besleme modelleri olarak ele alınabilirler. Pozitif geri besleme modelleri, madde kullanımının 21 amaca yönelik davranış değil de beyindeki madde miktarının azalmasıyla otomatik olarak tetiklenen bir süreç olduğunu savunurlar. Negatif geri besleme modelleri ise madde kullanımının bir tür amaca yönelik davranış olduğunu iddia ederler. Bu iki yaklaşımın eksik tarafı, bağımlılığın oluşumuna bir açıklama getirmemeleridir. [54]’te verilen hesaplamalı model, buna iyi bir örnektir. Bu modelde zamansal fark pekiştirmeli öğrenme (TDRL) ilkesi kullanılarak her durumun değeri hesaplanmıştır. Ancak bu model, ödülün öğrenmedeki yerini açıklayamamaktadır. Karşıt süreçler, beyindeki duygusal sistemleri açıklamakta, özellikle de deneyimlerin değerlendirilmesi ve ödül beklentisinin hesaplanmasında önemlidir. Bu alt bölümde, bağımlılık ve amaca yönelik davranışları modellemek için karşıt süreçlerden yararlanan çalışmalardan yaklaşımları açısından önemli olan bazılarına değinilecektir. Grossberg ve Gutowski [55], karar almada karşıt süreçlerin etkisini açıklamak için kapılanmış dipol (gated dipole) yapısını geliştirmişlerdir. Önerdikleri kuram, riskli durumlardaki karar alma sürecini psiko-fizyolojik mekanizmalara dayanarak açıklamaktadır. Bir sinir hücresinin çıkışı, girişine ve dinamik olarak değişen nörotransmiter denklemine bağlı olarak hesaplanmaktadır. Sabit giriş işaretiyle yavaş değişen nörotransmiter konsantrasyonunun çarpımı, çıkış işaretinde hızlı bir yükselme, oturma ve hızlı bir düşüş olmak üzere farklı fazlar oluşturmaktadır. Bu şekilde çalışan iki sinir hücresinden oluşan minimal sinir ağı yapısına kapılanmış dipol denmektedir. Bu çalışmada kapılanmış dipol içeren karşıt süreç modeliyle bir pekiştiricinin varlığı ve yokluğunun şartlı uyaranlar ile nasıl ilişkilendirilebileceği gösterilmiştir. Bu modelde elde edilen çıkışlar Solomon ve Corbit’in [36] karşıt süreçler tarifiyle oldukça uyumlu olmakla birlikte bazı farklar da vardır. [36]’da karşıt süreçler iki zıt duygusal sürecin farkı olarak açıklanmakta ve konu yalnızca davranış psikolojisi açısından ele alınmaktadır. Dolayısıyla matematiksel bir açıklama ya da iki zıt sürecin farklı zamanlarda ortaya çıkışı ve birinin diğerini tetiklemesi konusu eksiktir. [55]’te verilen model bu soruna yavaşça oturan ve tonik olarak artan bir nörotransmiter işareti kullanarak yaklaşmaktadır. Grossberg ve Schmajuk, [56]’da READ devresi adı verilen bir kapılanmış dipol devresi kullanarak karşıt süreçleri ikincil baskılayıcı şartlanma gibi ele almışlardır. READ devresi, karşıt süreçler ve ilişkisel öğrenme yöntemlerini kullanır. READ devresi de kapılanmış dipoller gibi üç farklı zaman ölçeğinde çalışır: hızlı uyarılma, 22 yavaş oturma, ve daha da yavaş gelişen şartlanma fazı. Bu süreçler, doğrusal olmayan geri beslemelerle birbirlerine bağlıdırlar. Kapılanmış dipol devreleri birleştirilerek motivasyon güdüleri arasından kazanan hepsini alır ilkesine göre seçim yapan bir yapıya bağlanır. Bu çalışmada birkaç özelleşmiş kapılanmış dipol yapısı tasarlanarak davranış verileri ve bunlarla ilişkili beyin işaretleri çözümlenmeye çalışılmıştır. Geliştirilen bu devreler ile beyindeki güdülenme, şartlanma, dikkat, hızlı uyarılma ve yavaş öğrenme mekanizmaları ve bu mekanizmalarda kısa süreli ve uzun süreli hafızanın rolü incelenmiştir. Daw, Kakade ve Dayan [57]’de, DA ve serotonini kullanrak hoşa giden ve gitmeyen karşıt süreçleri açıklamışlardır. Önerilen modelde DA, TDRL sürecindeki hata işaretini kodlamaktadır. Serotonin ise uzun süreli tahminler ve hoşa gitmeyen uyaranlarla ilgili TDRL hatası hesabını etkilemektedir. Modelde, ortalama ödül tahmini için fazik DA ve tonik serotonin işaretleri kullanılarak kısa ve uzun dönemli karşıtlıklar açıklanmaya çalışılmıştır. Ödülün statik bir fonksiyon kullanılarak hesaplanmasıyla [36]’da tanıtılan karşıt süreçlere pekiştirmeli öğrenme açısından matematiksel bir açıklama getirilmiştir. DA’in ödül sistemindeki etkisini modelleyen bir diğer çalışmada [58]’de sunulmuştur. Bu çalışmada şartlı uyaranlara karşı geliştirilen tepkilerin değerini hesaplamak için amigdala, orbitofrontal korteks (OFC), lateral hipotalamus (LH), VP ve bazal gangliayı içeren bir devre tasarlanmıştır. Bazal ganglia bloğunda şartlı uyarana özgü değer fonksiyonundaki hatalar algılanır. VTA/substantia nigra pars compacta (SNc) bloğu, amigdala ve LH tarafından pedunculopontine tegmental nukleus (PPTg) üzerinden uyarılarak mezolimbik bölgelere DA salgısı artırılır. Bu sistemin girişleri, fazik şartlı ve şartsız uyaranlar, güdüler, canlandırma duygusu; çıkışları ise kan basıncı ve OFC üzerinden görsel bölgeleri uyaran işaretlerdir. Bu çalışmanın önemi, beyindeki ödül sisteminde etkili olan yapıları oldukça iyi kapsaması ve açıklayabilmesidir. Karar verme ve değer atamada duyguların etkisini inceleyen ve TDRL kullanan bir diğer hesaplamalı model Litt ve arkadaşları tarafından geliştirilmiştir [59]. Bu modelde, değer atama ve karar vermenin olumlu olaylar için DA tarafından, olumsuz olaylar için de seratonin tarafından kodlanan sistemler olduğu öne sürülmüştür. Bu modelde amigdala, duygusal canlandırmayı betimlemekte ve doğrudan değer fonksiyonuna çarpan olarak girmektedir. Böylece artan duygusal tepkiler OFC’den 23 gelen değer işaretini kuvvetlendirmekte, azalan duygusal etkinlik ise atanan değerin zayıflamasına yol açmaktadır. Bu çalışma, amigdalanın değerlendirme sürecindeki yerini vurgulaması ve doğrudan buna yönelik sade bir denklem sunması açısından ilginçtir. Frank ve Claus, [60]’ta bazal ganglia-DA sistemi, amigdala ve OFC’in karar verme sürecindeki yerini irdelemektedir. Geliştirilen sistemde amigdaladan pekiştirme bilgisini alan OFC, bellekte bu bilgiler için kurulmuş ilişkileri de kullanarak bir değer hesaplar ve bu değeri de davranışlara yön vermede kullanır. Ancak kullanılan yapay sinir ağı, şartsız uyaranların olumsuz değerlerini tanımak için ek bir öğrenme döngüsüne ihtiyaç duymaktadır. Bu durum hem gerçekteki otomatik negatif değer atama sistemiyle uyumsuzdur hem de gerçek zamanlı çıkışlar üretilmediğinden [58]’de verilen sistemden ayrılmaktadır. Duyguların karar vermeye etkisi üzerine kurulmuş ve karşıt süreçleri kullanan bir sistem [61]’de verilmiştir. Kullanılan yapay sinir ağı ile Iowa Gambling Task ele alınmıştır ve bu testin çözümüne ilişkin benzetim tartışılmıştır. Geliştirilen yapı, değer atama ile eyleme yönelik çıkışı veren iki PFC katmanı içermektedir. Amigdala ve bazal gangliayı içeren değerlendirme bloğunda karşıt süreçlerin etkisi pozitif eğilimler için DA ve negatif eğilimler için Ser ile gösterilmiştir. OFC de iki katman olarak tasarlanmıştır ve amigdaladan gelen pekiştirme işareti ile medyal bölgelerden gelen içgüdüsel işaretleri değer atamada kullanmaktadır. Bu modelin önemi, sınanabilir bir görev ile sistemi test ederek karşılaştırılabilir sonuçlar elde etmiş olmasıdır. Guthrie ve arkadaşları [62], kortiko-striato-talamik eylem seçimi devresindeki doğrusal DA yolağı için bir model önermişlerdir. Bu model, bir ödevi bazal ganglia vasıtasıyla öğrenebilmektedir. Anlık (fazik) ve süregen (tonik) DA düzeyleriyle oynanarak modelden insanlardaki Parkinson hastalığı belirtilerine benzer çıkışlar elde edilebilmektedir. Bu çalışmada Parkinson hastalığına azalan tonik DA düzeyi ile anlık (fazik) DA düzeyinin ödül ve cezaya karşılık vermekteki gecikmesinin birlikte neden olduğu iddia edilmektedir. Dezfouli ve diğerleri [63], Daw’ın [64] zamansal fark DA sistemi modelini daha da geliştirmişlerdir. [64]’da ortalama ödül deneyimlenmiş ödüllerin üstel olarak ağırlıklandırılmış kayan ortalaması olarak hesaplanmaktadır. Uzun süreli madde 24 kullanımına bağlı olarak değişen beyindeki ödül sistemi yüzünden ödüllerin karşılaştırılarak değerlendirilmesine yarayan taban ödül değeri, anormal derecede yükselir. Bu yükselişe neden olarak DA işlevlerindeki azalmadır. Taban ödül düzeyi, karar alma sistemindeki değişkenlerden biridir ve ortalama ödül ile ilişkilendirilir. Zhang ve arkadaşları [65]’da önceden edinilen bilgilerle değişen fizyolojik durumlarla güdüleri yönlendiren bir hesaplamalı model geliştirmişlerdir. Pekiştirmeli öğrenme yöntemini kullanan bu model, beyindeki ödülden hoşlanma ve ve ödülü isteme mekanizmalarına odaklanmaktadır. Anlık ödüllerden kaynaklanan haz duygusu hoşlanma olarak adlandırılırken isteme bir uyaranı çekici bir amaç haline dönüştüren güdüdür. Bellekteki değerlerin sabit kaldığı zamansal fark modellerinden farklı olarak bu çalışmada geliştirilen modeldeki dinamik koşullar denek yeni durumu öğrenemeden değiştirilmektedir. 2.3.2 Madde Bağımlılığı Modelleri Levy ve diğerleri tarafından [66]’da madde bağımlılığı çok ölçekli bir yaklaşımla modellenmiştir ve saplantılı davranış süreçlerinin zamana dayalı olması ele alınmıştır. Sunulan model, nöropsikolojik, bilişsel ve davranışsal olarak üç farklı ölçekten oluşmaktadır. Geliştirilen “dinamik bağımlı” modeli ile varolan hesaplamalı modellere dair daha kapsamlı bir bakış açısı önerilmektedir. Huys ve arkadaşları [67]’de dopaminerjik açıdan pekiştirmeli öğrenme ve şartlanma süreçlerinin bağımlılık üzerindeki rolünü ele almışlardır. D2 tipindeki DA almaçlarının karar alma süreçlerindeki etkisini göz önüne alan çalışmalara atıfta bulunarak striatumdaki dolaylı yolak etkinliği incelenmektedir. Bu çalışma, sinirbilimdeki hesaplamalı modellerden söz etmesi açısından güzel bir derlemedir. Bağımlılardaki karar verme süreçleri için iki farklı açıklamayı birleştiren genel bir hesaplamalı model [68]’de verilmiştir. Planlama gerektiren çok katmanlı karar ağaçlarını modelleyebilmek için hiperbolik zamansal eksiltme ve beklenti değerlendirmeye dayalı öğrenme yöntemleri birleştirilerek kullanılmıştır. Modelin geliştirilmesi aşamasında bilişsel modellerin ödül ve hazla ilgili kuramlarından faydalanılmıştır. 25 26 3. NĐKOTĐN BAĞIMLILIĞINA ĐLĐŞKĐN BĐR HESAPLAMALI MODEL Bağımlılık davranışları, karar verme mekanizmasının duygusal süreçlerden en çarpıcı biçimde etkilendiği bilişsel süreçlerden biridir. Nikotin bağımlılığı ise toplumda en yaygın gözlenen ve üzerinde en çok çalışma yapılmış bağımlılık türleri arasındadır. Duyguları modelleyebilmek için giriş çıkış ilişkisi açısından eylem seçimi ödevlerini kullanmak verilen kararların harekete dönüşerek çıktılarının değerlendirilmesini sağlamaktadır. Duyguların karar verme sürecindeki etkisini gösterebilmek için ise bağımlılık davranışları araştırmaları son derece uygun bir çalışma alanıdır çünkü bağımlılık davranışları, bilinçli süreçlerin olumsuz etkisine rağmen aşırı hoşa gitme duygusu nedeniyle gerçekleştirilen eylemlerden oluşur. Bu tez çalışmasında geliştirilmeye çalışılan dinamik sistem kurgulanırken, bağımlılık sonucunda bozulan karar mekanizmaları örnek alınmış ve nikotin bağımlılığındaki duygusal süreçleri açıklayan bir model geliştirilmiştir. Geliştirilen model, bağımlılık ve duygusal süreçlerde etkili olan beyindeki ödül sistemine dopaminerjik açıdan yaklaşmaktadır. Bu nedenle beyinde dopamin (DA) salgılanması ve eylem seçimi açısından izlediği yollar üzerinde durulmuştur. Beyindeki ödül sisteminde DA salgısının iki kaynağı vardır: ventral tegmental alan (VTA) ve substantia nigra pars compacta (SNc). Üzerinde çalışılan modelde ödül sistemiyle ilgili devrede daha çok beyin bölgesine etki eden ventral tegmental alandan salgılanan DA ele alınmıştır. Önerilen model, beyindeki bölgelerden oluşan sistem düzeyinden moleküler düzeye kadar inen farklı düzeyleri birleştirmekte ve üç farklı olası davranışı gösterebilmektedir. Ayrıca elde edilen sonuçlar ile pekiştirmeli öğrenmenin bağımlılık gelişmesindeki rolü açıkça izlenebilmektedir. 3.1 Nikotin Bağımlılığının Moleküler Temelleri Sigara içmek, en yaygın ve en kolay başlanan madde bağımlılığıdır. Sigara içmek uzun süre sosyal açıdan bir statü simgesi ve kişisel bir tercih olarak değerlendirilmiş, ancak yaklaşık son 20 yılda nikotin bağımlığı ve sağlıkla ilişkisi üzerinde durulmaya 27 başlanmıştır. Sigara içmeye başlama yaşı, genellikle 10-20 yaş dönemidir. Sosyal ve psikolojik açıdan sigara içmek, başkaldırı ve kendini kanıtlama isteğini göstermektedir ve düşük sosyoekonomik düzeydeki topluluklarda sigara içiciliği daha sık gözlenmektedir [69]. Đlginç olan ise asıl bağımlılığın sigara içmek değil, nikotin alımı olduğudur. Sigaralar ve sigara içmeyle ilgili geliştirilen törensel davranışlar (sabah kahvesi ve sigara gibi), nikotin alımını pekiştiren unsurlar olarak bağımlılığı desteklemektedirler, yani pekiştirmeli öğrenme süreci bu bağımlılığın geliştirilmesinde etkilidir. Nikotinsiz sigaralar ve nikotinin merkezi sinir sistemindeki (MSS) etkilerini baskılayan ilaçlar kullanıldığında sigara içmenin önemli oranda azaldığı gözlenmiştir [69]-[70]. Nikotin bağımlılığının fizyolojik temelleri arasında üç önemli başrol oyuncusu göze çarpar: merkezi sinir sistemi nöronları üzerindeki nikotinik asetil kolin almaçları (nAChR), salgılanan nörotransmiterler, ve bunlara cevaben çeşitli beyin alt yapılarında ateşlenen nöronlar. Nikotin bağımlılığında etkin beyin alt bölgeleri incelendiğinde, bunlar arasında farklı nörotransmiterlerin salgılanarak tepkileri ilettiği gözlenmiştir. Bunlardan en önemlileri dopamin (DA), asetilkolin (ACh), glutamat (Glu), serotonin (Ser), gamma amino bütirik asit(GABA)tir. Sigara dumanı akciğerlere çekildikten sonra buradan kana geçen nikotinin beyne ulaşması saniyeler sürer. Nikotinin kanda yayılma yarı ömrü 15-20 dk. ve tüm vücuttaki yarı ömrü ise 2 saat kadardır. Bu nedenle sigara içenlerin kanındaki nikotin konsantrasyonu aniden yükselerek 1 saat içinde yavaşça azalır ve kandaki nikotin konsantrasyonunu yüksek tutmak için düzenli olarak - yaklaşık her saatte bir - sigara içme ihtiyacı hissedilir. Yine bu nedenle uzun süren gece uykusunun ardından kandaki nikotin miktarı neredeyse sigara içmeyenlerle aynı düzeye gelir ve sabah ilk içilen sigara daha büyük bir keyif verir [69]. Nikotin bağımlılığında şu üç sürecin birbirleriyle ilişkisi önemlidir: dopaminerjik ve glutamaterjik sistemlerdeki nAChR düzenlenmesi, nikotine bağlı olarak etkin olan nAChR’lerde artış oluşması (upregulation) ve nikotine bağlı nAChR duyarsızlaşması (desensitization). nAChR’lerin kandaki nikotine cevabı, kişiden kişiye değişebilir ve tüm sigara içme sürecini başlatır. Kronik olarak nikotine maruz kalma sonucunda nAChR’lerin sayıları artar veya etkileşime girme yatkınlıkları çok yükselir. Nikotin, duyarsızlaştırma vasıtasıyla ödüllendirici uyarıları tetiklerken, etkin almaçların artışı yoluyla da daha fazla nikotin bağlanmasına yol açar. Sonuçta beyindeki ödül eşiği 28 düşerek ödüllendirici uyaranlara karşı duyarlılık artmış olur [70]. Kanda ventral tegmental alan (VTA) nöronlarındaki almaçları harekete geçirmeye yetecek miktarda nikotin bulunduğunda VTA DA nöronları patlamalar (burst) biçiminde ateşlenmeye başlar. VTA nöronlarının uzantıları nukleus accumbensin (NAc) iç bölgelerine dek gider ve sonuçta NAc’e salınan DA miktarı artar. Sürekli nikotine maruz kalma sonucunda nikotine karşı verilen mezolimbik DA cevabı hassas bir noktaya gelir ve hücreler arası ortamda DA miktarı artar. Bu DA cevabı, nikotinin pekiştirici ve bağımlılık yapıcı özellikleriyle ilgilidir [71]. Nikotin, ödül sistemine nAChR vasıtasıyla etki etmektedir. nAChR’lere normal şartlarda ortamdaki ACh bağlanır. Eğer ortamda nikotin bulunuyorsa, nikotin ACh ile yarışa girerek nAChR’lere bağlanmaya çalışır. Bağımlılık gelişmesi açısından nikotinin bu özelliği oldukça önemlidir. Bunun dışında yalnızca nikotin bağımlılığında gözlenen bir durum daha vardır: herhangi bir madde bağımlılığı geliştiğinde, ortamda o maddenin yoğunluğu artarken onun bağlandığı reseptörler uyarılır ve sayıları azalır (reseptör desensitizasyonu). Oysa nikotin bağımlılığında ortamdaki nikotin miktarı arttıkça nAChR uyarılması ve sayısı artar (up-regulation). 3.2 Nikotin Bağımlılığına Đlişkin Hesaplamalı Modeller Karşıt süreçlerin nikotin bağımlılığındaki rolünü inceleyen bir hesaplamalı model [4]’te önerilmiştir. Bu çalışmada nikotinik asetil kolin almaçlarının (nAChR) kimyasal etkinliği, ortamdaki DA konsantrasyonuna bağlı olarak üç farklı zaman ölçeğinde modellenmiştir. Bu moleküler yaklaşım, Grossberg ve arkadaşlarının [55][56] mekanik yaklaşımından oldukça farklıdır. Önerilen model, zaman ölçeklerini açıkça ortaya koymamış olmakla birlikte nikotin bağımlılığını psikolojik, nörofizyolojik, moleküler açıdan ele alan bütünsel bir çalışmadır. Bu model, [63]’te önerilen model ile benzerlikler taşımakla birlikte [63]’te uyuşturucu miktarı hesaba katılmaz ve ayrıca amigdala, prefrontal korteks (PFC) gibi bağımlılık açısından önemli bazı beyin bölgeleri de içerilmez. Bir limbik sistem modeli olmamakla birlikte ventral DA salımı kaynağı olan ventral tegmental alan (VTA) için ortaya konan model nedeniyle Graupner’in çalışmalarından bahsetmek gerekir [48],[51]. Geliştirilen modelde VTA’daki DA ve GABA nöronlarının asetil kolin (ACh) ve glutamat (Glu) varlığında nasıl çalıştıkları incelenmiştir. Ayrıca nAChR’larının farklı tiplerine ait uyarılma ve normal duruma 29 geçme süreçleri de modele dahil edilmiştir. Bu çalışmalarda VTA’daki DA ve GABA nöronlarının mezolimbik ödül sistemine DA salınması için nasıl bir arada çalıştıkları ayrıntılı olarak ele alınmıştır. VTA’daki DA nöronlarının süregen (tonik) ve patlama şeklindeki ateşlemelerine ait moleküler düzeyde bir model [72]’de önerilmiştir. Bu modelde dopaminerjik nöronların özellikle nikotin varlığındaki dinamikleri ayrıntılı olarak verilmiştir. Bu amaç için Hodgkin-Huxley türevi nöron modeli kullanılmış ve modelde nöron dinamiği açısından önemli olan hücre zarındaki kalsiyum (Ca2+) ve potasyum (K+) iyon kanalları ele alınmıştır. Bu çalışmada kullanılan iletkenlik tabanlı yaklaşım, farmakolojik olarak apamin maddesinin yol açtığı etkilere denk gelmektedir. Graupner ve Oster’in çalışmaları [48],[51],[72], DA salgılanmasını ayrıntılı bir biçimde açıklamakla birlikte DA’in bağımlılıktaki rolüne değinmezler ve bağımlılık gelişmesini bir sistem olarak ele almazlar. Anlatılan tüm bu çalışmalar, karşıt süreçler, pekiştirmeli öğrenme ve ödüle dayalı DA salgılanması hesaplamalı modeller sunmakla birlikte bağımlılığın arkasında yatan limbik ve bilişsel sinir devrelerini açıklamaya çalışmazlar. 3.3 Nikotin Bağımlılığına Đlişkin Bir Model Önerisi Bu çalışmada önerilen model, bağımlılık mekanizmasını sistem düzeyinde ele almaktadır. Sistemdeki nöronlar ortalama ateşlenme oranı (mean firing rate) göz önüne alınarak modellenmiştir. Bu sayede çok sayıdaki nöronun ürettiği vuruları tek tek ele almak yerine devredeki nöron gruplarının davranışları ortalama vuru oranına göre incelenebilmektedir [73]-[74]. Modelde ortalama değer bir sigmoid fonksiyon ile elde edilmektedir. Model, çıkarımlarını nikotin bağımlılığı üzerinden yapmaktadır ve sistem düzeyindeki bakış sayesinde nikotinin moleküler düzeydeki etkilerinden nöronların dinamiklerine kadar geniş bir çerçeveyi içermektedir. Sistemin her bir bloğu, kendi içinde bir dinamiğe sahiptir. 3.3.1 Tez Çalışmasında Geliştirilen Modelin Nörofizyolojik Temelleri Nikotin bağımlılığının ardında yatan nörolojik yolaklar, beynin limbik bölgelerini içeren çeşitli döngülerden oluşurlar. Bu tez çalışmasında amaca yönelik davranış ve bağımlılığın gelişmesine yol açan bu nörolojik yolaklardan dopaminerjik olanları ele alınmıştır. Şekil 3.1’de amaca yönelik davranışlarda görev alan ve geliştirilen model 30 açısından önemli bazı beyin bölgeleri gösterilmiştir. Beyinde ödül değerlendirmesine dayanan davranışsal seçimler açısından önemli iki DA salımı kaynağı vardır [34],[58]: VTA ve SNc. VTA’daki DA nöronları, limbik ön beyin (NAc, amigdala, hipokampus) ve prefrontal kortekse (PFC) bağlantı yaparlar. SNc’daki DA nöronları ise dorsal striatuma (kaudat ve putamen) bağlantı yaparlar [37]. NAc haricinde tüm bu bölgelerin VTA ile glutamaterjik uyarıcı bağlantıları vardır. VTA/SNc bölgelerinden DA salınmasını tetikleyen ana mekanizma, VTA/SNc DA nöronlarının lateral hipotalamus (LH) tarafından harekete geçirilen amigdala (Aml), LH, pedunculopontine tegmental nucleus/laterodorsal tegmental nucleus (PPTg/LDTg) bloğu tarafından uyarılmasıdır. Öte yandan striatum (Str), VTA DA salımı sistemine baskılayıcı işaretler gönderir. VTA’ya giren ana uyaranlar PFC ve PPTg/LDTg’den gelen glutamaterjik bağlantılardır. VTA’daki GABA nöronları, VTA DA salımı sistemi için yerel baskılayıcı işaretleri üretirler [48],[51]. Uyarıcı ve baskılayıcı işaretler arasındaki zaman farkları, VTA/SNc DA nöronlarının patlama (burst) biçiminde ateşlenmesine yol açar ve böylece DA salımında ani yükselmeler veya DA azalmasına neden olan duraklamalar gözlenir [58]. PFC’den gelen glutamaterjik bağlantılar VTA’daki DA ve GABA nöronlarını harekete geçirir. VTA içinde artan GABA salgısı, DA nöronlarını baskılayarak DA miktarında azalmaya neden olur. Değer atama işlevini gerçekleştiren beyin alt yapılarına dış dünyadan gelen uyarılar, temporal kortekse ve LH’a ulaşır. Đçsel duruma ait homeostatik uyarılar da (kandaki elektrolit, yağ seviyeleri gibi) LH’a gelir. Homeostatik olarak uyarılan LH hücreleri de Aml hücrelerini uyarır ve LH-Aml ağı, net öznel değeri hesaplar. Aml aynı zamanda temporal korteks üzerinden dış uyaranların bilgisini de alır. Sonuçta Aml ve LH, dış uyarana göre oluşabilecek beklenen anlık değeri hesaplarlar. Aml, bu beklenen değer bilgisini orbito frontal korteks (OFC) ve medyal OFC hücrelerine iletir. OFC hücrelerinin etkinliği de nesnelerin bağıl değerlerini kodlayarak davranış seçimlerine yön verir [58]. LH ve Aml yapıları, NAc ve VTA ile birlikte değer atamada önemli role sahiptirler ancak bu bölümde anlatılan modeldeki değer atama devresinde yer almamaktadırlar. Model, yalnızca Şekil 3.1’de verilen yapıları içerir. Öğrenme sırasında ventral striatum (NAc) etkinliği artarak çevreyi temsil eden bilginin belleğe kazınmasını sağlar. Daha sonra bu temsiller, pekiştirmeli öğrenmedeki eylem-durum çiftlerine ait ödül değeri ve beklentinin hesaplanmasında kullanılır [16]. 31 Şekil 3.1 Amaca yönelik davranışların seçiminde görev alan beyin bölgeleri ve Pekiştirmeli öğrenmedeki eylemci/eleştirmen yapıları bağlantıları. kesikli çizgilerle belirtilmiştir. GPi/SNr, globus pallidus internus/substantia nigra pars compacta; I, dış uyaranlar; NAc, nucleus accumbens; n-s-c, nikotin varlığında tetiklenen karşıt süreçlere ilişkin nAChR döngüleri; PFC, prefrontal korteks; STN, subtalamik nucleus; Str, dorsal striatum (kaudat ve putamen); Thl, talamus; VTA, ventral tegmental alan. 3.4 Nikotin Bağımlılığı Đçin Geliştirilen Model Nikotin bağımlılığı için bir model geliştirmek üzere [4]’te önerilen bağımlılık modeli [75]’te verilen amaca yönelik eylem seçimi devresiyle birleştirilmiştir. Model, iki kısımdan oluşmaktadır: pekiştirmeli öğrenme ödevinden sorumlu olan DA işareti modülü ve eylem seçimi modülü. Eylem seçimi (E-S) modülü, üzerinde çok çalışılmış olan korteks-bazal ganglia-talamus yapılarını içeren bir dinamik sistemdir. DA işareti modülü ise nikotin varlığıyla uyarılan nAChR’lerin etkinliği sayesinde çalışmaktadır. DA işareti modülü, kandaki nikotin düzeyine bağlı bir eylem değerlendirme bölümü ile gerçekleştirilen eylemler için ödülü ve beklenti hatasını hesaplayan bir değer atama bölümünden oluşur. DA işareti modülü, önceki eylemlerin hedonik temsilini kullanarak E-S döngüsünü yönlendirir. Geliştirilen model (Şekil 3.1), VTA’dan DA 32 salınmasının eylem seçimi üzerindeki etkisini gösteren bir Wr parametresini pekiştirmeli öğrenme yoluyla uyarlayarak değer atama sürecini modellemektedir. 3.4.1 Modelde Ele Alınan Sinir Sistemi Yapıları Şekil 3.1’de geliştirilen modelin şematik gösterimi verilmiştir. Bu şemada, dorsal eylem seçimi döngüsü ödülün değerlendirilmesinde rol alan VTA ve NAc ile birlikte çizilmiştir. Bu eylem seçimi döngüsü, pekiştirmeli öğrenmedeki aktör elemanına karşılık gelmektedir. Bazal gangliadaki globus pallidus interna/substantia nigra pars reticulata (GPi/SNr), striatum (Str), subtalamik nukleus (STN) çekirdekleri ödüllerin değerini ve ödüllerin elde ediliş zamanlarındaki hatayı hesaplayarak eylem seçimine katkıda bulunurlar ve bu bilgiyi talamus (Thl) üzerinden prefrontal kortekse (PFC) aktarırlar. Bu devre, gelecekteki eylemleri şu anki ödüllerin değerine göre şekillendirmektedir. Olumlu olarak değerlendirilen, yani verimliliği daha fazla olan eylemlere ait bilgi dorsal striatumda saklanır. Dorsal striatum, özellikle de kaudat çekirdek, sosyal öğrenmede etkindir [34]. PFC ise bireyi kararlaştırılmış amaçlara yönlendirerek ve zararlı eylemlere engel olarak eylem seçimindeki son aşamayı yönetir. Seçilen eylemleri bireyin içinde bulunduğu ortamda davranışlar olarak gerçekleştiren PFC’deki motor bölgeler, bu sistemin çıkışını oluşturmaktadır. NAc, ödül ve güdülenme gibi olumlu olarak algılanan duygusal durumların değerlendirilmesinde önemli rol oynar [16]. Doğal ödüller ve bağımlılığa yol açan maddeler NAc’e gelen sinaptik DA miktarını artırır ve dolayısıyla davranışları tetiklemede benzer etkiye sahiptirler. Ancak bu maddeler, mezokortikal DA nöronlarının sonlandığı medyal PFC’deki (mPFC) DA iletimini artırmazlar [45]. NAc ile birlikte amigdala (Aml), hipokampus ve orbitofrontal korteksin (OFC) de ödüllerin değerlendirilmesinde ve ödüllerle ilgili anıların oluşturulmasında önemli rolleri vardır. NAc’e salınan DA, davranışın hoşa giden niteliklerini güdülenme ile ilişkilendirir. NAc, PFC, Aml ve Str’a DA salınması, deneyimlerin değerini ve güdüsel önemini ortaya koyar. Buna karşılık VTA’daki DA nöronları, ventral limbik sistemin DA kaynağıdırlar. VTA’daki DA nöronları, moleküler düzeydeki değişikliklere bağlı karşıt süreçler ile harekete geçerler ve böylece ödül değerlendirmesinde etkili olan DA salımını yönetirler (Şekil 3.1). Nikotinin değiştirici niteliği ve önceki eylemlerin NAc tarafından değerlendiriliyor olması geliştirilen modelin kilit özellikleridir. 33 3.4.2 DA Đşareti Modülünün Karşıt Süreç Oluşturması VTA’dan DA salınması, kandaki nikotin düzeyinin tetiklemesiyle gerçekleşir. Nikotin alımıyla birlikte DA nöronları üzerinde bulunan nikotinik asetil kolin almaçlarının (nAChR) gösterdiği tepki, üç farklı zaman aralığına yayılır. Önce nikotinin anlık (fazik) etkisi saniyeler içinde DA nöronları üzerindeki nAChR almaçlarını uyarır ve nAChR almaçlarının bu hızlı tepkisine (n işareti) paralel olarak hızlı DA salgısı artışı meydana gelir. Daha yavaş (dakikalar mertebesinde) gelişen bir pozitif geri-besleme süreci, nikotin alımına bağlı olarak DA nöronlarının üzerinde bulunan nAChR sayısının hızla artarak (up-regulation) bu nöronların nikotine karşı daha da duyarlı olmalarına yol açar. nAChR artışına bağlı bu süreç s işareti ile modellenmiştir. Uzun dönemli nikotine bağlı yoğun etkinlikten kaynaklanan homeostatik etki sonucunda nAChR almaçları renormalize olurlar ve uyarılmış fakat etkin olmayan bir duruma gelirler. nAChR tepkisini normal düzeye indirmeye çalışan beyindeki bu karşıt süreç c işareti ile modellenmiştir ve en geç ortaya çıkandır. Bu üç işaretten en hızlısı n ve en yavaş gelişeni de c işaretidir [4]. Bu zaman farkı model açısından önemlidir ve her bileşen farklı zaman sabitiyle modellenmiştir. n, s ve c işaretlerinin dinamik denklemleri aşağıda verilmiştir: µ [-β n (k) ⋅ c(k) + α n (k) ⋅ (1 - n(k) ⋅ c(k))] τn (3.1a) s(k + 1) = s(k) + µ [-β s ⋅ s(k) + α s (k) ⋅ (1 - s(k))] τs (3.1b) c(k + 1) = c(k) + µ [-β c ⋅ c(k) + α c (k) ⋅ (1 - c(k))] τc (3.1c) n(k + 1) = n(k) + Yukarıda verilen denklemlerin değerleri ilk ve denklemlerde kullanılan parametrelerin değerleri aşağıdaki gibidir: n = 0.2, s = 0.2, c = 0.2 (3.2) 0.3, k < 250 0, k ≥ 250 θ n = 0.6, θ s = 0.7, θ c = 0.7, β s = 0.4, β c = 0.4, nikotin = 34 (3.3) µ = 0.1, τ n = 0.25, τ s = 1, τc = 2 (3.4) Yukarıdaki sisteme ait aktivasyon fonksiyonları sigmoid tipindedir: α n (k) = 0.5 ⋅ (1 + tanh(nicotine - γ n ⋅ θ n )) (3.5a) α s (k) = 0.5 ⋅ (1 + tanh(n(k) - γ s ⋅ θ s )) (3.5b) α c (k) = 0.5 ⋅ (1 + tanh(s(k) - γ c ⋅ θ c )) (3.5c) β n (k) = 0.5 ⋅ (1 + tanh(ϕ n ⋅ c(k) - γ n ⋅ θ n )) (3.5d) Aktivasyon fonksiyonlarındaki γ ve φ parametreleri [0.8, 1] aralığında değiştirilerek bağımlılık gelişiminin karşıt süreçler üzerindeki etkisi gösterilebilmektedir (Şekil 2. 3). Bağımlılarda B-süreci daha uzun sürer ve karşıt süreçlerin nötr düzeyi, sağlıklı bireylerde olduğundan daha aşağıdadır. 3.4.3 Eylem Seçimi Modülünün Dinamik Davranışının Analizi Daha önce yapılan çalışmalarda [76]-[79] korteks-bazal ganglia-talamus devresinden oluşan eylem seçici modeller verilmiştir. Bu bölümde anlatılan eylem seçimi (E-S) sistemi [75]’ten alınmıştır ve premotor ile motor döngüler olmak üzere iki kısımdan oluşmaktadır. (3.6-3.7) ile verilen sistemin dinamik özellikleri XPPAUT kullanılarak incelenmiştir [5]. Modelde yer alan döngülerin çalışması sonucunda elde edilen işaretler davranış açısından ele alınmakta, beyinde ilgili bölgelerde ölçülen işaretler ile ilişkilendirilmemektedir. Model, davranışlardaki değişimleri göstermeyi hedefleyerek tasarlanmıştır.. p pm (k + 1) = f (λp pm (k ) + m pm (k ) + Wc pm I (k )) (3.6a) m pm (k + 1) = f ( p pm (k ) − d pm (k )) (3.6b) rpm (k + 1) = Wr pm f ( p pm (k )) (3.6c) n pm (k + 1) = f ( p pm (k )) (3.6d) 35 d pm (k + 1) = f (Wd pm n pm (k ) − rpm (k )) (3.6e) p m (k + 1) = f (λp m (k ) + m m (k ) + βp pm (k ) + gürültü ) (3.7a) m m (k + 1) = f ( p m (k ) − d m (k )) (3.7b) rm (k + 1) = Wrm f ( p m (k )) (3.7c) n m (k + 1) = f ( p m (k )) (3.7d) d m (k + 1) = f (Wd m n m (k ) − rm (k )) (3.7e) Yukarıdaki denklemlerdeki ppm/m, mpm/m, rpm/m, npm/m, dpm/m değişkenleri, sırasıyla premotor ve motor döngülerdeki korteks, talamus (Thl), striatum (Str), subtalamik nukleus (STN), ve globus pallidus interna/substantia nigra (GPi/SNr) bileşenlerine karşılık gelmektedir. Bu değişkenler uyaranın varlığı ve yokluğu olarak 2 durum bulunduğundan 2 boyutlu vektörlerdir. Bu modelde Str ile GPi/SNr arasındaki doğrudan ve PFC ile STN arasındaki üst doğrudan yolaklar yer almaktadır. Denklemler kurgulanırken ilgili beyin bölgeleri arasındaki uyarıcı/baskılayıcı bağlantılar dikkate alınmış ve denklemlerde +/- olarak yer almıştır. Bu vektörlerin boyutlarını eylem seçeneklerinin sayısı belirler. Nikotin bağımlılığı modelinde “sigara iç” ve “sigara içme” olmak üzere iki farklı eylem söz konusudur. Bu nedenle yukarıda verilen tüm sistemin boyutu 20 olur. Parametreye bağlı olarak sistem davranışının nasıl değiştiğini açıklamak daha basit olduğundan sistem ayrık zamanlı olarak gerçeklenmiştir. [75]’te anlatıldığı gibi, E-S modülü, girişine gelen bir uyaranın değerini kullanarak çıkışta seçilecek eyleme karar verir. Ancak eğer bir uyaran için üretilen ödül işareti tatmin edici değilse, rastgele bir çıkış üretilir. Rastgeleliği sağlayabilmek için motor döngüye küçük değerli bir gürültü işareti de eklenmiştir. Premotor kısım, değerlendirmeyi tamamlayarak olası eylemleri belirler ve motor kısım da hassas bir ayrıştırıcı gibi davranarak bu olasılıklardan birine karar verir. I ile gösterilen dış dünyadan gelen duyusal uyaran, premotor döngüyü etkiler ve bu döngünün çıkışı da motor döngüyü yönlendirerek eylemin gerçekleşmesini sağlar. Nikotin bağımlılığı modelinde duyusal uyaran nötr olarak ele alınıp küçük değerli elemanlara sahip 2- 36 boyutlu bir vektör kullanılmıştır. Kullanılan aktivasyon fonksiyonu aşağıda verilen sigmoid tipindedir: f = 0.5(1 + tanh(a ( x − 0.45))) (3.8) Premotor ve motor kısımlara ait denklemler birbirine çok benzediğinden sadece premotor kısmın dinamik özellikleri incelenmiştir. Çıkış olarak motor devreyi süren premotor E-S sisteminin çıkışı olan korteks bileşeni, ppm, alınmıştır. Modelde pekiştirmeli öğrenme seçilen eylemlerin değiştirilmesini sağlayan Wrpm parametresi değiştirilerek sağlanmaktadır. Wrpm parametresini değiştirmenin premotor sistemde yol açtığı değişiklikler dallanma diyagramlarıyla gösterilmiştir. Bu parametre pekiştirmeli öğrenme sayesinde değiştikçe dinamik sistemdeki denge noktaları ve bunların kararlılıkları da değişmektedir. Modelin çalışmasını açıklamak için aşağıdaki rastgele seçilmiş parametre değerlerini ele alalım: 0.5061 0 0.5410 0.1935 Wr = , Wc = , Wv = [0.0185 0.0176] 0 0.5061 0.3310 0.4624 (3.9) Yukarıdaki değerlerle birlikte sistemdeki parametreleri I=0.1, λ=0.5, a=3 ve Wdpm de 0.5’lerden oluşan 2x2’lik bir matris olarak alındığında premotor sistem için Çizelge 3.1 ile verilen sabit noktalar elde edilir. Özdeğerler birim çember içinde kaldığından bu sabit noktalar kararlıdır. Çizelge 3.1. Ağırlık matrisleri öğrenme ile ayarlanmadan önce sistemin sabit noktaları. Sağdaki sütunlar, bu sabit noktalarda doğrusallaştırılmış sisteme ait özdeğerleri gösterir. ppm Sabit nokta 0.9982 Özdeğerler 0.06 -0.05 0 + i 0.02 0 – i 0.02 0 Bu noktada Wr parametresine göre çizdirilen dallanma diyagramı Şekil 3.2.a’da verilmiştir. Diyagramda etiketlenmiş noktalar, Çizelge 3.2 ile verilen dallanma noktalarıdır. Diyagramda 4 ile etiketlenmiş noktada Hopf dallanması gözlenmektedir [80]. Hopf dallanmasının varlığı, sistem davranışının parametreye bağlı olarak değişebildiği anlamına gelmektedir (Hopf dallanmasıyla ilgili bilgi için bkz. Ek A). Bu nedenle sistemin dinamik özellikleri, kararlı hal çözümünden limit çevrim 37 davranışına dek değişiklik göstermektedir. Modelde sabit noktalar E-S devresi tarafından karar verilen seçimleri gösterirken limit çevrim davranışı uygun bir seçenek arayışına karşılık gelmektedir. Böylece eylem seçimi için verilen dinamik sistem ile pekiştirmeli öğrenmenin keşfetme ve kullanma kavramları gerçeklenebilmektedir. Çizelge 3.2. Öğrenme başlamadan önce ppm denkleminin Wr parametresine bağlı dallanma noktaları. (EP: uç nokta, HB: Hopf dallanması, LP: eyer noktası (limit point) dallanması) Tip EP EP LP HB EP Etiket 1 2 3 4 5 Wr 0.5 2.32 -0.046 -0.045 -2.24 ppm1 0.9981 0.9983 0.816 0.735 0.133 Yukarıdaki parametrelere ait sabit noktalar Çizelge 3.3 ile verilmiştir. Yukarıdaki parametreler kullanılarak Şekil 3.2.b’deki dallanma diyagramı elde edilmektedir. Diyagramdaki etiketlenmiş noktalar, dallanma noktalarıdır ve Çizelge 3.4’te verilmiştir. Diyagramda 3 ve 4 ile etiketlenmiş noktalarda Hopf dallanması vardır. Çizelge 3.3. Ağırlık matrisleri öğrenme ile ayarlandıktan sonra elde edilen sabit noktalar. Sağdaki sütunlar, bu sabit noktalarda doğrusallaştırılmış sisteme ait özdeğerleri gösterir. ppm Sabit nokta 0.9989 Özdeğerler 0.05 -0.05 0 + i 0.04 0 - i 0.035 0 Çizelge 3.4. Öğrenme bittikten sonra ppm denkleminin Wr parametresine bağlı dallanma noktaları. (EP: uç nokta, HB: Hopf dallanması, LP: eyer noktası (limit point) dallanması) Tip EP EP LP HB EP Etiket 1 2 3 4 5 Wr 1 2.03 -0.116 -0.782 -2.247 ppm1 0.9989 0.9989 0.695 0.298 0.211 Öğrenme bittiğinde ağırlık matrislerinin değerleri aşağıdaki gibi olur: 1 0 1.1855 0.8380 Wr = , Wc = , Wv = [0.5409 0.5409] 0 0.7018 0.2518 0.3833 38 (3.10) Şekil 3.2 ppm denkleminin Wr parametresine bağlı dallanma diyagramları. a) Öğrenme başlamadan önce. b) Öğrenme tamamlandıktan sonra. Grafiklerde Wr parametresinin değeri değişirken p denkleminin çıkışının nasıl değiştiği görülmektedir. p çıkışı, 0’a yaklaştığında eylemin seçilmediği, pozitif değerli bir büyüklüğe ulaştığında da eylemin davranış olarak gerçeklendiği anlamına gelmektedir ve bu nedenle birimsizdir. Öğrenme başlamadan önceki ve bittikten sonraki dallanma diyagramları karşılaştırıldığında, aradaki en önemli fark kararsız parametrelerin bulunduğu aralıktır. Öğrenme bittikten sonra çizilen dallanma diyagramında bu aralık daha 39 geniştir. Pekiştirmeli öğrenme kuramına göre sistem, daha önce seçmediği eylemleri etkin olarak ödül getirecek eylemler keşfetmek amacıyla denemektedir. Bu deneme evresi, keşfetme süreci olarak tanımlanır. Pekiştirmeli öğrenmedeki bu keşfetme süreci bir bakıma en iyi olmayan eylemler arasından belirsizliği azaltmak için o an en uygun olduğu düşünüleni seçmeye karşı düşmektedir . Kararsız dala ve Hopf dallanmasına karşılık gelen parametre değerleri pekiştirmeli öğrenmedeki keşfetme evresini gösterir. Kararlı sabit noktalara denk gelen parametre değerleri ise seçilen eylemleri göstermektedir. Büyük değerli kararlı sabit nokta, sigara içmenin seçildiği; küçük değerli kararlı sabit nokta da sigara içmenin seçilmediği durumlara karşılık gelmektedir. Dallanma diyagramından görülebildiği gibi E-S sistemi, iki farklı davranış (iki kararlı sabit nokta) ile birlikte öğrenmenin gerçekleşmediği ve sistemin kararsız olduğu (kararsız sabit nokta) durumu gerçekleyebilmektedir. 3.4.4 Modelde Pekiştirmeli Öğrenmenin Gerçeklenmesi Önceki kısımda Wr’nin farklı değerlerinde dinamik sistemin nasıl davrandığı incelenmişti. Bu bölümde de Wr değerlerinin pekiştirmeli öğrenme ile nasıl değiştirildiği nikotin bağımlılığı örneği üzerinden tartışılacaktır. Modelin DA işareti modülü, E-S modülünün bir sonraki adımdaki kararlarını etkilemek üzere pekiştirmeli öğrenme kullanır. [4]’te anlatıldığı gibi sürecin dinamik davranışını modellemek için DA etkisi aşağıdaki gibi ifade edilen bir fark denklemiyle gösterilmiştir. Bu fark denklemi açık Euler yaklaşımı ile elde edilmiştir ve muDA adım büyüklüğüdür. u DA (k + 1) = u DA (k ) + mu DA (−u DA (k ) + s DA (ri, Ni )) (3.11) Yukarıdaki denklemde yer alan sDA aktivasyon fonksiyonu bir sigmoiddir ve aşağıda verilmiştir: s DA (ri, Ni ) = 0.5 ⋅ (1 + tanh( Ni ⋅ ri − θ DA )) (3.12) nAChR etkinliği üç dinamik değişkenin ortak çalışmasıyla gösterilir (bölüm 3.4.2). Ni değişkeni, nAChR almaçlarının nikotin varlığıyla doyuma (up-regulation) gitmesini gösterir ve nikotin alımı durduğundaki n ile s işaretlerinin çarpımı olarak alınır. Ortamda nikotin varken nAChR etkinliği artar. Ancak beyindeki homeostatik sistem, yani karşıt süreç, bu etkinliği normal düzeye indirmek için harekete geçer. 40 θDA değişkeni, minimum tonik DA düzeyini gösteren eşik değerdir ve 0.01 olarak alınmıştır. ri, nikotin alımıyla tetiklenen ödül işaretidir. muDA, DA alt sistemine ait öğrenme parametresidir. Wdpm/m değişkeni, simetrik bir matristir ve subtalamik nukleusun (STN) etkisini modellemektedir. Wrpm köşegen matrisi, ventral striatumun (nukleus accumbensNAc) dorsal striatum (kaudat ve putamen) üzerindeki etkisini göstermektedir. Ventral yolak değer atamada etkinken dorsal yolak, amaca yönelik davranışlardan sorumludur. Dolayısıyla Wrpm parametresi, eylem seçimlerinin değer atamayla değişimini göstermektedir. Wrpm parametresi pekiştirmeli öğrenme kuralıyla değiştirilir ve bu sayede seçilen eylemler de değişir. Dış dünyadan gelen uyaranları Wcpm matrisi temsil etmektedir. Geçmişteki eylemler, güncel ödül değerini ve dolayısıyla o anda seçilecek eylemi etkilemektedir. Wcpm ve Wrpm parametreleri aşağıdaki gibi uyarlanmaktadır: Wc pm (k + 1) = Wc pm (k ) + η c ⋅ δ (k ) ⋅ p m (k ) ⋅ I (k )' (3.13) Wr pm (k + 1) = Wr pm (k ) K + η r ((U DA + Ni )(u DA (k ) − θwDA )' ( p m (k ) − θ ))'⋅ f ( p m (k )) ⋅ rm (k ) (3.14) Wrpm parametresi, ri değeri 0.5’i geçtikten sonra hesaplanmaya başlanmaktadır çünkü fiziksel olarak başlangıçta rastgele içilen sigaraya karşı kuvvetli bir hoşlanma duygusu hissedilmez. Ancak birey, rastgeleden daha sık olacak biçimde sigara içmeye devam ettiğinde, sigara içmenin ödül değeri büyür ve hoşlanılan davranış haline gelerek sistemin çıkışı üzerinde değiştirici etkiye sahip olmaya başlar. Bu nedenle geliştirilen modelde ödül değeri bir eşiği geçene dek dikkate alınmamaktadır. Böylece ödülün sadece varlığının değil, daha etkili ve anlamlı olduğu zaman aralığındaki etkisinin sistemi değiştirmesi sağlanmıştır. U DA , [4]’te verildiği gibi, 10 adımlık bir pencere boyunca sürekli alınan DA etkisini gösteren işaretin ortalamasıdır. θDA ve θ büyüklükleri, sırasıyla UDA ve pm işaretleri için kullanılan eşik değerleridir ve ilgili işaretin 0.1 ile çarpılmasıyla elde edilirler. Öğrenme hızı η, 0.1 olarak alınmıştır. Beklentideki hata δ ile gösterilir ve aşağıdaki gibi hesaplanır: 41 δ (k ) = ri + µV (k + 1) − V (k ) (3.15) Kortekse giren dış uyaran olan I(k)’ya bağlı olarak seçilen eylemin değerlendirilmesi ve buna karşılık gelen ödül değeri kullanılarak değer fonksiyonu aşağıdaki gibi hesaplanır: V (k ) = (Wv + base) I (k ) (3.16) Yukarıdaki denklemde Wv bir satır matristir ve base değeri de gürültü katmak için kullanılmaktadır. Değer işaretine dayanarak bir beklenti işareti üretilir ve ri değeri ile birlikte bu beklenti işareti, hata işareti δ’yı verir. Hata işareti, nörotransmiterlerin modülatör rolünü temsil etmektedir ve Wrpm vasıtasıyla dorsal striatumdaki akışı değiştirmektedir. Hata işareti, aynı zamanda duyusal I(k) girişinin temsilini Wcpm vasıtasıyla kuvvetlendirmekte ve uyaranın değerini Wv vasıtasıyla aşağıdaki gibi güncellemektedir: Wv (k + 1) = Wv (k ) + η v δ (k ) I (k )' 3.5 (3.17) Benzetim Sonuçları Önerilen modelin başarımını ölçmek için [4]’te anlatılan nikotin alımına modelin verdiği karşılık incelenmiştir. Başlangıçta ödül değeri (ri), çok düşüktür (0.01 civarında). Sigara içme eylemi her seçildiğinde ri değeri ri = 1 olana dek 2 ile çarpılır. Art arda 20 kez sigara içmeye kararı verdikten sonra sistemin bir bağımlıyı modellediği varsayılmaktadır. 20 sayısı istatistiksel olarak anlamlı bir sınır koymak amacıyla seçilmiştir. Bir pakette 20 tane sigara bulunur ve kişi belirli bir zaman aralığında 20 sigara içiyorsa, yani bir paketi bitiriyorsa bağımlıdır diye düşünülmüştür. Şekil 3.4’te Wrpm grafiğinin yönlenmesinden görüldüğü gibi, bir davranış öğrenildikten sonra artık gelecekte bu davranış seçimi değiştirilmemektedir. Bu nedenle bağımlılık oluştuğuna karar vermek için ardışıl sigara içme seçimlerinin sayısını 20 ile sınırlamak yeterlidir. 42 Şekil 3.3 Sistemin her durumuna ait beklentideki hata grafikleri. (a), (b) ve (c)’de δ hata işareti (mavi çizgiler) ve sigara içme eylemleri (kırmızı noktalar) çizilmiştir. a) Başlangıçta sigara içme veya içmeme rastgele seçilir fakat sistem, zamanla sigara içmemeyi seçmeyi öğrenir. Sigara içmeme davranışı oturduğunda δ = 0 olur ve sigara içmeme sürekli seçilir. b) Herhangi bir eylemi seçmenin öğrenilmediği durum. δ işareti, simulasyon boyunca [-1, 1] aralığında değerler alır ve sistem, sigara içmeyi veya içmemeyi rastgele seçer. c) Başlangıçta sistem, sigara içmeyi veya içmemeyi rastgele seçer fakat sonunda her seferinde sigara içmeyi seçmeyi öğrenir. Arada bir sigara içmeme seçilse bile sistem, hemen öğrenilmiş davranışa geri döner. Bağımlılık geliştiğinde δ = 0 olur ve bundan sonra hep sigara içme seçilir. d) E-S sisteminin dallanma diyagramı. (yeşil, bağımlılık gelişmeyen duruma ait kararlı dal; mavi, keşfetme sürecine ait kararsız dal; kırmızı, bağımlılık durumuna ait kararlı dal) 43 Şekil 3.4 Sistemin her durumuna ait W parametrelerinin değişimi. a) Bağımlılığın gelişmediği durum. Öğrenme sona erdiğinde Wr değerleri, sigara içmeme eyleminin kodu olan [0,1] noktasına doğru yönelir. b) Simulasyon sonunda Wr değerleri [1,1] noktasına doğru yönelir. Herhangi bir davranış öğrenilmez. c) Öğrenme tamamlanıp bağımlılık geliştiğinde Wr değerleri, sigara içme eyleminin kodu olan [1,0] noktasına doğru yönelir. d) E-S sisteminin dallanma diyagramı (Şekil 3.2 ile verilmişti). (yeşil, bağımlılık gelişmeyen duruma ait kararlı dal; mavi, keşfetme sürecine ait kararsız dal; kırmızı, bağımlılık durumuna ait kararlı dal) 44 E-S modülü tarafından seçilen eyleme pm denkleminin çözümü hesaplanarak karar verilir. Değer ve hata fonksiyonları hesaplanır ve elde edilen sonuçlar kullanılarak Wcpm, Wrpm ve Wv matrisleri güncellenir. 1000 adım olarak belirlenmiş bir zaman aralığında art arda 20 kez sigara içme eylemi seçilirse benzetim sonlanır. Sistem, davranışı modellemeye çalıştığından zaman aralıkları ve çıkışlar ile parametre büyüklükleri aksi belirtilmedikçe birimsizdir. Verilen zaman aralığında ardışıl sigara içme eylemlerinin sayısı 20’ye ulaşmazsa sistemin bağımlı olmayan fakat arada bir sigara içen bir bireyi modellediği varsayılır. Şekil 3.3 (a), (b) ve (c)’deki grafiklerin ortaya koyduğu gibi öğrenilmiş bir davranış daha sonra değiştirilmemektedir ve bu nedenle simulasyon süresini 1000 adımla sınırlamak, sonuçları görebilmek açısından istatistiksel olarak anlamlı bir yaklaşımdır. Simulasyonda kullanılan parametre değerleri şöyledir: λ = 0.5, β = 0.03, base = 0.2, a = 3, muDA = 0.1, ηc = 0.1, ηv = 0.1, ηr = 0.1. Wc ve Wv matrislerinin ilk değerleri rastgele küçük pozitif gerçel sayılar olarak alınmıştır. Wrpm matrisinin ilk değerleri de 0.5 civarında küçük rasgele sayılar olarak alınır. Güncelleme sırasında Wcpm ve Wrpm matrislerinin değerleri normalize edilir. Wdpm/m ve Wrm matrisleri, 0.5’lerden oluşur ve sabittirler, güncellenmezler. Gürültü işareti çok küçük değerli bir rastgele sayı olarak üretilir. Sistemin çıkışındaki eylemleri sınıflayabilmek için her davranış tipi kodlanmıştır ve bu kodlar sigara içme eylemi için [1 0]′, sigara içmeme eylemi için [0 1]′ ve kararsız davranışlar için de [1 1]′ olarak alınmıştır. Model art arda 50 kez çalıştırıldığında, bu simulasyonların 22’sinde ortalama 363/1000 adımda ve 288.5952’lik bir standart sapmayla bağımlı olma davranışını modellediği görülmüştür. Kalan 28 denemede bağımlı olmama ya da kararsız kalma davranışları gelişmiştir. Bağımlılığın oluştuğu bir denemeye ait sonuç matrisler aşağıdaki gibidir: 0 1 0.8569 0.2965 Wr pm = , Wc pm = , Wv pm = [0.8157 0] 0 0.6179 0.16 − 0.4331 (3.18) Sistemin modellediği üç duruma ait beklentideki hatanın grafiği Şekil 3.3’te verilmiştir. Şekil 3.3 (a), (b) ve (c)’de beklentideki hata işareti δ (mavi çizgiler) ile sigara içme eylemleri (kırmızı noktalar) çizilmiştir ve her ikisi de birimsiz büyüklüklerdir. Her kırmızı nokta bir eylem seçimini göstermektedir: seçilen eylem sigara içmeme olduğunda 0, sigara içme olduğunda ise kaçıncı ardışıl sigara içme 45 seçimi olduğunu gösteren bir pozitif tamsayıdır. Grafiğe uygun yerleştirebilmek amacıyla y-ekseni 10 ile normalize edilmiştir. (Örneğin y = 2 olduğunda aslında 20’dir. Sigara içmeme eylemi seçildiğinde y = 0 olur. Eğer seçilen eylem üst üste beşinci kez sigara içme oluyorsa y = 0.5 olur.) Sigara içme eylemi art arda 20 kez seçildiğinde bağımlılığın geliştiği kabul edilmiştir. Hata işareti δ, üst üste aynı eylem seçildiğinde sabit kalır, diğer durumlarda değişir. (a)’da başlangıçta sistem rastgele olarak sigara içme veya içmeme eylemini seçmektedir. Fakat zamanla sistem, sigara içmeme eylemini üst üste seçmeyi öğrenir. Sigara içmeme davranışı yerleştiğinde hata işareti δ = 0 olur ve artık seçilen eylem, hep sigara içmemedir. Şekil 3.3.b’de δ hata işareti [-1,1] aralığında değerler alır ve sistem benzetim boyunca rastgele olarak sigara içmeyi veya içmemeyi seçer. Sistem, herhangi bir davranışı öğrenemez yani sigara içme konusunda kararsız kalmıştır. Şekil 3.3.c’de ise sistem başlangıçta rastgele olarak sigara içme ve içmeme eylemlerinden birini seçmektedir. Zamanla sistem, her seferinde sigara içmeyi seçmeyi öğrenir. Arada bir sigara içmeme eylemi seçilmesine rağmen sistem, hemen bir sonraki adımda bu kararını değiştirir ve tekrar öğrenilmiş davranışı seçmeye devam eder. Bağımlılık geliştiğinde δ = 0 olur ve daima sigara içme eylemi seçilir. Şekil 3.3.d’deki dallanma diyagramında sistemin sergilediği farklı davranışlara ait dallar farklı renklerde gösterilmiştir. Ortadaki mavi dal kararsız olup (b)’de gösterilmiş olan ve pekiştirmeli öğrenmenin keşfetme sürecine karşılık gelen davranışı gösterir. Diğer iki kararlı dal ise bağımlılığın geliştiği ve gelişmediği davranışlara karşılık gelir. (dallanma diyagramının orijinali Şekil 3.2.b ile verilmiştir.) Yukarıda anlatılan simulasyona ait Wcpm, Wrpm, Wvpm parametrelerinin değişimini gösteren grafikler Şekil 3.4 ile verilmiştir. Wc parametresi, dış dünyadan gelen etkilerin o anki eylemlerle ilişkisini göstermektedir. Şekil 3.4.a’da öğrenme tamamlandıktan sonra Wr değerleri modeldeki sigara içmeme eyleminin kodu olan (0,1) noktasına yönelmiştir. (b)’de ise benzetim sona erdiğinde Wr değerleri (1,1) noktasına yönelmiştir ve belirli bir davranış öğrenilmemiştir. (c)’de öğrenme bitip bağımlılık davranışı geliştiğinde, Wr değerleri sigara içme davranışının kodu olan (1,0) noktasına yönelmiştir. Şekil 3.4.d, sistemin sergilediği farklı davranışlara denk gelen dallanma diyagramını göstermektedir. Grafikler incelendiğinde, arada bir öğrenilen davranışın tersi olan bir seçim yapılsa bile Wr parametresine ait grafiğin yönelimini değiştirmediği görülmektedir (Şekil 3.3 ile karşılaştırılırsa bu anlarda δ 46 işareti 0’dan farklı olmaktadır). Örneğin Şekil 3.3.c’de yaklaşık 300. adım civarında sistem bir süre için üst üste sigara içmeyi seçer fakat sonra bir kez sigara içmemeyi seçer. Şekil 3.4.c’de bu adımlara karşılık gelen anlarda ise Wr grafiği çoktan (1,0) noktasına yönelmiştir ve farklı eylem seçilse bile doğrultusunu değiştirmemektedir. Yaklaşık 400. adımdan itibaren sistem, daima sigara içmeyi seçer. Grafikten görüldüğü gibi sistem, davranış modellemeyi doğru olarak yapabilmektedir. 3.6 Sonuç ve Tartışma Öne sürdüğümüz kurama göre sigara bağımlılığı pekiştirmeli öğrenme sayesinde gelişen düşüncesizce gelişen (impulsif) davranışlardan dürtüsel (kompulsif) davranışlara doğru geçiştir. Ödül değerlendirme, beyinde limbik sistem elemanlarının görev aldığı önemli süreçlerden biridir ve pekiştirmeli öğrenme ödevleri tarafından kolayca uyarılabilir. Bu nedenle önerilen pekiştirmeli öğrenmeye dayalı eylem seçimi modeli sayesinde beyindeki alt sistemlerde süregelen davranış değişimi süreçlerini anlayıp takip etmek mümkündür. DA bu modelde nöromodülatör olarak kullanılmıştır. VTA tarafından salgılanan DA, bazal gangliada eylem seçimi ödevini harekete geçirir ve öğrenilen davranışları kodlamada rol alır. Korteks katmanları (PFC, OFC, mOFC) ve amigdala ile hipokampus arasındaki DA iletimi, öğrenmede etkilidir. NAc’e salınan DA davranışları değerlendirmede ve ödülleri kodlamada kullanılır. Bazal ganglia yapılarına salınan DA ise karar verme süreçlerinde kullanılır. DA’in beyinde pek çok farklı alanda rol aldığı bilinmekle birlikte modellemeyi basitleştirmek açısından önerilen modelde bu alanlar tek bir tür DA iletimine indirgenmiştir. Beyindeki süreçleri modellemek sistem düzeyi, tek bir nöral çekirdeğin görevlerini modellemek veya moleküler düzeyde modellemek gibi farklı düzeylerde ele alınabilir. Önerilen model, bu farklı yaklaşımları birleştirmektedir. Modelde ortalama ateşlenme oranı (mean firing rate) yaklaşımı bir sigmoid fonksiyon ile sağlanmıştır. Bu sayede çok sayıdaki nöronun ürettiği vuruları tek tek ele almak yerine devredeki nöron gruplarının davranışları ortalama vuru oranına göre incelenebilmektedir. nAChR almaçlarının VTA’dan DA salınması üzerindeki ayarlayıcı etkisini modellemek, ödül değerlendirmeyi oldukça gerçekçi olarak ele almayı sağlayan bir yaklaşımdır. Modeldeki eylem seçimi kısmı sistem düzeyinde modelleme yaklaşımına dayanır ve bu kısım için yazılan denklemlerin her biri, bir bazal ganglia 47 çekirdeğini modeller. Model farklı kısımlardan oluştuğundan, her kısmı bir alt model olarak ele alıp, bu alt modelleri giriş çıkış bağıntıları ile birleştirmek kullanılan farklı modelleme düzeylerini bağdaştırma açısından uygundur. Önerilen model, nikotin bağımlılığının bir tür öğrenilmiş davranış olduğunu göstermektedir ve bağımlı olmaya götüren süreç amaca yönelik davranış mekanizmasının hatalı çalışmasıyla açıklanabilir. Bu nedenle öğrenme için daha üst kortikal yapılarla ve ödül değerlendirme için alt düzey limbik elemanlarla iç içe geçmiş bir kortiko-striato-talamik eylem seçimi devresi ele alınmıştır. Model yardımıyla gösterilmiştir ki geçmiş eylemlerin birikimli etkileri bellekte saklanmakta ve o anki eylemlerin olası sonuçlarını değerlendirmek için kullanılmaktadır. Her insanın almaçları aynı olmadığı gibi her insanın nAChR’larının nikotine tepkisi (nikotine bağlanmaları) da aynı değildir. Modele katılan rastgelelik sayesinde her davranış tipi için belirli bir örüntüyü izleyen ama birbirinin aynı olmayan çıkışlar elde edilmektedir. Böylece bireysel farklılıklar da gözlenebilmektedir. Bu çalışma, beyinde bağımlılığın gelişmesi sürecine ilişkin hesaplamalı modelleri birleştiren bir ilerleme sunmaktadır. Sunulan modeli geliştirmek için DA salımının kaynağı olan beyin bölgeleri ve DA’in beyindeki farklı görevleri de ele alınabilir. Bu modeldeki eylem seçimi devresi PFC’e gelen girişle tetiklenmektedir. Halbuki striatumun bazal gangliadaki yönlendirici çekirdek olduğu bilinmektedir. Bu nedenle, modeli daha da geliştirmek için eylem seçimi alt sistemine ait dinamikler striatumdan gelecek yönlendirici girişleri de içerecek biçimde değiştirilebilir. Bu modeldeki içsel ödül değeri geometrik olarak artmaktadır. Mezolimbik sistemde ödülün değerlendirilmesi eylemlerin sonuçları tarafından ayarlanan farklı bir dinamik sistem olarak ele alınıp gelecekteki çalışmalara konu edilebilir. Bağımlılığın altında yatan ana sürecin pekiştirmeli öğrenme olduğu vurgulanmakla birlikte, modeli geliştirmek açısından ileride GABA ve glutamat gibi nörotransmiterler ve diğer psikolojik süreçler de işe katılabilir. Ayrıca modeldeki nöronların çalışmasını daha gerçekçi olarak, örneğin iletkenlik tabanlı modeller kullanılarak ele alınabilir. 3.6.1 Önerilen Modelin Farkı ve Getirdiği Đlerlemeler Bu çalışmada nikotin alımının etkileri tarafından sürülen bir kortiko-striato-talamik eylem seçimi devresi nikotin bağımlılığı modeli olarak önerilmiştir. Model, davranış seçimlerinin dorsal yolaktaki ifadesine karşılık gelen bir eylem seçimi (E-S) devresi 48 ile ventral yolaktaki geçmiş eylem seçimlerini değerlendirerek anlık eylem seçimlerini yönlendiren bir dinamik döngü olmak üzere iki kısımdan meydana gelmektedir. E-S devresi, nikotin alımından etkilenen VTA’dan salgılanan DA işareti tarafından değiştirilen yarışmalı öğrenme kuralını kullanır. E-S devresinin yapısı, PFC-bazal ganglia-talamus arasındaki premotor ve motor döngülere karşılık gelen bir doğrusal olmayan dinamik sistemdir. E-S devresi, bazal ganglia, talamus ve PFC sistemini içermesi ve bunu ayrıntılı açıklayabilmesi bakımından [4]’ten farklıdır. Eylem seçimlerinin yol açtığı değişiklikler premotor döngüdeki bir parametreyi ayarlayarak gerçeklenmiştir. Bu Wr parametresi, pekiştirmeli öğrenme vasıtasıyla DA işaretinin sağladığı yönlendirici etkiye karşılık gelmektedir. Wr parametresini ayarlayarak sistem, bağımlı olma, bağımlı olmama ve herhangi bir eylemi sürekli seçemeyen kararsızlık davranışlarından birini öğrenebilmektedir. Böylece E-S modülü, [4]’te anlatılandan farklı olarak pekiştirmeli öğrenmeyi kullanabilmektedir. [4]’te pekiştirmeli öğrenmeden söz edilmekle birlikte verilen model, nikotin alımını kendi seçimiyle yapmaz. Bu bölümde anlatılan model, doğrusal olmayan ayrık zaman sistemine ait dinamik denklemler içermekte ve bu sayede bilişsel süreçlere ilişkin dinamikleri gösterebilmektedir. Ayrıca pekiştirmeli öğrenmenin etkisi ile parametrelerin ayarlanması sayesinde sağlanan dinamik davranış değişikliklerini kolayca takip etmek mümkündür. Bu çalışmada amaç, bağımlılığın bir tür amaca yönelik davranış olarak geliştiğini savını desteklemek ve kortiko-striato-talamik eylem seçimi döngülerinin bağımlılık gelişiminde önemli bir rolü olduğunu ortaya koymaktır. Geçmiş eylemlerin birikimli sonuçları o anki eylem seçimini tetiklediğinden, bağımlılık gelişimi sürecini ve sinir sistemi yapılarında pekiştirmeli öğrenmenin rolünü gerçekçi olarak betimleyebilmek için modelde doğrusal olmayan dinamik sistem yaklaşımı kullanılmıştır. Ayrıca [4]’te verilen n-s-c sistemi geliştirilerek nAChR almaçlarının kandaki nikotin düzeyine verdikleri tepkinin bağımlılığın gelişimiyle birlikte nasıl değiştiği gösterilmiştir. 3.5 denklemlerindeki aktivasyon fonksiyonlarının parametrik olarak değiştirilmesi sayesinde bağımlılığın karşıt süreçler üzerindeki bozucu etkisi gözlenebilmektedir. Şekil 2.1’de verilen grafiği elde edebilmek için γ ve φ parametreleri [0.8, 1] aralığında değiştirilmektedir. 49 50 4. EYLEM SEÇĐMĐNĐN NÖRON SEVĐYESĐNDE MODELLENMESĐ Bir önceki bölümde anlatılan eylem seçimi devresi, basit bir aktivasyon fonksiyonu ile işlemden geçirilen premotor ve motor devrelerden oluşuyordu [5]-[6]. Bu sistem, her ne kadar Hopf dallanması yaparak farklı davranışları seçmeyi sağlasa da kullanılan denklemler biyofiziksel olayları açıklamakta yetersiz kalmaktadır. Bir nöron, süregen (tonik) ve anlık (fazik) biçimlerde ve tek bir vuru, vuru katarı, patlama tiplerinde ateşlenebilir. Ayrıca bir veya bir grup nöronun ateşlenebilmesi için aktivasyon potansiyelinin bir eşik değeri aşması da gerekir [81]. Tüm bu özellikler sayesinde nöronların farklı biyolojik süreçlerde farklı biçimde rol almaları mümkün olmaktadır. Oysa önceki bölümde kullanılan sistemle bu özellikleri gerçekleyebilmek mümkün değildir. Ayrıca birbirini süren bazal ganglia döngüleri düşünüldüğünde, bir nöronun eşiği aşıp ateşlenmesi sayesinde bağlantı yaptığı postsinaptik diğer nöronların da ateşlenmelerini sağlaması ve bu arada oluşan zaman kaymaları da önceki modelle doğru biçimde gösterilememektedir. Bu nedenle, beyindeki eylem seçimi devreleri incelenip farklı tipte ateşlenmeleri mümkün kılan ve bir nöronun biyofiziksel davranışını daha doğru yansıtan HodgkinHuxley tipi iletkenlik tabanlı farklı nöron modelleri ile bu devreler gerçeklenmeye çalışıldı. Bu sayede farklı nöron modellerinin avantaj ve dezavantajları hakkında bilgi edinildi. Ayrıca beyin bölgeleri arasındaki bağlantılarda etkin olan nörotransmiterlerin nöronların ateşlenmesi üzerindeki rolü de modelde ele alındı. Tezin bu bölümünde önce bu farklı modeller kıyaslanarak birbirlerine üstünlükleri hakkında bilgi verilecektir. Daha sonra ise kalsiyum (Ca) akımlarının iyon kanallarına ve aktivasyon potansiyeli üretilmesine etkisini gösteren bu tür modeller kullanılarak dorsal yolağı etkileyen ventral döngü yeniden ele alınıp tasarlanan eylem seçimi devresi ve elde edilen sonuçlar anlatılacaktır. 4.1 Daha Gerçekçi Bir Modellemeye Doğru: Hodgkin-Huxley Denklemleri Daha gerçekçi ve hem doğrudan hem dolaylı yolun etkilerini gösterebilen bir eylem seçimi devresi geliştirilmeye çalışılmıştır. Gerçekçi bir nöron modeliyle çalışabilmek 51 için Hodgkin-Huxley denklemleri kullanılmıştır. Hodgkin-Huxley modeli, hücre zarının temel biyofiziksel özelliklerini temsil eden bileşenlerden meydana gelmiştir. Hücre zarındaki lipid tabakası kapasitans, gerilim ile açılıp kapanan iyon kanalları da iletkenlik olarak modelde yer alırlar. Đyonların zarın iki yanına doğru akışını sağlayan pompa mekanizmaları da akımlar olarak betimlenmiştir. Hodgkin-Huxley modeli, nöronun aksiyon potansiyeli üretebilmesini ve bu gerilimin nöronun aksonu üzerinde ve nöronlar arasında sinapslar vasıtasıyla yayılabilmesini ayrıntılı biçimde açıklayabilen ilk hesaplamalı modeldir. Bu model kullanılarak önceki bölümde anlatılan eylem seçimi devresi gerçeklendiğinde gelen uyarıya göre nöronun vuru (spike) üretmesi veya susması gözlemlenebilmiştir. Bu çalışmaya ilişkin sonuçlar bölüm 4.1.1’de verilecek ve bu modeli geliştirmek için gereken iyon kanallarının modele nasıl eklendiği bölüm 4.1.2’de anlatılacaktır. Bu alt bölümde son olarak bölüm 4.1.2’de anlatılanlar ışığında elde edilen model tartışılacaktır. 4.1.1 Hodgkin-Huxley Denklemleri ile Eylem Seçimi Devresinin Modellenmesi Tezin üçüncü bölümünde anlatılan eylem seçimi devresini oluşturan ve HodgkinHuxley nöron modelini [81] kullanan denklemler aşağıda verilmiştir. Denklemlerde C, duyusal girişlerin alındığı duyusal korteksi, StrD1 ve StrD2, striatumdaki D1 ve D2 tipinde dopamin (DA) almacına sahip nöronları, GPe, globus pallidus eksternayı, STN, subtalamik nukleusu, GPi, globus pallidus interna/substantia nigra pars reticularis bloğunu, Thl, talamusu göstermektedir. Denklemlerdeki Iapp, IL, INa, ve IK akımları, sırasıyla dış uyaranı, kaçak akımı, sodyum (Na+) ve potasyum (K+) iyon kanallarına ait akımları gösterir. Bir nöronun diğeri ile bağlantısı, bu nörondan diğerine doğru olan akım ile ifade edilip bu akım post sinaptik nörona ait aksiyon potansiyelinden presinaptik nöronun aksiyon potansiyeli çıkarılarak bulunur. 4.1 eşitliklerindeki Str denklemlerindeki WD katsayıları, DA salımının D1 ve D2 nöronları üzerindeki zıt yönlü etkisini göstermek amacıyla konulmuştur. DA varlığında D1 nöronları daha yoğun vuru üretirken D2 nöronlarının etkinliği azalır, yani DA salımı D1 nöronlarını uyarırken D2 nöronlarını baskılar. DA salındığında D1 nöronlarının tetiklediği doğrusal yol etkindir. DA salınmadığındaysa D2 nöronlarının tetiklediği dolaylı yol etkin olur. Bu devreye ilişkin sonuçlar DA salınan durum için, yani doğrusal yolun etkin olduğu durum için Şekil 4.1’de görülmektedir. 52 Şekil 4.1 : Hodgkin-Huxley modeliyle gerçeklenen eylem seçici devrenin DA salgılanan durumdaki çıkışları. a) Korteks çıkışı b) Striatum D1 nöronu çıkışı c) Striatum D2 nöronu çıkışı d) GPe çıkışı e) STN çıkışı f) GPi çıkışı g) Talamus çıkışı. 53 dVC = (− I L − I K − I Na + I app + I THL _ C ) dt (4.1a) C dV StrD1 = (WD1 ⋅ (− I L − I K − I Na ) + I C _ STRD1 ) dt (4.1b) C dV StrD 2 = (WD 2 ⋅ (− I L − I K − I Na ) + I C _ STRD 2 ) dt (4.1c) dVGPe = (− I L − I K − I Na − I STRD 2 _ GPE ) dt (4.1d) dV STN = (− I L − I K − I Na − I GPE _ STN ) dt (4.1e) dVGPi = (− I L − I K − I Na − I STRD1 _ GPI + I STN _ GPI ) dt (4.1f) dVTHL = (− I L − I K − I Na − I GPI _ THL ) dt (4.1g) C C C C C Şekil 4.1’deki devre I = 10 nA düzeyinde sabit bir akım ile uyarılmaktadır. Çıkış gerilimlerinin frekansları Na+ ve K+ iyon kapılarına ait denklemlerle ayarlanmaktadır. Şekil incelendiğinde GPe ve talamusun olması gereken etkinlik düzeyine yani korteks ve Str gibi bir uyarılmışlık düzeyine ulaşamadığı görülmektedir. Dolayısıyla GPe ve talamus, aksiyon potansiyeli üretememektedir. Bunun temel sebebi, tüm yapılara ait denklemlerin Hodgkin-Huxley modeline göre yazılmış olmasıdır. Hodgkin-Huxley modelinde nörona dışarıdan bir akım uygulanmadığı sürece denklemler kendi başlarına vuru üretememektedirler. Sürekli dış uyarana maruz kalan korteks vuru katarı üretirken kendisine baskılayıcı giriş gelmediği için kendi etkinliğini en üst düzeyde göstermesi gereken GPe ve talamus, herhangi bir uyarı almadıkları için suskun kalmaktadır. StrD1 ve StrD2 çıkışlarındaki farklılık DA salımına göre değeri değişen WD katsayısı sayesinde olmaktadır (D1 için uyarıcı ve D2 için baskılayıcı yönde etki ettirilmiştir). Hodgkin-Huxley modelinde, dışarıdan gelen akımın dışında vuru üretilmesini sağlayan elemanlar iyon kanallarına ait akımlardır (IL, INa, ve IK akımları). 54 Sonuç olarak kullanılan model, tek bir nöron söz konusu olduğunda son derece gerçekçi sonuçlar vermekte ama birbirine bağlı nöron grupları için yetersiz kalmaktadır. Elde edilen bulgulara göre, nöron etkinliğini azaltmak için uygulanan akım büyüklüğüyle oynamanın yanında iyon kanallarını susturma ve iletkenlikleri (iyon geçirgenliğini) ayarlama yöntemleri de kullanılmalıdır. Biyofiziksel olaylar dikkate alındığında, bir pre-sinaptik nöronun aksonunda oluşan potansiyel sayesinde hücre zarındaki kesecikler açılarak nörotransmiterler ve iyonlar sinapsa salınmakta ve post-sinaptik nöronunun hücre zarındaki iyon kanallarını etkileyerek (bazı iyon tipleri için kanalın açılmasını, bazıları için kapanmasını sağlayarak) aksiyon potansiyeli oluşturulmasını sağlamaktadırlar. Bu durumda uyaran akımını iyon kanallarını etkileyecek biçimde modele entegre etmek daha uygun sonuçlar alınmasını sağlayacaktır. 4.1.2 Hücre Zarı Đyon Kanallarının Nöron Etkinliğindeki Rolü Aksiyon potansiyeli oluşurken hücre zarında gerçekleşen çok hızlı gerilim değişiklikleri, iyon kanalları vasıtasıyla iyonların hücre zarının iç ve dış tarafı arasında geçişleri sayesinde oluşur. Đyon kanalları, iyon tiplerini tanıyarak ilgilendikleri iyonun geçişini sağlarken diğerlerini engellerler ve elektriksel, mekanik veya kimyasal işaretlerle uyarılarak çalışırlar. Bu seçici geçirgenlik özelliği sayesinde bazı iyonlar hücre zarının dış tarafında sayıca fazlayken bazıları da iç tarafta fazladır (oysa difüzyon ilkelerine göre iki taraftaki iyon konsantrasyonu eşitlene kadar iyonların geçişe devam etmesi gerekirdi). Dolayısıyla hücre zarının iç ve dış yüzeyleri arasında iyonların yüküne bağlı olarak bir potansiyel farkı oluşur. Burada söz konusu olan iyonlar, Na+, K+, Cl-, Ca+2 iyonlarıdır. Ca+2 iyonları, aksiyon potansiyelinin yanı sıra çeşitli enzimler ve proteinlerin çalışması ile nörotransmiter salımı gibi hücredeki pek çok metabolik olayda etkin görev alırlar [82]. Her bir iyon tipi için hücre zarının iç ve dış tarafındaki iyon miktarına bağlı olarak oluşan potansiyel farkı Nernst denklemiyle belirlenir ve denge durumundaki iyon potansiyeli olarak adlandırılır [81]. Hücre zarı potansiyeli, denge potansiyeline eşit olduğunda o iyon tipi için net potansiyel sıfır olur. Aksi durumda ise potansiyel farkına ve hücre zarının o iyon tipi için geçirgenliğine (yani iletkenliğine) bağlı olarak bir akım oluşur. 55 Nöronların aksiyon potansiyeli üretmesinde iyon akımları kadar aralarındaki bağlantının niteliği de önemlidir. Yavaş akımların uyarılma veya baskılanması sonucunda baskılama sonrası geri tepme vuruları (rebound spikes) oluşabileceği gibi birbirini baskılayan nöronlardan oluşan sistemlerde ritmik etkinlik gözlenebilir. Yavaş ve hızlı olma durumu, iyonların zar geçiş hızını betimlemektedir. Her nöronda hızlı Na+ ve K+ ile kaçak akımları bulunmaktadır [83]. Her ne kadar Hodgkin-Huxley denklemleri Na+ ve K+ iyon akımlarını içerse de salt bu model kullanılarak bir sistemi doğru biçimde modellemek +2 olmamaktadır. Zira hem hücrede önemli görevleri olan Ca mümkün iyonlarının etkisini hem de hücreler arası bağlantıların uyarıcı/baskılayıcı olmalarının etkisini göz önüne almak gerekir. Aynı zamanda devrede yer alan beyin alt yapılarının farklı özellikleri de dikkate alınmalıdır çünkü bazılarında bulunan bir tür iyon akımı diğerlerinde gözlenmemektedir. Hodgkin-Huxley modeli, yalnızca deney ortamında hücre dışarıdan uyarıldığında çok gerçekçi sonuçlar vermekte ancak hücrenin kendi başına etkinliğini aktarmakta yetersiz kalmaktadır. Bu nedenle dorsal eylem seçimi devresi doğrudan ve dolaylı yolu içerecek biçimde tekrar ele alınmış ve her beyin yapısı için onu temsil eden nöronun özelliklerine uygun iyon akımları kullanılarak gerçeklenmiştir [11]. Yeniden tasarlanan sistemde vuru üretebilme dinamiklerini elde edebilmek için sinir hücresi gerilim denklemlerine [84]’te olduğu gibi Ca+2 iyon akımı (ICa) da eklenmiştir. ICa, IAHP akımlarıyla Ca+2 iyon konsantrasyonu ve hızlı kanal dinamiklerine ilişkin denklemler de [84]’ten alınmıştır. Korteks nöronuna etki eden yüksek eşikli Ca+2 akımı ILca, nöronun uyarılabilirliğini azaltmaktadır [62],[85]. Hiperpolarizasyon sonrası K+ akımı (IAHP) ve korteks nöron dinamikleri [84] ve [85]’ten alınmıştır. Kalsiyum akımına ait denklemlerin getirdiği temel fark, eklenen Ca+2 akımlarının hücre dışarıdan uyarılmazken de vuru üretmeyi sağlamasıdır. Ancak verilen model çalıştırıldığında, uygulanan Iapp akımı öncekine göre daha düşük seviyedeyken yine vuru üretiminin durduğu gözlenmiştir. Hodgkin-Huxley modelinde Iapp ≈ 10 nA iken vuru katarı üretilmekte, Iapp = 0 nA iken aksiyon potansiyeli üretilmemektedir. Terman modelinde ise Iapp = 0 nA iken vuru katarı, Iapp = -5 nA iken tek bir vuru üretilmekte, Iapp = -10 nA iken vuru üretilmemektedir. Yani modele eklenen Ca+2 56 akımları, kendiliğinden uyarılmayı sağlamamakta ama modelin uyarılma eşiğini aşağıya kaydırmaktadırlar. Sisteme Terman nöron modelindeki Ca+2 akımları eklendiğinde bu kez de baskılandığı için etkinliğinin durması/azalması gereken nöronlar sorun çıkarmıştır. Zira kendi başlarına da vuru üretebildiklerinden gelen negatif akımdan olumsuz etkilenmemişlerdir. Bir diğer sorun da modelde bir beyin bölgesinden diğerine doğru yazılan akımların bağladıkları beyin altyapılarının gerilimlerinin farkına dayanmasıdır. Sistemdeki tüm elemanlar vuru katarı üretebilmekte, yani gerilimleri salınım yaparcasına alt ve üst sınırlar arasında değişmektedir. Salınım yapan iki gerilim aynı fazda olmadıklarından, bunların farkı da salınım yapan bir akım doğurmaktadır. Bu durumda, kortekse uygulanan Iapp hariç, tüm nöronlara giren akımlar da salınım yapan karakteristiğe sahip olmaktadır. Hodgkin-Huxley benzeri iletkenlik tabanlı modellerde ise nörona giren akımlar hep doğru akım karakteristiğine sahiptir. Bu sayede düzenli vuru katarı üretilebilmektedir. Terman modelindeki nöronların susması için uyarı akımının iyice negatif düzeye çekilmesi gerekmektedir. Ancak salınım yapan bir akım ne kadar negatif olursa yaklaşık olarak aynı büyüklükte pozitif bileşeni de olacağından, uyardığı nöron aralıklı olarak uyarım almış gibi davranmakta ve bu uyarılar repolarizasyon evresinde geldiğinden yine vuru üretmektedir. Bu sorunu aşmak için sistemdeki tüm beyin yapıları aynı nöron modeli kullanılarak değil de her biri sahip oldukları özellikleri yansıtan farklı modellerle gerçeklenmiştir. Böylece örneğin Str nöronlarında çok etkin olan farklı tiplerdeki Ca+2 akımları, yalnızca bu nöronların dinamiğini etkilerken diğer beyin bölgeleri için de sahip oldukları fizyolojik özelliklerine uygun farklı iyon akımları eklenmiştir. Böylece her beyin bölgesinin gerçekten de biyofiziksel eşdeğer modelini kullanan bir sistem elde edilmiştir. Str nöronunu modellerken, burada bulunan medium spiny nöron (MSN) tipindeki hücrelerin özellikleri dikkate alınmıştır [82]. Str’da bulunan Kv1 tipindeki K+ iyon kanalları eşik altı K+ akımının ve tekrarlanan etkinliğin oluşmasında en büyük paya sahiptirler. Kv1 kanalları, vuru oluşan bölgede stratejik bir noktada bulunurlar ve vuru oluşma eşiğinin hemen altındaki bir gerilim aralığında açılırlar ve bu sayede MSN’ların uyarılabilirliğinin düzenlenmesinde rol oynarlar. Kv1 kanallarının dinamiği [86]’da Shen ve arkadaşları tarafından gerçeklenen Hodgkin-Huxley 57 modelinde anlatıldığı şekilde ele alınmıştır. Ayrıca DA’in farklı D tipi almaca sahip nöronlar üzerindeki etkisini gösterebilmek için Str modellenirken D1 ve D2 tipinde iki farklı nöron kullanılmış, herbirinin ayrı ayrı diğer bölgelerle bağlantıları yapılmıştır. Normalde farklı bir nöron üzerinde farklı tiplerde DA almaçları bulunur ve bunların toplam etkisi nöronun ateşlenmesinde rol oynar. Ancak geliştirilen modeli sadeleştirmek açısından D1 ve D2 nöronları, sadece ismini aldıkları tipteki DA almacına sahip olarak kurgulanmıştır. Bu iki nörona SNc’dan salınan DA etkisi farklı iletkenliklerle çarpılarak kontrol edilmektedir. DA miktarı arttığında D1 almaçları üzerinde bulundukları nöronun etkinliğinin artmasını sağlarken D2 almaçları tam tersine nöron etkinliğinin azalmasına yol açmaktadır. Bazal ganglia eylem seçimi devresindeki doğrudan yolakta Str etkinliği (GPi/SNr’nin Thl üzerindeki) baskılamayı baskılayarak hareketin seçilmesini sağlarken dolaylı yolakta azalan Str etkinliği nedeniyle GPi baskılandığından hareket seçimi mümkün olmamaktaydı. Str etkinliğindeki bu farkı belirtebilmek için D1 nöronları doğrudan yolak, D2 nöronları da dolaylı yolak için başlangıç noktası olarak alınmıştır. GPe ve GPi nöronlarını modellemek için [84]’teki gibi düşük eşikli T-tipi Ca+2 akımı (IT) akımı süreçleri göz önüne alınmıştır. Ancak nöron hücre zarı dinamikleri [86]’daki denklemlerden yararlanarak yazılmıştır. STN ve Thl nöronlarını modellemek için ise düşük eşikli T-tipi Ca+2 akımı [87]’de anlatıldığı gibi kullanılmıştır. Dorsal eylem seçimi devresinde Str’a gelen DA’in kaynağı SNc’dır. SNc nöronunu modellemek için Hodgkin-Huxley denklemi kullanılmıştır. SNc nöronunun varlığıyla sisteme DA salınımı sağlanmakta ve bu şekilde Str D1 ve D2 nöronlarına gelen DA sayesinde eylem seçimi mümkün olmaktadır [11]. Ancak SNc’dan Str’a olan bağlantılar D1 ve D2 nöronlarına farklı etki edecek biçimde ele alındığında ödülün eylem seçimine etkisi açıkça görülmektedir. SNc’den D1 nöronuna olan bağlantı sodyum (Na+) kanalının ve L-tipi Ca+2 kanalının etkinleştirilmesi ile oluşan akım olarak yazılırsa DA, iyon kapılarına etki eder. Benzer biçimde SNc’den D2 nöronuna gelen akım da Na+ kanalının inaktive edilmesi ve K+ kanalının etkinleştirilmesiyle oluşan akım biçiminde yazılır. Bu şekilde DA’in D1 ve D2 tipindeki almaçlara sahip nöronlar üzerindeki farklı etkisi gösterilebilir. Tüm denklemlerle ilgili bilgiler Ek B’de verilmiştir. 58 4.1.3 Geliştirilmiş Hodgkin-Huxley Modeli ile Eylem Seçimi Devresinin Modellenmesi Eylem seçimi devresinde yalnızca dorsal döngüdeki bileşenler (korteks, Str, SNc, GPe, GPi/SNr, STN, Thl) varken (Şekil 2.1) ve SNc’dan gelen uyarıyla striatumda oluşan Ca+2, K+, Na+ iyon akımları dikkate alınmadığı durumda elde edilen sonuçlar aşağıda anlatılmıştır. Bu devrede korteks, [18]’de anlatıldığı gibi dış dünyadan gelen uyarıları alan aktivasyon (duyusal – assosiasyon) korteksi ve istemli hareketleri yöneten motor korteks olarak iki parça halinde ele alınmıştır. DA, Str-D2 nöronlarının etkinliğini bastırmadığından [11]’de anlatıldığı gibi aktivasyon korteksinden (AC) gelen uyarı motor kortekse (MC) yansımaktadır. Bu devrede (Şekil 2.1) kortekse gelen uyaran belli bir değerin altında (I = 10 nA) ise korteks sessiz kalır (Şekil 4.2). Korteksin sessiz kalması demek girişlerine bir uyarı gelmediği için striatum nöronlarının da sessiz kalması demektir. Striatum nöronları sessiz kalınca doğrudan yolak üzerindeki GPi ve dolaylı yolaktaki GPe nöronlarının etkinliği bastırılmaz ve bu iki nöron, hücre içi dinamikleri sebebi ile hızlı ateşleme davranışı gösterirler. STN nöronu, hücre içi dinamiği gereği yavaş bir ateşleme davranışı (düşük frekansta 500 ms’de bir, bir vuru üretir) gösterir. GPe, STN’nin etkinliğini bastırdığında geri tepme vurularının (rebound spikes) üretilmesi beklenir. Fakat GPe ile STN arasındaki bağlantı, zayıf türden bir bağlantı olduğundan bu baskılama, STN’deki etkinliği arttırıcı değil zayıflatıcı bir etki gösterir. Eğer GPeSTN bağlantısı kuvvetli olsaydı, geri tepme vuruları üretilecekti fakat zayıf olunca STN bastırıldıktan sonra aksiyon potansiyeli -65 mV’u geçse de vuruyu üretecek eşik gerilimi geçemez. STN nöronu, üst doğrudan yol ile bağlı olduğu korteksten etkilenmez çünkü korteks herhangi bir aksiyon potansiyeli üretememiş ve STN’yi uyaramamıştır. GPi nöronunun, STN ve STR-D1 nöronlarından gelen uyarım nedeniyle tıpkı GPe gibi hızlı ateşleme davranışı göstermesi beklenir. Fakat GPe’den GPi’ye bağlanan GABAerjik yolak, GPi’deki bütün etkinliği sonlandırır. GPi susturulduğu için Thl’ta da herhangi bir etkinlik görülmez. Thl’ta herhangi bir etkinlik olmadığı için motor kortekste de herhangi bir etkinlik oluşmaz, sonuç olarak AC’indeki sessizlik MC’e aktarılmış olur. 59 Şekil 4.2 : Tek başına çalışan dorsal eylem seçimi devresinin girişinin eşik altında uyarıldığı durum. Kısaltmalar: AC, aktivasyon korteksi; GPe, globus pallidus eksternus, GPi, globus pallidus internus; MC, motor korteks; STN, subtalamik nukleus; STR-D1, STR-D2, striatumun D1 ve D2 tipinde DA almacına sahip nöronları (kaudat ve putamen); THL, talamus. 60 Şekil 4.3 : Tek başına çalışan dorsal eylem seçimi devresinde STR-D2 kanalının DA tarafından baskılanmadığı durum. Kısaltmalar: AC, aktivasyon korteksi; GPe, globus pallidus eksternus, GPi, globus pallidus internus; MC, motor korteks; STN, subtalamik nukleus; STR-D1, STR-D2, striatumun D1 ve D2 tipinde DA almacına sahip nöronları (kaudat ve putamen); THL, talamus. 61 Aynı devrede bu kez AC girişi eşik değerin üzerinde bir I akımı (16 nA) ile uyarıldığında korteks etkinliği gözlenir (Şekil 4.3). Kortekste üretilen etkinlik, Str nöronlarını uyarır ve Str nöronlarında korteksteki etkinlikle aynı frekansta patlama vuruları (bursts) üretilir (hemen her korteks vurusuna karşılık birden fazla Str vurusu üretildiğinden patlama tipi vurudur). Str’da üretilen bu etkinlik, GABAerjik yollar ile GPi ve GPe’deki hızlı ateşleme etkinliğini bastırır ve GPe’de içlerinde çok sayıda vuru olan aralıklı patlamalar üretir. GPi’nin de GPe gibi bir davranış üretmesi beklense de aralarındaki GABAerjik bağlantı sayesinde GPe, GPi’deki bütün etkinliği sonlandırmıştır. Bu aşamada GPi’de sanki hiçbir etkinlik yokmuş gibi görünmektedir fakat durum böyle değildir. GPi, STR-D1 nöronunun etkisi ile bastırıldığında bu baskılanmaya sanki geri tepme vurusu üretecekmiş gibi bir tepki vermiştir. Ancak hücre içi dinamiğinin geri tepme vurusu üretmeye uygun olmaması nedeniyle aksiyon potansiyeli, baskılanma sonrası denge potansiyeli olan -65mV’u aşmış fakat geri tepme vurusu üretecek düzeye ulaşamamıştır. Yani GPi sessizmiş gibi görünse de STR-D1 nöronu etkinliğini benzer bir frekans bilgisi ile GPi’ye aktarmıştır. GPe’den aldığı düşük baskılama nedeniyle geri tepme vurusu üretemeyecek durumdaki STN nöronuna korteks, üst doğrudan yol üzerinden etki eder ve kendisini STN hücresine küçük bir zaman kayması ile kopyalar. Bu kayma, sistem çıkışındaki zaman kaymasının ilk görünür sebebidir. STN, korteksten kopyaladığı etkinliği glutamaterjik bağlantıyla GPi’ye aktarır. Bu aktarımın kolaylaşmasının nedeni, STR-D1 nöronu GPi’yi yeterince baskılamadığından GPi nöronunun geri tepme vurusu üretecek düzeyde aksiyon potansiyeli oluşturamamasıdır. Bu noktada STN devreye girer ve GPi hücre zarında vuru üretilmesi için gerekli eşiğe gelmiş zar potansiyelini eşiğin üstüne iter [83]. Böylece GPi, korteksteki etkinliği STR-D1, GPe ve STN nöronlarının yardımıyla aynı frekans ile kopyalamış olur. GPi, Thl’a GABAerjik yol ile bağlıdır. Bu nedenle baskılanmış olan Thl, baskı sonrası geri tepme vurusu üretir [82]. Geri tepme vurusundan kaynaklanan küçük bir zaman kayması bu noktada da gözlenir. Thl, ürettiği etkinliği glutamaterjik bağlantısı ile motor kortekse uyaran olarak aktarır. Uyarılan MC çıkışında görülen etkinlik, davranışa denk gelir. Böylece eylem seçimi devresinin girişindeki uyarana karşılık üretilmiş olan etkinlik motor korteksten davranış olarak dış dünyaya aktarılmış olur. 62 Şekil 4.4 : Tek başına çalışan dorsal eylem seçimi devresinde DA’in STR-D2 kanalını baskıladığı durum. Kısaltmalar: AC, aktivasyon korteksi; GPe, globus pallidus eksternus, GPi, globus pallidus internus; MC, motor korteks; STN, subtalamik nukleus; STR-D1, STR-D2, striatumun D1 ve D2 tipinde DA almacına sahip nöronları (kaudat ve putamen); THL, talamus. 63 Dorsal devrenin DA kaynağı SNc’dır. DA’in sistemi nasıl etkilediğini göstermek için SNc da devreye eklenmiştir. SNc’dan gelen DA’in D1 ve D2 nöronlarına etkisini göstermek için D1 nöronuna olan bağlantı Na+ kanalının ve L-tipi Ca+2 kanalının etkinleştirilmesi ile oluşan akım olarak ve D2 nöronuna gelen akım da Na+ kanalının inaktive edilmesi ve K+ kanalının etkinleştirilmesiyle oluşan akım biçiminde yazılırsa, STR-D2 nöronlarının baskılanmasıyla aktivasyon korteksine gelen uyarıların motor kortekse aktarılmadığı Şekil 4.4’de görülmektedir. Bu akımlar arasında en etkin olanı STR-D2’ye giren Na+ akımıdır; değeri azaldığında devre, girişindeki uyarıyı çıkışa aktarmaya başlamaktadır. STR-D2 kanalı baskılanmış olduğundan artık GPe’ye geri tepme vurusu ürettiremez. STN, aktivasyon korteksinden gelen etkinliği kopyalar ve frekans bilgisini de GPi’ye aktarır. Fakat GPe, geri tepme vurusu oluşturamadığından GPi’yi tamamen baskılamaktadır ve bu nedenle GPi de geri tepme vurusu oluşturacak düzeyde aksiyon potansiyeli üretemez. Sonuçta korteks girişindeki uyarılar talamus üzerinden motor kortekse iletilemez. Bu durum, eylem seçiminin yapılıp yapılamayacağının DA etkisiyle ayarlanabileceğini göstermektedir. 4.2 Dorsal Striatal Eylem Seçimi Devresine Ödülün Etki Etmesi Ödülün etkisini göstermek amacıyla dorsal eylem seçimi devresi ile paralel çalışan bir ventral ödül değerlendirme devresi sisteme eklenmiştir. NAc için DA kaynağı, VTA’dır. NAc nöronunu modellemek için Str nöron modelinde kullanılan denklemler tercih edilmiştir çünkü her iki yapı da benzer medium spiny nöronlar içermektedir. Bununla birlikte NAc’te D2 tipindeki almaçların sayısı daha fazla olduğundan NAc için bir adet D1 ve iki adet D2 tipinde nöron kullanılmıştır. Doğrudan yolu etkilemek için NAc D1 nöronu GPi ile bağlanmıştır. Dolaylı yol için de NAc D2 nöronları GPe ile bağlanmışlardır. VTA nöron modeli olarak [72] ile verilen nöron modeli kullanılmıştır. Bu model ile VTA’nın ürettiği vuru, patlama (burst), süregen (tonik) ve anlık (fazik) işaretlerinin tümü gözlenebilmektedir. Amaçlanan, korteksten gelen dış uyaran bilgisiyle DA salgısının arttırılması ve bunun ödül olarak NAc üzerinden eylem seçimi devresine yansıtılıp kararlara etki etmesidir. VTA korteks tarafından DAerjik bağlantı ile uyarılırken NAc tarafından da GABAerjik bağlantı ile baskılanmaktadır. Ventral yolaktaki ödül döngüsünü tamamlamak üzere amigdala (Aml), laterodorsal 64 hipotalamus (LH), pedunculopontine tegmental nucleus (PPTg), laterodorsal tegmental nucleus (LDTg) da devreye eklenmiştir. Oluşturulan ödüle dayalı eylem seçimi devresi Şekil 4.5’de verilmiştir. Şekil 4.5 : Ödüle dayalı eylem seçimi devresi. Kısaltmalar: Aml, amigdala; DA, dopamin, D1, D2, D1 ve D2 almacına sahip nöronlar; GABA, gama aminobütirik asit; GPe, globus pallidus eksternus, GPi, globus pallidus internus; LDTg, laterodorsal tegmental nucleus; LH, lateral hipotalamus; NAc, nucleus accumbens; PPTg, pedunculopontine tegmental nucleus; SNc, substantia nigra pars compacta; SNr, substantia nigra pars reticulata, STN, subtalamik nukleus; Str, striatum (kaudat ve putamen); THL, talamus, VTA, ventral tegmental alan. Bu bölümde ödülün etkisini göstermek için iki farklı devre anlatılacaktır. Đlk devrede yalnızca VTA ile NAc arasındaki dinamiği kullanan minimal bir model vardır. Đkinci 65 olarak gerçeklenen devredeyse, birinci devre genişletilerek ödül mekanizmasında etkili olan tüm elemanları içermesi için Aml/LH ve PPTg/LDTg yapıları eklenmiştir. 4.2.1 Ödül Etkisinin Minimal Modellenmesi Eylem seçimi devresine ödülün etkisini göstermek üzere NAc ve ventral yolak için DA kaynağı olan VTA eklendiğinde elde edilen sonuçlar Şekil 4.6’da görülmektedir. Bu durumda SNc’den salgılanan DA’in etkisini göstermek üzere Str nöronlarında Ca+2, K+, Na+ iyon akımları devrededir. NAc nöronları da Str nöronlarıyla benzer biçimde modellenmiştir, yani DA salgısının D1 ve D2 tipi almaca sahip nöronlarda farklı etkisi vardır. Ayrıca merkezi sinir sisteminde en fazla bulunan DA almacı tipi D2 olduğundan [27], devredeki D2 tipinde NAc nöronlarının sayısı, D1 tipindekilerden fazladır. SNc ve VTA nöronları için dış uyaran akım kullanılmıştır (ISNc = 80 nA, IVTA = 0.4 nA). Str üzerinde DA kaynaklı iyon akımlarının etkisiyle Şekil 4.4’teki gibi motor korteks çıkışının bastırılmış olması beklenirken NAc üzerinden gelen vurular GPe’yi baskıladığı için Thl ve motor korteks çıkışında etkinlik vardır. Buradan ödülün etkisiyle istenmeyen bir eylemin de seçilebileceği veya arzulanan bir eylemin daha kuvvetle isteneceği sonucu çıkmaktadır. Yukarıda anlatılan durumda VTA nöronu SNc nöronunda olduğu gibi HodgkinHuxley modeliyle değil, DA ve dış uyaran olarak kullanılan nikotinin etkisini uygun biçimde gösteren ve farklı vuru tiplerini sergileyebilen daha gerçekçi bir modelle [72] tasarlanmıştır. [72] ile önerilen model laboratuvardaki deneyi tekrarlandığından nöronun çalışmasına etki eden iki farklı madde vardır: tetrodotoksin (TTX) ve apamin (APA). TTX, hızlı Na kanallarına bağlanarak nöronların aksiyon potansiyeli üretmesine engel olan bir tür zehirdir ve laboratuvar ortamında çalışma yapmak için kullanılır. Bu nedenle VTA nöronu için TTX katsayısı 1 olarak alınmış ve nöronun ateşlenmesi mümkün kılınmıştır. APA, arılardan elde edilen bir tür zehirdir ve hücre zarındaki SK kanallarını (Ca+2 ile aktive edilen K+ kanalları) bloke eder. TTX gibi APA de hücre zarı iyon kanallarının elektriksel özelliklerini incelemekte kullanılır. [88]’de belirtildiği gibi, nikotin ve APA, nAChR’larını benzer biçimde etkilerler, yani aynı hedef üzerinde etkilidirler. Bölüm 3’te ele alınan nikotin bağımlılığı için geliştirilen modele benzer bir çalışma bu yapı ile gerçekleştirilirse [72] modelindeki APA katsayısı nikotin olarak düşünülebilir. Böylece nikotin varlığında VTA nöronunun patlama ateşlemeleri yaptığını göstermek mümkün olmaktadır. 66 Şekil 4.6 : Eylem seçimi devresinde dorsal ve ventral birlikte etkin ve DA’in STR-D2 kanalını baskıladığı durum. Kısaltmalar: AC, aktivasyon korteksi; GPe, globus pallidus eksternus, GPi, globus pallidus internus; MC, motor korteks; NAc-D1, NAc-D21, NAc-D22, nucleus accumbensin D1, D2 tipinde DA almacına sahip nöronları; SNc, substantia nigra pars compacta; STN, subtalamik nukleus; STR-D1, STR-D2, striatumun D1, D2 tipinde DA almacına sahip nöronları (kaudat ve putamen); THL, talamus; VTA, ventral tegmental alan. 67 Şekil 4.7 : Eylem seçimi devresinde dorsal ve ventral birlikte etkinken VTA’nın tonik ateşleme yapması nedeniyle çıkış etkinliğinin artması. Kısaltmalar: AC, aktivasyon korteksi; GPe, globus pallidus eksternus, GPi, globus pallidus internus; MC, motor korteks; NAc-D1, NAc-D21, NAc-D22, nucleus accumbensin D1, D2 tipinde DA almacına sahip nöronları; SNc, substantia nigra pars compacta; STN, subtalamik nukleus; STR-D1, STR-D2, striatumun D1, D2 tipinde DA almacına sahip nöronları (kaudat ve putamen); THL, talamus; VTA, ventral tegmental alan. 68 VTA nöronunun ürettiği patlamalar sayesinde D2 kanalları bastırıldığı halde aktivasyon korteksindeki uyarı motor kortekse iletilebilmektedir. Şekil 4.6’te VTA nöronu patlamalar üretmektedir. APA katsayısı VTA nöronu süregen (tonik) ateşlenecek biçimde değiştirilirse (APA = 1), Nac D2 nöronlarında azalan DA girişine bağlı olarak etkinliğin biraz arttığı görülür. Dolaylı yolun baskılamasını azaltan bu durum nedeniyle Thl ve MC çıkışlarındaki etkinlik de biraz artar. Bununla ilgili sonuçlar Şekil 4.7’de verilmiştir. VTA DA nöronlarının çalışması için bunlara gelen DA-GABA salımı arasında uygun bir dinamiğin olması gerekir [51]. Bu dinamik, bir tür karşıt süreç sergiler ve DA nöronlarının uygun biçimde aksiyon potansiyeli üretmesini sağlar. Önerilen modelde VTA’nın giriş bağlantıları olarak korteksten gelen uyarıcı ve NAc’den gelen baskılayıcı akımlara ihtiyaç olması bu sebeptendir. Yalnızca korteks üzerinden gelen bir uyaranla VTA, ancak çok küçük genlikli bir aksiyon potansiyeli üretebilmekte, bu da NAc nöronlarının çalışmasını etkileyecek eşik değere ulaşmamaktadır. Dolayısıyla sistem düzgün çalışmaz, ödül tarafından desteklenmediği için sadece dorsal devre etkindir ve eylem seçimini engellendiğinden motor kortekste çıkış göremeyiz. 4.2.2 Ödül Etkisinin Genişletilmiş Model ile Ele Alınması Eylem seçimi devresini, dorsal ve ventral yolaklar ile ödül değerlendirme mekanizmasında rol alan beyin bölgelerini içerecek biçimde genişletmek için son olarak amigdala/lateral hipotalamus (Aml/LH) ile pedunculopontine tegmental nucleus/laterodorsal tegmental nucleus (PPTg/LDTg) yapıları sisteme birer blok olarak eklenmiştir. Bu iki yapı, VTA, NAc ve SNc ile ilişkileri sayesinde sistemde DA salımının düzenlenmesinde rol almaktadırlar ([89] ve bölüm 0’de anlatılmıştı). Şekil 4.5’ de görülen tüm yapılar sistemde etkin olarak çalışırken ancak sistemin girişinde hiçbir uyaran bulunmazken elde edilen sonuçlar Şekil 4.8’de verilmiştir. Korteks girişinde hiçbir uyaran olmamasına rağmen sistemde 250ms’den kısa süren bir etkinlik gözlenmektedir. Bunun nedeni sistemin iç dinamiğinin yol açtığı geri tepme vurularıdır. Uzun dönemde nöronlar birbirlerini uyarmadığı veya baskılamadığı için bir etkinlik oluşmaz. Bu nedenle sistemin girişi dışarıdan uyarılmazken herhangi bir eylem seçimi söz konusu değildir. 69 Şekil 4.8 : Eylem seçimi devresinde dorsal ve ventral yolak birlikte etkinken girişin uyarılmaması sonucu etkinlik gözlenmemesi. Kısaltmalar: AC, aktivasyon korteksi; Aml, amigdala; GPe, globus pallidus eksternus, GPi, globus pallidus internus; LDTg, laterodorsal tegmental nucleus; LH, lateral hipotalamus; MC, motor korteks; NAc-D1, NAc-D21, NAc-D22, nucleus accumbensin D1, D2 tipinde DA almacına sahip nöronları; PPTg, pedunculopontine tegmental nucleus; SNc, substantia nigra pars compacta; STN, subtalamik nukleus; STR-D1, STR-D2, striatumun D1, D2 tipinde DA almacına sahip nöronları; THL, talamus; VTA, ventral tegmental alan. 70 Şekil 4.5’deki devre AC üzerinden gelen bir uyaran akımı ile beslendiğinde elde edilen sonuçlar Şekil 4.9’da verilmiştir. Yukarıdakinden farklı olarak bu kez tüm nöronlar patlamalar biçiminde aksiyon potansiyeli üretmektedir. SNc etkinliği nedeniyle Str D2 nöronu DA tarafından baskılandığından dorsal dolaylı yolak, eylemi baskılayacak yönde çalışmaktadır. Buna karşılık ventral yolakta NAc nöronları kuvvetli bir etkinlik göstermektedir. NAc D2 nöronları DA baskılaması nedeniyle zayıf bir patlama etkinliği gösterseler bile NAc D1 nöronu, VTA üzerinden gelen geri beslemenin de katkısıyla eylemi gerçekleştirmeye yönelik bir etkinlik oluşturur. Dorsal ve ventral yolakların çıkışları GPi/SNr nöronunda toplanır ve NAc D1 nöronunun sayesinde GPi nöronunda geri tepme vuruları oluşur. Bu vurulara denk gelen anlarda Thl üzerindeki baskılama kalkar. Sonuçta Thl ve bunun bağlandığı MC nöronlarında patlama vuruları gözlenir. Bu durum, dorsal eylem seçimi devresi tarafından seçilmeyen yani istenmeyen bir davranışın ventralde oluşan ödülün etkisiyle seçiliyor olmasını sağlar. Şekil 4.9’da anlatılan durumda bu kez Str D2 nöronunda SNc’dan salınan DA nedeniyle oluşan Ca+2, K+, Na+ iyon akımlarının yol açtığı baskılamayı kaldırdığımızda, devrede hem dorsal hem ventral yolakta aynı girişe karşılık benzer biçimde etkinlik gözlenir (Şekil 4.10). SNc’dan salgılanan DA etkisini göstermek için Str-D1 nöronu denklemine eklenen Ca+2 ve Na+ akımları ile Str-D2 nöronu denklemine eklenen K+ ve Na+ akımları arasında en etkili olanı, D2 nöronundaki Na+ akımıdır. Baskılamayı kaldırmak için SNc’dan Str-D2 nöronuna gelen Na+ akımına ait iletkenliği azaltmak yeterlidir (gD2_Na = 0.01). Bu durumda sistemin girişindeki uyaran akımı nedeniyle tüm nöronlar patlama vuruları üretmekte ve her patlama anında Şekil 4.9’dakine kıyasla daha fazla sayıda vuru oluşmaktadır. Dorsal ve ventral yolaklardan gelen işaretlerin toplandığı GPi/SNr nöronunda bir önceki duruma göre daha büyük bir baskılama oluşur. Bu nedenle GPi/SNr nöronu daha fazla sayıda ve genliği daha büyük geri tepme vuruları üretir. Dolayısıyla Thl üzerindeki baskılama da önceki duruma göre oldukça hafiflemiş olur. Bunun sonucunda hem dorsal hem ventral yolaktaki etkinlik sayesinde çıkışta daha kuvvetli ifade edilen bir hareket gözlenir. Bu durum, istenen ve hoşa giden bir davranışın daha şiddetli olarak gerçekleştirilmesine denk gelmektedir. 71 Şekil 4.9 : Eylem seçimi devresinde dorsal ve ventral yolak zıt çalışırken ödülün etkisiyle hareket gözlenmesi. Kısaltmalar: AC, aktivasyon korteksi; Aml, amigdala; GPe, globus pallidus eksternus, GPi, globus pallidus internus; LDTg, laterodorsal tegmental nucleus; LH, lateral hipotalamus; MC, motor korteks; NAc-D1, NAc-D21, NAc-D22, nucleus accumbensin D1, D2 tipinde DA almacına sahip nöronları; PPTg, pedunculopontine tegmental nucleus; SNc, substantia nigra pars compacta; STN, subtalamik nukleus; STR-D1, STR-D2, striatumun D1, D2 tipinde DA almacına sahip nöronları (kaudat ve putamen); THL, talamus; VTA, ventral tegmental alan. 72 Şekil 4.10 : Eylem seçimi devresinde dorsal ve ventral yolak paralel çalışırken daha kuvvetli çıkış elde edilmesi. Kısaltmalar: AC, aktivasyon korteksi; Aml, amigdala; GPe, globus pallidus eksternus, GPi, globus pallidus internus; LDTg, laterodorsal tegmental nucleus; LH, lateral hipotalamus; MC, motor korteks; NAc-D1, NAc-D21, NAc-D22, nucleus accumbensin D1 ve D2 tipinde DA almacına sahip nöronları; PPTg, pedunculopontine tegmental nucleus; SNc, substantia nigra pars compacta; STN, subtalamik nukleus; STR-D1, STR-D2, striatumun D1, D2 tipinde DA almacına sahip nöronları (kaudat ve putamen); THL, talamus; VTA, ventral tegmental alan. 73 4.3 Sonuç ve Tartışma Bu bölümde, daha önce geliştirilmiş olan ve bölüm 3’te anlatılan eylem seçimi devresi biyofiziksel gerçekçi bir modelle tekrar ele alındı. Temel biyofiziksel gerçekçi nöron modeli olarak Hodgkin-Huxley modeli kullanıldı ve bölüm 3’te anlatılmış olan devredeki her bir nöron aynı şekilde modellendi. Bu şekilde elde edilen sistem incelendiğinde devrenin artık düzgün çalışmadığı gözlendi. Bunun nedenleri araştırılırken Hodgkin-Huxley modelinin hücre zarında bulunan bazı iyon kanalları akımlarını içermediği için bir nöronun gösterdiği tüm ateşlenme tiplerini tam olarak gerçekleştiremediği, ayrıca dış uyaran olmadan vuru üretecek (örneğin geri tepme vurusu oluşturabilecek) dinamiğe sahip olmadığı anlaşıldı. Bu bulgu üzerine literatürde çalışılmış nöron modelleri incelenip eylem seçimi devresi yeniden tasarlanarak daha fazla beyin bölgesini daha doğru bağlantılar ile içerecek biçimde geliştirilmeye çalışıldı. Bir sonraki adımda dorsal eylem seçimi devresi yine Hodgkin-Huxley modeli kullanılarak fakat bu kez nöronların ateşlenmesinde etkili olan Ca+2 iyonu akımları da eklenerek tekrar ele alındı. Devredeki nöronların bu kez dış uyarı akımının değeri çok düşükken de çalışabildiği fakat aslında Ca+2 akımının devrenin uyarılma eşiğini aşağı çekmiş olduğu görüldü. Bu nedenle kaynaklar taranıp her bir nöronun temsil ettiği beyin bölgesinin özellikleri göz önüne alınarak nasıl modellenebileceği araştırıldı. Her nöronun tamamen aynı biçimde değil de içerdikleri farklı iyon kanalı akımlarına göre farklı denklemlerle modellenmesinin en uygun yaklaşım olacağı anlaşıldı. Sonuçta ulaşılan devre ile eylemlerin seçimine karar veren dorsal striatumdan geçen doğrudan ve dolaylı yolaklar gerçeğe uygun biçimde modellendi. Bu dinamik sistemin üzerinde ödülün etkisini göstermek üzere ventral striatumdan (NAc) geçen ve [27]’de anlatılana benzer bir ventral eylem seçimi devresi sisteme eklendi. Bu sayede eylem seçiminde görev alan limbik beyin bölgelerinin hemen hemen tamamını içeren bir dinamik sistem elde edilmiş oldu. Tasarlanan dinamik sistemin çalışması çeşitli koşullar altında incelenerek dorsal ve ventral kısımların ayrı ayrı ve birlikte nasıl çalıştıkları gözlendi. Ayrıca devrenin korteks girişine bir uyaran uygulandığında ve uygulanmadığında nasıl tepki verdiği araştırıldı. Sonuçta bu devre ile eylem seçiminin istenen ve ödül getiren davranışların 74 daha kuvvetli ifade edilerek gerçekleştirilmesini sağladığı; fakat istenmediği halde ödül getiren davranışların da hoşa gittikleri için tercih edilebildiğini gösterilmiş oldu. Geliştirilen model, ventral striatumun dorsal striatuma etkisini göstermesi ve eylem seçiminde rol alan hemen tüm yapıları içermesi açısından literatürdeki benzerlerinden ayrılmaktadır. Kullanılan iletkenlik tabanlı dinamik sistem modeliyle nöronların çalışması fizyolojik verilere uygun biçimde kurgulanabilmiş ve patlama, süregen, anlık tipte ateşlemeler gözlenebilmiştir. Ayrıca modeldeki her nöronun çıkış geriliminin ona etki eden nöronların akımları cinsinden ifade edilmesi, bir sinapsta oluşan ve tüm pre-sinaptik nöronlardan gelen uyarının toplanarak post-sinaptik nörona iletilmesi durumuyla örtüşmektedir. Önerilen modelin ürettiği sonuçlar tek bir nöron ile yapılan çalışmalarda [90],[91] elde edilen sonuçlar ile uyumludur. Bununla birlikte Str üzerinden gelen bir baskılayıcı uyaran olmadığında GPi’nin de GPe gibi tonik etkinlik göstermesi beklenirken bu sistemde bu tamamen sağlanamamıştır. Birden fazla aynı beyin bölgesine ait nöronu birbirine bağlayarak Parkinson hastalığı gibi olguları inceleyen çalışmalar [84] ya da [25] ve [74]’te anlatıldığı gibi dorsal eylem seçimi devresini gerçeklemek için birden fazla beyin bölgesine ait nöronları bağlayarak inceleyen modeller bulunmakla birlikte hem dorsal hem ventral bölgeleri aynı anda içeren bir hesaplamalı model önerilmemiştir. Bu durum tez çalışmasının bu bölümünde anlatılan modeli özgün kılmaktadır. Önerilen modelde her beyin bölgesi tek bir nöron ile temsil edilmektedir. Modeli geliştirmek için her bölgeyi [84]’te olduğu gibi birden fazla nöron ile temsil edecek biçimde nöronları birbirine bağlamak gerekir. Bu şekilde striatumun medium spiny nöronları arasındaki mikro devrelerin özelliklerini yansıtmak da mümkün olabilecektir. Ayrıca bir önceki bölümde anlatılan modelde olduğu gibi nikotini dış uyaran olarak kullanacak biçimde bu model geliştirilirse bağımlılık sürecinde ödülün dinamik etkisini de göstermek mümkün olacaktır. 75 76 5. SONUÇ Bu tez çalışmasında amaçlanan duygusal süreçlerin etkin olduğu bağımlılık davranışlarını açıklamaya yönelik bir hesaplamalı modelleri doğrusal olmayan sistem yaklaşımıyla tasarlamak ve elde edilen modeller aracılığı ile süreçlerin anlaşılabilirliğine katkıda bulunmaktır. Bu nedenle duygusal davranışlarda etkin olan beyin bölgeleri incelenip sinir hücreleri arasındaki iletişimin dinamiği araştırılmıştır. Önerilen hesaplamalı modeli sınayabilmek için bağımlılık davranışları ve davranış seçiminde etkin olan yapılardaki tek hücre ölçümlerine ilişkin sonuçlardan yararlanılmıştır. Üçüncü bölümde anlatılan hesaplamalı model, bağımlılık davranışını pekiştirmeli öğrenme temeline oturtarak modellemektedir. Model ile düşüncesizce rastgele gerçekleştirilen davranışların pekiştirmeli öğrenme sayesinde kalıplaşarak dürtüsel davranışlara dönüşmesi sayesinde bağımlılığın gelişeceği gösterilmektedir. Örnek olarak seçilen nikotin bağımlılığı ile nikotinin kandaki moleküler etkilerinin nasıl ödül olarak değerlendirildiği modelde bir dinamik döngü ile hesaplanmaktadır. Duyguları motor devreler ile harekete dökmek için bir eylem seçimi devresi kullanılmıştır. Bu sayede 1990’lardan beri bilinen bazal gangliadaki dorsal eylem seçimi devresi dinamik bir sistem olarak modele eklenmiştir. Hesaplamalı modelde ayrıca dopaminin nöromodülatör olarak etkisi gösterilmiştir. Modelde yer alan dinamik sistemde ortalama ateşlenme oranı (mean firing rate) yaklaşımı bir sigmoid fonksiyon ile sağlanarak devredeki nöron gruplarının davranışları ortalama vuru oranına göre incelenebilmektedir. Ödülün etkisini yansıtmak için başlangıçta rastgele gerçekleştirilen sigara içme ve içmeme eylemleri benimsenen davranışa göre (yani bağımlılığın gelişip gelişmemesine göre) değerlendirilmekte ve ödül veya ceza olarak bellekte yerini almaktadır. Geçmiş davranışa ait bellekteki bilgiler kullanılarak bir sonraki davranışlara karar verilmektedir. Modelde kullanılan iki aşamalı eylem seçimi devresi, bazal ganglia, talamus ve PFC sistemini ayrıntılı açıklayabilmesi bakımından benzerlerinden farklıdır. Eylem 77 seçimlerinin yol açtığı değişiklikler ilk aşama olan premotor döngüdeki bir parametreyi ayarlayarak gerçeklenmiştir. Bu ayarlama işlemi, pekiştirmeli öğrenme vasıtasıyla DA işaretinin sağladığı yönlendirici etkiye karşılık gelmektedir ve bu şekilde sistem, bağımlı olma, bağımlı olmama ve herhangi bir eylemi sürekli seçemeyen kararsızlık davranışlarından birini öğrenebilmektedir. Bu öğrenme parametresini dopamine göre ayarlayarak sağlanan dinamik davranış değişikliklerini kolayca takip etmek mümkündür. Bunun için eylem seçimi sistemi XPPAUT ile incelenerek dinamik sistemde parametre değişikliğine bağlı oluşan dallanmalar gösterilmiştir. Önerilen modelin getirdiği bir ilerleme de moleküler düzeydeki değişiklikleri gösteren dinamik sistemin bağımlılıkla oluşan direnç mekanizmasını ortaya koyabilecek biçimde ayarlanabilir hale getirilmesidir. Karşıt süreçlerin moleküler düzeydeki yansıması olan bu sistem, sağlıklı insanlarda normal bir ortalama seviyeye sahiptir. Oysa bağımlılarda vücudun giderek daha fazla bağımlı olunan maddeyi istemesi nedeniyle bu ortalama seviye değişmiştir. Önerilen hesaplamalı modelde bu değişiklik de parametrik olarak ayarlanabilmektedir. Hem moleküler hem dinamik sistem düzeyinde bileşenleri olması açısından önerilen model duygusal süreçlerin gelişimine ilişkin farklı yaklaşımları birleştirmektedir. Dopaminin pekiştirmeli öğrenme üzerindeki etkisinin modellenmesi ile de nöronlardaki elektriksel iletim kadar nörotransmiterlerin sinirsel ağlardaki rolü de sisteme dahil edilmektedir. Modelin özgün yanı, nikotin bağımlılığını pekiştirmeli öğrenme üzerinden inceleyerek eylem seçimini bir dinamik sistem olarak ortaya koyabilmesidir. Psikolojide duyguları açıklamada önemli bir kavram olan karşıt süreçlerin geliştirilen modelde bağımlılık sürecindeki moleküler düzeydeki değişiklikleri de açıklamakta kullanılması, bu modelin bağımlılık davranışlarını pek çok farklı düzeyde inceleyebilmesini sağlamaktadır. Sunulan bu modeli geliştirmek için eylem seçimi alt sistemine ait dinamiklerin striatumdan gelecek yönlendirici girişleri de içerecek biçimde değiştirilmesi söz konusu olabilir. Önerilen bu modeldeki ödül değeri geometrik olarak artmaktadır. Oysa mezolimbik sistemde ödülün değerlendirilmesi de bir dinamik süreçtir. Dolayısıyla gelecekteki çalışmalarda ödül de bir sistem olarak modelde yerini alabilir. Bağımlılığın altında yatan ana sürecin pekiştirmeli öğrenme olduğu 78 vurgulanmakla birlikte modeli geliştirmek açısından ileride GABA ve glutamat gibi nörotransmiterler ve diğer psikolojik süreçlerin de işe katılması düşünülebilir. Nikotin bağımlılığı için önerilen bu model başka bağımlılık türleri için de kullanılabilir. Modelde yer alan karşıt süreçlere ve eylem seçimine ait dinamik sistemler sabit tutulabilir. Modelde ödüllendirici unsur olarak kullanılan nikotin yerine başka bir madde seçilerek aynı sistem ile değişik bağımlılık olguları da incelenebilir. Bu açıdan önerilen model, sinirbilimde hesaplamalı modellerin kullanılmasıyla elde edilecek beyindeki süreçleri anlamaya yönelik faydalar için iyi bir örnektir. Yukarıda sözü edilen model kullanılarak bir sinir hücresinin gösterdiği tüm biyolojik etkinliği ortaya koymak mümkün değildir. Öncelikle modelin sistem düzeyinde ele alınmış olması ve içerdiği farklı devrelerin sadece giriş çıkış ilişkisi açısından birbirine bağlanabilmesi, bunu mümkün kılmaz. Duygusal davranışların eylem seçimine etkisini ele alan daha kapsamlı bir model geliştirmek üzere literatürde verilmiş olan hesaplamalı modeller taranarak bunların bütünleştirilmesi ile yeni bir devre oluşturulmuştur. Bölüm 4’te anlatılan bu devrede bölüm 3’te anlatılan eylem seçimi devresi biyofiziksel gerçekçi bir modelle tekrar ele alınmıştır. Nöron modeli olarak Hodgkin-Huxley benzeri iletkenlik tabanlı modeller kullanılarak hücre zarındaki iyon kanallarının nöronun çalışması üzerindeki etkisi gösterilmiştir. Bu sayede farklı tipteki vuruları üretebilen nöronlar içeren bir sistem elde edilmiştir. Önerilen yeni modelde her beyin bölgesinde bulunan nöronların özellikleri göz önüne alınarak her nöron tamamen aynı biçimde değil de içerdikleri farklı iyon kanalı akımlarına göre farklı denklemlerle modellenmiştir. Tasarlanan devre ile eylemlerin seçimine karar veren dorsal striatumdan geçen doğrudan ve dolaylı yolaklar gerçeğe uygun biçimde modellenmiştir. Bu dinamik sistemin üzerinde ödülün etkisini göstermek üzere ventral striatumdan geçen ve ödülün etkisini gösteren bir ventral eylem seçimi devresi de sisteme eklendi. Bu sayede eylem seçiminde görev alan limbik beyin bölgelerinin hemen hemen tamamını içeren bir dinamik sistem elde edilmiş oldu. Literatürde bu kadar kapsamlı olarak duygusal süreçlerde görev alan beyin yapılarını ele alan bir başka model yoktur. Dolayısıyla geliştirilen modeli sınamak için bazı bölgelere ilişkin tek hücre kayıtlarından [90][91] ve daha dar kapsamlı eylem seçimi modellerinin sonuçlarından [60],[62],[84] yararlanılmıştır. 79 Bu devrenin farklı uyaran seviyelerinde nasıl çalıştığı incelenerek eylem seçiminde bir davranış istenmese bile ödül getirici olduğu veya hoşa gittiği için gerçekleştirilebileceği gösterildi. Bu açıdan önerilen model, hem dorsal hem ventral bazal ganglia döngülerini içeren ve bunların etkileşimini doğru biçimde yansıtan ilk örnektir. Geliştirilen model, duygusal süreçlerde görev alan hemen tüm beyin bölgelerini içerdiğinden literatürdeki benzerlerinden ayrılmaktadır. Kullanılan iletkenlik tabanlı dinamik sistem modeliyle nöronların çalışması fizyolojik verilere uygun biçimde kurgulanabilmiş ve patlama, süregen, anlık tipte ateşlemeler gözlenebilmiştir. Ayrıca modeldeki her nöronun çıkış geriliminin ona etki eden nöronların akımları cinsinden ifade edilmesi, bir sinapsta oluşan ve tüm pre-sinaptik nöronlardan gelen uyarının toplanarak post-sinaptik nörona iletilmesi durumuyla örtüşmektedir. Önerilen modelde her beyin bölgesi bir tek nöron ile temsil edilmektedir. Modelin ürettiği sonuçlar, tek bir nöron ile yapılan çalışmalarda elde edilen sonuçlar ile uyumludur [90]-[91]. Modeli geliştirmek için her beyin bölgesi birden fazla nöron kullanılarak ele alınabilir ve böylece hem bölgeler arası hem de bölgedeki nöronların kendi aralarındaki etkileşimleri gösterilebilir. Özellikle striatumun medium spiny nöronlarının oluşturduğu mikro devrelerin çalışmasını gösterebilmek için bu yaklaşımı benimsemek gerekir. Birden fazla nöronu işin içine katmak için HodgkinHuxley benzeri nöron modelleri yerine daha sade olan ama yine farklı ateşlenme tiplerini gösterebilen Izhikevich veya uyarlamalı tümleştirme ve ateşleme (adaptive integrate and fire) yapısında nöronlar kullanılabilir. Bu şekilde sistemin boyutu artarken karmaşıklığının da aynı oranda artması engellenmiş olur. Bu modelin bağımlılıkla ilişkisini kurmak için üçüncü bölümde anlatılan modelde olduğu gibi nikotin bir uyaran olarak sisteme eklenip uzun vadede nikotin varlığına bağlı olarak eylem seçimlerinin değişmesi gösterilebilir. Halihazırda kullanılmış olan ventral tegmental alan nöronu modeli ile nikotinin etkisini göstermek mümkündür. Benzer biçimde farklı uyaranlardan kaynaklanan değişiklikler nöron modeline yansıtılarak değişik bağımlılık türleri de incelenebilir. 80 KAYNAKLAR [1] Churchland, P.S., Koch, C., Sejnowski, T.J. (1993). What is Computational Neuroscience?, Computational Neuroscience (sf. 46-55). The MIT Press. [2] Huys, Q.J.M., Moutoussis, M., Williams, J. (2011). Are computational models of any use to psychiatry?, Neural Networks, 24(6), 544551. [3] Sterrat, D., Graham, B., Gillies, A., Willshaw, D. (2011). Principles of Computational Modelling in Neuroscience, Cambridge University Press. [4] Gutkin, B.S., Dehaene, S., Changeux, J.P. (2006). A Neurocomputational Hypothesis for Nicotine Addiction, PNAS, vol.103, no.4, 11061111. [5] Metin, S., Şengör, N.S. (2010). Dynamical System Approach in Modeling Addiction, Brain Inspired Cognitive Systems (BICS 2010), Madrid, Spain, July 14-16. [6] Metin, S., Şengör, N.S. (2010). A Neurocomputational Model of Nicotine Addiction Based on Reinforcement Learning, The 20th International Conference on Artificial Neural Networks (ICANN 2010), Selanik, Yunanistan Eylül 15-18. [7] Metin, S., Şengör, N.S. (2011). Nikotin Bağımlılığı Đçin Bir Hesaplamalı Model, 10. Ulusal Sinirbilim Kongresi, Đstanbul, 8-12 Nisan. [8] Metin, S., Şengör, N.S. (2011). A neurocomputational model of nicotine addiction based on reinforcement learning, 13th Annual Meeting of the SRNT Europe, Antalya, Turkey, September 8-11. [9] Metin, S., Şengör, N.S. (2011). A neurocomputational model of nicotine addiction based on reinforcement learning, Bernstein Conference 2011, Freiburg, Germany, October 4-6. [10] Metin, S., Şengör, N.S. (2012). From Occasional Choices to Inevitable Musts: A Computational Model of Nicotine Addiction, Computational Intelligence and Neuroscience, vol. 2012, doi: 10.1155/2012/817485. [11] Yücelgen, C., Denizdurduran, B., Metin, S., Elibol, R., Şengör, N.S. (2012). A Biophysical Network Model of Basal Ganglia Pathways for Action Selection, The 22nd International Conference on Artificial Neural Networks (ICANN 2012), Lausanne, Switzerland, September 11-14. 81 [12] Metin, S., Şengör, N.S. (2012). Contribution of the Ventral Striatal Pathway to Decision Making, The Second Symposium on the Biology of Decision Making (SBDM 2012), Paris, France, May 10-11. [13] Metin, S., Şengör, N.S. (2012). Ventral Striatal Pathway Determines Actions Employed: A Computational Model, Bernstein Conference 2012, Munich, Germany, September 12-14. [14] Metin, S. (2012). Ventral Striatal Yolun Karar Almaya Katkısı, 1. Karmaşık Dinamik Sistemler ve Uygulamaları Çalıştayı, Ankara, 12-13 Ekim. [15] LeDoux, J. (2006). Duygusal Beyin, Pegasus Yayınevi, Đstanbul. [16] Nestler, E.J. (2002). Common Molecular and Cellular Substrates of Addiction and Memory, Neurobiology of Learning and Memory, vol.78, 637647. [17] Blumenfeld, H. (2002). Neuroanatomy Through Clinical Cases, 1st ed., Sinauer Associates Inc.. [18] Mesulam, M.M. (2000). Principles of Behavioral and Cognitive Neurology, 2nd ed., Oxford University Press. [19] Houk, J.C., Bastianen, C., Fansler D., Fishbach, A., Fraser, D., Reber, P.J., Roy, S.A., Simo, L.S. (2007). Action selection and refinement in subcortical loops through basal ganglia and cerebellum, Philos. Trans. R. Soc. Lond. B Biol. Sci., 362(1485), 1573-1583. [20] Salamone, J.D., Correa, M., Farrar, A., Mingote, S.M. (2007). Effort-related functions of nucleus accumbens dopamine and associated forebrain circuits, Psychopharmacology, 191(3), 461-482. [21] Alexander, G.E., Crutcher, M.D. (1990). Functional architecure of basal ganglia circuits: neural substrates of parallel processing, Trends Neurosci., Cilt 13, sayı 7, 266-271. [22] Alexander, G.E., Crutcher, M.D., DeLong, M.R. (1990). Basal gangliathalamocortical circuits: Parallel substrates for motor, oculomotor, ‘prefrontal’ and ‘limbic’ functions, Progress in Brain Research, Vol.85, 119-146. [23] Haber, S.N., Fudge, J.L., McFarland, N.R. (2000). Striatonigrostriatal Pahways in Primates Form an Ascending Spiral from the Shell to the Dorsolateral Striatum, Journal of Neuroscience, 20(6), 23692382. [24] DeLong, M.R, Wichmann, T. (2007). Circuits and Circuit Disorders of the Basal Ganglia, Arch Neurol.,64(1),20-24. [25] Frank, M.J. (2006). Hold your horses: A dynamic computational role for the subthalamic nucleus in decision making, Neural Networks, 19(8), 1120-1136. [26] Sesack, S.R., Grace, A.A. (2010). Cortico-Basal-Ganglia Reward Network, Neuropsychopharmacology Reviews, 35, 27-47. 82 [27] Nicola, S.M. (2007). The nucleus accumbens as part of a basal ganglia action selection circuit, Psychopharmacology, Volume 191, Number 3, 521-550. [28] Cardinal, R.N., Winstanley, C.A., Robbins, T.W., Everitt, B.J. (2004). Limbic Corticostriatal Systems and Delayed Reinforcement, Annals of the New York Academy of Sciences, 1021, 33-50. [29] Haber, S.N., Knutson, B. (2010). The Reward Circuit: Linking Primate Anatomy and Human Imaging, Neuropsychopharmacology Reviews, Vol. 35, 4-26. [30] Mayhew, K.P., Flay, B.R., Mott, J.A. (2000). Stages in the development of adolescent smoking, Drug and Alcohol Dependence, 59 Suppl. 1, 61–81. [31] Spanagel, R., Heilig, M. (2005). Addiction and Its Brain Science, Addiction, vol.100, no.12, 1813-1822. [32] Kalivas, P.W. (2002). Neurocircuitry of Addiction, Neuropsychopharmacology: The Fifth Generation of Progress, chapter 95, 1357-1366, Lippincott ,Williams & Wilkins. [33] Peele, S., Alexander, B.K. The Meaning of Addiction, chapter 3 – Theories of Addiction, http://www.peele.net/lib/moa3.html, alındığı tarih: 24.05.2010. [34] Delgado, M.R. (2007). Reward-Related Resposes in the Human Striatum, Annals of the New York Academy of Sciences, 1104, 70-88. [35] Dayan, P. (2009). Dopamine, Reinforcement Learning, and Addiction, Pharmacopsychiatry, 42, 56-65. [36] Solomon, R.L., Corbit, J.D. (1978). An Opponent-Process Theory of Motivation, The American Economic Review, Vol. 68, No.6, 12-24. [37] Hyman, S.E., Malenka, R.C., Nestler, E.J. (2006). Neural Mechanisms of Addiction: The Role of Reward-Related Learning and Memory, Annual Review of Neuroscience, vol.29, 565-598. [38] Koob, G.F. (2009). Brain stress systems in the amygdala and addiction, Brain Research, Vol. 1293, 61-75. [39] Koob, G.F., Le Moal, M. (2001). Drug Addiction, Dysregulation of Reward, and Allostasis, Neuropsychopharmacology, vol.24, no.2, 97-129. [40] Koob, G.F., Le Moal, M. (2008). Neurobiological mechanisms for opponent motivational processes in addiction, Phil. Trans. R. Soc. B, 363, 3113–3123. [41] Sutton, R.S., Barto, A.G. (1999). Reinforcement Learning:An Introduction, 2nd printing, MIT Press, Cambridge, MA. [42] Schultz, W., Dayan, P., Montague, P.R. (1997). A Neural Substrate of Prediction and Reward, Science, 275(5306), 1593-1599. [43] Saal, D., Dong, Y., Bonci, A., Malenka, R.C. (2003). Drugs of abuse and stress trigger a common synaptic adaptation in dopamine neurons, Neuron, volume 37, no.4, 577-582. 83 [44] Self, D.W. (1998). Neural substrates of drug craving and relapse in drug addiction, Annals of Medicine, 30: 4, 379 - 389. [45] Di Chiara, G. (2000). Role of Dopamine in the Behavioural Actions of Nicotine Related to Addiction, European Journal of Pharmacology, 393, 295-314. [46] Laviolette, S.R., van der Kooy, D. (2001). GABA(A) receptors in the ventral tegmental area control bidirectional reward signalling between dopaminergic and non-dopaminergic neural motivational systems, European Journal of Neuroscience, Vol.13, 1009-1015. [47] Vargas-Perez, H., Ting-A-Kee, R., van der Kooy, D. (2009). Different neural systems mediate morphine reward and its spontaneous withdrawal aversion, European Journal of Neuroscience, Vol. 29, 2029-2034. [48] Graupner, M., Gutkin, B. (2009). Modeling nicotinic neuromodulation from global functional and network levels to nAChR based mechanisms, Acta Pharmacol Sin., 30(6),681-93. [49] Mansvelder, H.D., McGehee, D.S. (2002). Cellular and Synaptic Mechanisms of Nicotine Addiction, J. Neurobiology, vol. 53, 606-617. [50] Grace, A.A., Floresco, S.B., Goto, Y., Lodge, D.J. (2007). Regulation of Firing of Dopaminergic Neurons and Control of Goal-Directed Behaviors, Trends in Neurosciences, vol.30 no.5, 220-227. [51] Graupner, M., Gutkin, B. (2008). Nicotine control of dopamine signaling in the Ventral Tegmental Area, NeuroComp 2008, Ekim 8-11, Marsilya, Fransa. [52] Yu, A.J., Dayan, P. (2005). Uncertainty, neuromodulation, and attention, Neuron, vol.46(4), 681-692. [53] Ahmed, S.H., Graupner, M., Gutkin, B. (2009). Computational Approaches to the Neurobiology of Drug Addiction, Pharmacopsychiatry, vol 42 (suppl. 1), 144-152. [54] Redish, A.D. (2009). Addiction as a Computational Process Gone Awry, Science, 306, 1944-1947. [55] Grossberg, S., Gutowski, W.E. (1987). Neural Dynamics of Decision Making Under Risk: Affective Balance and Cognitive-Emotional Interactions, Psychological Review, Vol. 94, No. 3, 300-318. [56] Grossberg, S., Schmajuk, N.A. (1987). Neural dynamics of attentionally modulated Pavlovian conditioning: Conditioned reinforcement, inhibition, and opponent processing, Psychobiology, Vol. 15, No.3, 195-240. [57] Daw, N.D., Kakade, S., Dayan, P. (2001). Opponent Interactions Between Serotonin and Dopamine, Neural Networks, 15, 603-616. [58] Dranias, M.R., Grossberg, S., Bullock, D. (2008). Dopaminergic and nondopaminergic value systems in conditioning and outcome-specific revaluation, Brain Research, Vol.1238, 239-287. 84 [59] Litt, A., Eliasmith, C., Thagard, P. (2008). Neural affective decision theory: choices, brains, and emotions, Cognitive Systems Research, 9(4), 252-273. [60] Frank, M.J., Claus, E.D. (2006). Anatomy of a decision: striato-orbitofrontal interactions in reinforcement learning, decision making, and reversal, Psychological review, Vol. 113, No. 2, 300-326. [61] Levine, D.S. (2006). Emotion and Decision Making: Short-term Reactions versus Long-term Evaluations, International Joint Conference on Neural Networks 2006 (IJCNN '06), Vancouver, BC, Canada, July 16-21. [62] Guthrie, M., Myers, C.E., Gluck, M.A. (2009). A neurocomputational model of tonic and phasic dopamine in action selection: A comparison with cognitive deficits in Parkinson’s disease, Behavioral Brain Research, 200(1), 48-59. [63] Dezfouli, A., Piray, P., Keramati, M.M., Ekhtiari, H., Lucas, C., Mokri, A. (2009). A Neurocomputational Model for Cocaine Addiction, Neural Computation, 21, 2869-2893. [64] Daw, N. D. (2003). Reinforcement learning models of the dopamine system and their behavioral implications, (doctoral dissertation), Carnegie Mellon University, Adres: www.cns.nyu.edu/~daw/thesis.pdf . [65] Zhang, J., Berridge, K.C., Tindell, A.J., Smith, K.S., Aldridge, J.W. (2009). A Neural Computational Model of Incentive Salience, PLoS Computational Biology, 5(7). [66] Levy, Y.Z., Levy, D., Meyer, J.S., Siegelmann, H.T. (2009). Drug Addiction: A Computational Multiscale Model Combining Neuropsychology, Cognition, and Behavior, Proceedings of the International Conference on Bio-inspired Systems and Signal Processing (BIOSIGNALS), Porto, Portugal, January 14-17. [67] Huys, Q.J.M., Beck, A., Dayan, P., Heinz, A. (2011). Neurobiological understanding and computational models of addictive behavior, Phenomenological Neuropsychiatry: Bridging the Clinic and Clinical Neuroscience, Springer Science. [68] Busemeyer, J.R., Stout, J.C., Finn, P. (2010). Using Computational Models to Help Explain Decision Making Processes of Substance Abusers, Cognitive and Affective Neuroscience of Psychopathology, Oxford University Press. [69] Jarvis, M.J. (2004). ABC of smoking cessation - Why people smoke, BMJ, 328(7434): 277–279. [70] Ortells, M.O., Barrantes G.E. (2010). Tobacco addiction: a biochemical model of nicotine dependence, Med Hypotheses., 74(5):884-94. [71] Foulds, J. (2006). The neurobiological basis for partial agonist treatment of nicotine dependence: varenicline, Int J. Clin. Pract., 60(5):571-6. [72] Oster, A.M., Gutkin, B.S. (2011). A reduced model of DA neuronal dynamics that displays quiescence, tonic firing and bursting, J Physiol Paris.. 85 [73] Ermentrout, G.B., Terman, D.H. (2010). Mathematical Foundations of Neuroscience, Springer. [74] Humphries, M.D., Stewart, R.D., Gurney, K.N. (2006). A Physiologically Plausible Model of Action Selection and Oscillatory Activity in the Basal Ganglia, Journal of Neuroscience, 26(50), 12921-12942. [75] Sengor, N.S., Karabacak, O., Steinmetz, U. (2008). A Computational Model of Cortico-Striato-Thalamic Circuits in Goal-Directed Behavior, LNCS 5163, Proceedings of ICANN, 328-337. [76] Taylor, N.R., Taylor, J.G. (2000). Hard-wired Models of Working Memory and Temporal Sequence Storage and Generation, Neural Networks, 13, 201–224. [77] Taylor, J.G., Taylor, N.R. (2000). Analysis of Recurrent Cortico-Basal Ganglia-Thalamic Loops for Working Memory, Biological Cybernetics, 82, 415–432. [78] Gurney, K., Prescott, T.J., Redgrave, P. (2001). A Computational Model of Action Selection in the Basal Ganglia I: A New Functional Anatomy, Biological Cybernetics, 84, 401–410. [79] Gurney, K., Prescott, T.J., Redgrave, P. (2001). A Computational Model of Action Selection in the Basal Ganglia II: Analysis and Simulation of Behaviour, Biological Cybernetics, 84, 411–423. [80] Kuznetsov, Y.A. (1995). Elements of Applied Bifurcation Theory, SpringerVerlag. [81] Izhikevich, E.M. (2007). Dynamical Systems in Neuroscience, MIT Press. [82] Kandel, E., Schwartz, J., Jessell, T. (2000). Principles of Neural Science, 4th ed., McGraw-Hill. [83] McCarthy, M.M., Moore-Kochlacs, C., Gu, X., Boyden, E.S., Han, X., Kopell, N. (2011). Striatal Origin of the Pathologic Beta Oscillations in Parkinson’s Disease, Proceedings of the National Academy of Sciences of the USA, 108(28),11620-11625. [84] Terman, D., Rubin, J.E., Yew, A.C., Wilson, C.J. (2002). Activity Patterns in a Model for the Subthalamopallidal Network of the Basal Ganglia, Journal of Neuroscience, 22(7), 2963–2976. [85] Gerstner, W., Kistler, W.M. (2002). Spiking Neuron Models, Cambridge University Press. [86] Shen, W., Hernandez-Lopez, S., Tkatch, T., Held, J.E., Surmeier, D.J. (2004). Kv1,2-Containing K Channels Regulate Subthreshold Excitability of Striatal Medium Spiny Neurons, J. Neurophysiol., 91(3), 1337-49. [87] Guo, Y., Rubin, J.E. (2011). Multi-site stimulation of subthalamic nucleus diminishes thalamocortical relay errors in a biophysical network model, Neural Net., 24(6), 602-616. [88] Griguoli, M., Scuri, R., Ragozzino, D., Cherubini, E. (2009). Activation of nicotinic acetylcholine receptors enhances a slow calcium- 86 dependent potassium conductance and reduces the firing of stratum oriens interneurons, Eur. J. Neurosci., 30(6), 1011-22. [89] Tepper, J.M. (2010). Neurophysiology of Substantia Nigra Dopamine Neurons: Modulation by GABA, Handbook of Basal Ganglia Structure and Function, bölüm 16, Elsevier. [90] Kropotov, J.D., Etlinger, S.C. (1999). Selection of Actions in the Basal Ganglia Thalamacortical Circuits: review and Model, Int. J. of Psychopysiology, 31,197-217. [91] Magill, P.J., Bolam, J.P., Bevan M.D. (2001). Dopamine Regulates the Impact of the Cerebral Cortex on the Subthalamic Nucleus Globus Pallidus Network, Neuroscience, 106 (2), 313-330. [92] Khalil, H.K. (2000). Nonlinear Systems, 3rd ed., Pearson Education. [93] Wiggins, S. (1988). Global Bifurcations and Chaos, Springer-Verlag. [94] Hoppensteadt, F.C., Izhikevich, E.M. (1997). Weakly Connected Neural Networks, Springer-Verlag. 87 88 EKLER EK A : Dallanmalar EK B : Ödülün etkisini içeren dorsal ve ventral striatal eylem seçimi devresine ilişkin denklemler 89 EK A Dallanma: Bir parametrenin değişimine bağlı olarak denge noktalarında, periyodik yörüngelerde, veya bunların kararlılık niteliklerinde gözlenen değişimlerdir [92]. □ Bir başka tanıma göre [93], sonsuz boyutlu dinamik sistemler uzayında yapısal kararlı dinamik sistemler, bir S açık kümesi oluştururlar. Bu kümenin tümleyeni SC, dallanmaları içerir; yani sonsuz boyutlu dinamik sistemler uzayında dallanma, yapısal kararsız olan herhangi bir dinamik sistemdir. Bilişsel süreçlerin modellenmesinde ele alınacak dinamik yapıların da böyle yapısal karasız sistemler olması gerektiği bir nöronun davranışına dikkatli bakıldığında görülebilir. Bir postsinaptik nöronun ateşlenmesi, presinaptik nöronların birikimsel etkilerine bağlıdır. Bir sinapsta bağlantı yapan binlerce nöron olabilir ve hepsinin aksiyon potansiyelleri toplamı, postsinaptik nöronun toplam potansiyelini oluşturur. Postsinaptik nöronun aksiyon potansiyeli üretebilmesi için toplam postsinaptik potansiyelin (PSP) bir ateşlenme eşik düzeyini aşması gerekir. Presinaptik nöronların her birinin tek başına toplam PSP’ine etkisi çok küçük olabilir. Ancak toplam PSP, belli bir eşik düzeyine çok yaklaştığında sadece tek bir presinaptik nörondan gelen aksiyon potansiyeli bile toplama eklenerek eşiğin aşılmasını sağlayabilir. Bu durumdaki bir postsinaptik nöronun etkinliği, bir dinamik sistem olarak ele alındığında, dallanma noktasına yakındır. Başka bir deyişle beyindeki süreçlerde sadece dinamikleri dallanma noktasında çalışan nöronlar etkindir [94]. Bir dinamik sistemin dallanmalarını incelemek için dengedeki sistem üzerinde çok küçük oynamalar yapılır, adeta sistem hafifçe dürtülür. Böylece yeni denge noktaları (sabit noktalar) yaratılabilir, varolanlar yok edilebilir veya kararlılıkları değişebilir. Bir hiperbolik sabit nokta için eğer tüm özdeğerler sol yarı-düzlemdeyse bu sabit nokta kararlıdır. Eğer tüm özdeğerler sağ yarı-düzlemdeyse bu sabit nokta kararsızdır, ancak hep kararsız kalacağından yapısal kararlıdır. Oysa sabit nokta hiperbolik değilse, sanal eksen üzerindeki özdeğerler küçük düzensizliklerle sağ veya sol yarı-düzleme kayabilir. Bu da sabit noktanın kararlılık niteliğini tamamen değiştirebilir. Đşte bu yüzden hiperbolik sabit noktalar için dallanma söz konusu değildir, sadece hiperbolik olmayan sabit noktalar dallanabilir. Eyer noktası (saddle node, limit point) dallanmasında varolan iki denge noktası bir parametre değiştikçe birbirlerine yaklaşırlar ve en sonunda çarpışırlar. Çarpışmadan sonra da parametreyi değiştirmeye devam edersek artık bu sistemin denge noktası olmayacaktır. x(k + 1) = tanh(a ⋅ x(k ) + b) (A.1) A.1 sistemini göz önüne alalım. Bu sistem x0 = 2, a = 3, b = -1 başlangıç koşullarıyla çalıştırıldığında ve b parametresi sabit tutulup sadece a parametresine bağlı dallanma diyagramı çizdirildiğinde a ≈ 2,622 değerinde eyer noktası dallanması gözlenmektedir. Bu değerlere ait dallanma diyagramı Şekil A. 1’de görülmektedir. Hopf dallanması, üstkritik ve altkritik olarak iki başlıkta incelenir. Üstkritik Hopf dallanmasında kararlı denge noktası kararsız denge noktasına dönüşürken bunun etrafında birbirinin simetriği kararlı denge noktaları oluşur. Yeni oluşan bu denge noktaları ise kararlı bir limit çevrime doğru çekilirler. Altkritik Hopf dallanmasında ise bir kararlı denge noktası kendi etrafındaki kararsız limit çevrimle çarpışarak kararsız bir denge noktasına dönüşür. 90 Şekil A. 1: a) x& = r + x 2 sisteminde eyer noktası dallanması oluşması b) A2.1 sistemi için b = -1 iken a parametresine bağlı dallanma diyagramı Çizelge A.1 : (A.1) sistemi için dallanma noktaları (EP: uç nokta, HB: Hopf dallanması, LP: eyer noktası (limit point) dallanması) Dal 1 1 1 1 3 3 3 Tip EP EP HB EP LP EP EP Etiket 1 2 3 4 5 6 7 a 2.000000E+00 4.140000E+00 -1.796878E+00 -2.289864E+00 -1.000000E+00 -2.501777E+00 -2.767454E+00 X1 -9.993275E-01 -9.999907E-01 -6.659330E-01 -5.824779E-01 -4.837732E-06 7.747801E-01 -7.991602E-01 b -9.675239E-06 2.970505E+00 -3.307923E+00 A.1 sistemi, x0 = 0.8 başlangıç koşuluyla çalıştırıldığında ve b = -2 olarak sabit tutulduğunda -2 < a < 4 aralığında değişirken a = -1,797 noktasında Hopf dallanması yapar (Şekil A. 2.a). Bu durumda -2,5 < b < 2,5 aralığında değiştirerek iki parametreli dallanma diyagramını çizersek eyer noktası dallanması gözleriz (Şekil A. 2.bHata! Başvuru kaynağı bulunamadı.). Bu dallanma diyagramlarına ait AUTO ile elde edilen noktalar çizelge A.1’de görülebilir. Şekil A. 2 : a) (A.1) sisteminde yalnız a parametresi değiştirildiğinde Hopf dallanması b) (A.1) sisteminde a, b parametreleri aynı anda değiştirildiğinde eyer noktası dallanması 91 EK B Dorsal ve ventral bazal ganglia eylem seçimi devresine ilişkin iletkenlik tabanlı denklemler: Cv& AC = (− I L − I K − I Na − I LCa − I AHP − I Ca + I app ) (B.1a) Cv& STRD1 = (− I L − I K − I Na − I LCa − I AHP − I Ca − I Kv1 + I AC _ STRD1 + I SNC _ STRD1 ) (B.1b) Cv& STRD 2 = (− I L − I K − I Na − I LCa − I AHP − I Ca − I Kv1 + I AC _ STRD 2 + I SNC _ STRD 2 ) (B.1c) Cv& NACD1 = (− I L − I K − I Na − I Ca − I LCa − I AHP − I Kv1 K + I AC _ NACD1 + I VTA _ NACD1 ) Cv& NACD 21 = (− I L − I K − I Na − I Ca − I LCa − I AHP − I Kv1 K + I AC _ NACD 21 + I VTA _ NACD 21 ) Cv& NACD 22 = (− I L − I K − I Na − I Ca − I LCa − I AHP − I Kv1 K + I AC _ NACD 22 + I VTA _ NACD 22 ) Cv&GPE = (− I L − I K − I Na − I T − I Ca − I AHP + I STRD 2 _ GPE K + I NACD 21 _ GPE + I NACD 22 _ GPE ) Cv& STN = (− I L − I K − I Na − I T − I Ca − I AHP + I GPE _ STN + I AC _ STN ) Cv&GPI = (− I L − I K − I Na − I T − I Ca − I AHP − I STRD1 _ GPI + I NAC _ GPI K + I STN _ GPI + I GPE _ GPI ) (B.1d) (B.1e) (B.1f) (B.1g) (B.1h) (B.1i) Cv&THL = (− I L − I K − I Na − I T − I AHP + I GPI _ THL + I MC _ THL ) (B.1j) Cv& MC = (− I L − I K − I Na − I LCa − I AHP − I Ca + I THL _ MC ) (B.1k) Cv& SNC = (− I L − I K − I Na + I SNc ) (B.1l) Cv&VTA = 1 / µVTA ⋅ (− I L − I K − I LCa − I GABA − X APA ⋅ I KSK K − X TTX ⋅ ( I Na + I Kdr + I NMDA ) + I AC _ VTA + I NACD 21 _ VTA + I NACD 22 _ VTA ) Cv& AML = (− I L − I K − I Na + I AC _ AML + I VTA _ AML + I NACD1 _ AML K + I NACD 21 _ AML + I NACD 22 _ AML ) Cv& PPT = (− I L − I K − I Na + I AML _ PPT + I NACD1 _ PPT + I NACD 21 _ PPT + I NACD 22 _ PPT ) IL, INa,IK ve ICa akımları için kullanılan denklemler: 92 (B.1m) (B.1n) (B.1o) I L = g L (v − V L ) (B.2a) I Na = g Na ⋅ h ⋅ m 3 (v − V Na ) (B.2b) I K = g K ⋅ n 4 (v − V K ) (B.2c) I Ca = g Ca ⋅ S ∞2 (v − VCa ) (B.2d) Goldman-Hodgkin-Katz denklemi kullanılarak yazılan yüksek eşikli Ca akımı (IL_Ca) denklemi: I LCa = g T ⋅ m 2 v m z 2 F 2 [Ca 2+ ]e ⋅ e − vm zF / RT − [Ca 2+ ]i RT 1 − e −vm zF / RT (B.3) Hiperpolarizasyon sonrası Ca akımı (IAHP) denklemi aşağıdaki gibi yazılır: I AHP = g AHP (v − V K ) [Ca 2+ ] [Ca 2+ ] + k L (B.4) Str için Kv1 tipi iyon kanalı dinamikleri aşağıdaki biçimde belirlenir: I Kv1 = g K ⋅ m 2 ⋅ h(v − V K ) (B.5) GPe ve GPi’de kullanılan düşük eşikli T-tipi Ca akımı: I T = g T ⋅ a ∞3 ⋅ r (v − VCa ) (B.6) STN için kullanılan düşük eşikli T-tipi Ca akımı: I T = g T ⋅ a ∞3 ⋅ b∞2 (v − VCa ) (B.7) Zaman aralıklarını denk getirmek için VTA nöronuna ait dinamik sistem 10 kat hızlandırılmıştır (µVTA). VTA nöronunu modellemede kullanılan akımlar: 1 IK = gK (V K − v) − ( v − k1 ) / k 2 1+ e (B.8a) I LCa = G LCa (VCa − v) (B.8b) α C (v) L L GCa = g Ca α C (v ) + β C ( v ) (B.8c) α C (v) = −0.0032 (v + 50) e ( − ( v + 50 ) / 5 ) −1) β C (v) = e ( − ( v +55) / 40) 93 (B.8d) (B.8e) I KSK = GSK (u )(VK − v) u4 G SK (u ) = g SK 4 4 u + K1 (B.8f) = GSK (u )(VK − v) u4 G SK (u ) = g SK 4 4 + u K 1 (B.8g) I SK K VTA nöronundaki hızlı süreçler, Na dinamiğine bağlıdır. Ayrıca geciktirilmiş doğrultucu bir potasyum akımı (IdrK), bu dinamiği dengeler. Bu akımlar ile hızlı aktivasyon ve yavaş inaktivasyon süreçlerinin denklemleri aşağıdadır: I Na = g Na ⋅ m∞3 ⋅ h ⋅ (v − V Na ) (B.9a) p 2 − v 1 1 − tanh 2 p 3 (B.9b) h& = α h (v) ⋅ (1 − h) − β h (v) (B.9c) m∞ = α h (v ) = ha 2 − v ha1 1 + tanh h 2 a 3 (B.9d) β h (v ) = hb 2 − v hb1 1 − tanh 2 h b 3 (B.9e) I Kdr = g K ⋅ n 4 (v − V K ) (B.9f) n& = α n (v) ⋅ (1 − n) − β n (v) ⋅ n (B.9g) α n (v ) = na 2 − v n a1 1 − tanh 2 n a 3 (B.9h) β n (v ) = nb 2 − v nb1 1 + tanh 2 n b 3 (B.9i) VTA nöronunda L-tipi Ca akımı IL_Ca, SK-tipi potasyum akımı ISKK ile karşılıklı etkileşim içindedir. SK-tipi akım, hem gerilime hem de yoğunluk değişimi u dinamik denklemiyle verilen Ca seviyesine bağlı olarak değişir. Ca, hücreye en fazla L-tipi Ca ve NMDA kanalları vasıtasıyla girer ve daha sonra Ca pompa sistemiyle dışarı atılır. Ca2+ yoğunluk değişimi: u& = 2 f Ca r L Ca I Ca + I NMDA − I pump H 94 (B.10a) I pump = M pump ⋅ u (B.10b) u + K pump Hızlı Na ve potasyum akımlarının yanında magnezyum (Mg) miktarına bağlı değişen NMDA akımı da önemlidir: I NMDA = G NMDA (v) ⋅ (v − V NMDA ) (B.11a) stim c g NMDA + g NMDA G NMDA (v) = − me⋅( v + 20 ) 1 + 0.28 ⋅ ( Mg ) ⋅ e (B.11b) g, m∞, n∞ ve mLCa∞ fonksiyonlarını göstermek üzere iyon kanalı için yazılan fonksiyonlar aşağıdaki gibi parametrik olarak ifade edilebilir: −a−v g ∞ (v) = − a − v + b⋅e − c − d ⋅v e − v −35 − v + 10 0.0027 ⋅ e 20 h∞ (v) = 0.0027 ⋅ e − v − 35 − v + 10 20 e τ g (v ) = − a −v 10 0.0027 ⋅ e −v − v −35 − v + 10 20 −v 20 (B.12b) +1 −1 − d − e⋅v f −35 − v 10 e (B.12a) + 0.0027 ⋅ e 20 + 0.0027 ⋅ e b ⋅ (−a − v) + c ⋅ e τ h (v ) = −b⋅e −v f −c⋅e (B.12c) −v g −1 − 0.0027 ⋅ e −v 20 (B.12d) +1 Đyon kanalı fonksiyonlarının parametrik ifadelerinde her parametre için kullanılan değerlerin tablosu çizelge B.1 ile verilmiştir: Çizelge B.1 : Đyon kanalı fonksiyonlarında kullanılan parametreler. Değişken m∞ n∞ mL 2 +∞ a 40 55 28 b 1.1 5.545 10 c 360 440 252 d 14 9 14 e 90 80 70 f 18 80 14 g - τm τn 40 55 10 0.1 0.01 0.1 0.108 0.0549 1.2 360 440 50 14 9 6 90 80 50 18 80 50 Ca τ m LCa 2+ Nöronlar için kullanılan hücre zarı parametreleri çizelge B.2 ile verilmiştir. 95 Çizelge B.2 : Nöronlar için hücre zarı parametreleri. Parametre AC, MC VL VNa VK VCa gL gNa gK gCa gT gAHP gL_Ca gKv1,2 -54.6 55 -77 140 0.3 120 36 0.1 37 0.009 0.009, 0.00003 1 22 10 8 -42.97 ε C kCa kL τr σa σb σr σs θa θb θr θs StrD1, D2 NAc D1, D2 -54.6 55 -77 140 0.3 120 36 0.24 4.5 0.0012 GPe, GPi STN THL -54 55 -80 120 0.4 120 30 1 0.4 24 - -54.6 55 -77 140 0.3 120 36 2.7 1 9 - -54 55 -80 120 0.3 120 30 1 24 0.00006 0.0001 1 20 6 8 -42.97 1 21 35 30 2.5 -2.2 -2 -66 -70 -41 - 0.0002 0.0002 1 28 10 7.8 -0.1 -2 8 -66.7 0.4 -72 -42.97 1 25 12 30 7.8 -0.1 -4 -66.7 0.4 -84 - Đyon kapılarına ait diferansiyel denklemlerin ifadesi, ortak olarak bulundukları nöronlara göre gruplanmıştır. AC, MC, StrD1, StrD2, NAcD1, NAcD21, NAcD22, GPE, GPi, STN, THL, AML, PPT için g parametresi m, n, h ve mLCa fonksiyonlarını ifade etmek üzere B.13 geçerlidir. Aynı denklem ile GPE, GPi, STN, THL nöronları için r fonksiyonunun ifadesi de yazılır. g& x = g ∞x − g x τg (B.13) x Ca dinamikleri için iyon yoğunluğu ifadesi: [Ca ] 2+ i = α ⋅ I Ca _ X − τ T [Ca 2+ ]i I Ca _ X = I LCa + I Ca , x : AC , MC , STRD1, STRD 2, NACD1, NACD 21, NACD 22 I Ca _ X = I T + I Ca , x : GPE , GPi, STN 96 (B.14a) (B.14b) (B.14c) I Ca _ X = I T , x : THL (B.14d) α =1 (B.14e) τ T = k Ca (B.14f) Ca kanalı fonksiyonlarının ifadeleri de ortak oldukları nörona göre gruplanarak verilmiştir. GPE, GPi, STN, THL için c, a∞ ve r∞ fonksiyonlarını göstermek üzere ortak yazılan ifade: C ∞ _ X (v ) = 1 − (v − θ g ) 1 + exp σ g (B.15) Aynı B.15 denklemiyle AC, MC, StrD1, StrD2, NAcD1, NAcD21, NAcD22, GPE, GPi, STN nöronları için s∞ denklemi de yazılır. STN ve THL için b∞ ifadesi aşağıdadır: b∞ (r ) = 1 1 − − (r − θ b ) −θ 1 + exp b 1 + exp σb σb τ rSTN (v) = 43 + 19.5 − (v − 68) 1 + exp − 2 .2 (B.16a) (B.16b) Nöronlar arasındaki bağlantılara ait diferansiyel denklemler aşağıdaki gibi yazılır: rel&X −Y = α ⋅ H ∞ (v x )(v y − ϕ )(1 − rel X −Y ) − β ⋅ rel X −Y H ∞X −Y (v) = 1 − (v − θ H ) 1 + exp σH (B.17a) (B.17b) Bu bağıntı SNc ile StrD2 ve VTA ile NAc D2 nöronları arasındakiler hariç tüm nöronlar arası bağlantılar için aynıdır. Đstisnai duruma ait denklem: rel&X −Y = α ⋅ H ∞ (v X ) ⋅ H ∞ (vY )(vY − ϕ )(1 − rel X −Y ) − β ⋅ rel X −Y (B.18) Nöronlar arasındaki bağlantıyı sağlayan akımların genel ifadesi aşağıda verilmiştir: I X −Y = g X −Y ⋅ (v y − V X −Y ) ⋅ rel X −Y (B.19) Nöronlar arası bağlantılar için kullanılan parametreler çizelge B.3 ile verilmiştir. 97 Çizelge B.3 : Nöronlar arası bağlantı parametreleri. AC-StrD1 AC-StrD2 AC-NAcD1 AC-NAcD21 AC-NAcD22 StrD2-GPe StrD1-GPi GPe-GPi GPe-STN AC-STN STN-GPi GPi-Thl Thl-MC SNc-StrD1 SNc-StrD2 VTA-NAcD1 VTA-NAcD21 VTA-NAcD22 AC-VTA NAcD21-VTA NAcD22-VTA NAcD1-GPi NAcD21-GPe NAcD22-GPe MC-AC AML-AC AC-AML AML-VTA VTA-AML PPT-VTA AML-PPT NAcD1-PPT NAcD21-PPT NAcD22-PPT AML-NAcD1 AML-NAcD21 AML-NAcD22 NAcD1-AML NAcD21-AML NAcD22-AML SNc-AC SNc-AML SNc-PPT SNc-GPi SNc-STN SNc-GPe SNc-StrD1 SNc-StrD2 α 0.01 0.01 0.01 0.01 0.01 0.039 0.039 0.039 0.02 0.02 0.039 0.01 0.02 0.02 0.02 0.01 0.01 0.01 0.01 0.01 0.01 0.039 0.039 0.039 0.01 0.02 0.02 0.01 0.02 0.01 0.02 0.02 0.02 0.02 0.01 0.01 0.01 0.02 0.02 0.02 0.02 0.02 0.02 0.02 0.02 0.02 0.02 0.02 β 1.43 1.43 1.43 1.43 1.43 4 4 4 3 3 4 1.2 2 1.43 1.43 1.43 1.43 1.43 1.43 1.43 1.43 4 4 4 1.2 2 1.43 1.43 1.43 1.43 1.43 1.43 1.43 1.43 1.43 1.43 1.43 1.43 1.43 1.43 1.43 1.43 1.43 1.43 1.43 1.43 1.43 1.43 φ 15 15 15 15 15 30 50 50 30 30 30 -35 30 30 200 15 15 15 15 15 15 50 30 30 15 30 30 30 30 30 30 30 30 30 15 15 15 30 30 30 30 30 30 30 30 30 30 30 98 VX-Y 0 0 0 0 0 -100 -100 -100 -100 0 0 -100 0 0 -100 0 -100 -100 0 -100 -100 -100 -100 -100 0 0 0 0 0 0 0 -100 -100 -100 0 0 0 -100 -100 -100 0 0 0 -100 0 -100 -100 -100 gX-Y 1.25 1.25 1.25 1.25 1.25 14 1 24 0.01 6 1.4 4 0.04 0.001 20 0.001 20 20 1.25 1 1 1 14 14 0.8 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0 0 1 0.8 1 0.5 0.5 0.5 θH -42.97 -42.97 -42.97 -42.97 -42.97 -32.97 -20.97 -42 25 -38 -55 -8 -42.97 -20 -42 -20 -42 -42 -42.97 -42.97 -42.97 -20.97 -32.97 -32.97 -8 -42.97 -20 -42.97 -20 -42.97 -20 -20 -20 -20 -42.97 -42.97 -42.97 -20 -20 -20 -20 -20 -20 -20 -20 -20 -20 -20 σH 8 8 8 8 8 2 2 10.5 1 2 10 1 8 2 2.5 2 2.5 2.5 8 8 8 2 2 2 1 8 2 8 2 8 2 2 2 2 8 8 8 2 2 2 2 2 2 2 2 2 2 2 ÖZGEÇMĐŞ Ad Soyad: Selin Metin Doğum Yeri ve Tarihi: Ankara , 4 Ekim 1977 Adres: E-Posta: selinmetin@gmail.com Lisans: Yıldız Teknik Üniversitesi Elektronik ve Haberleşme Müh. Yüksek Lisans: Đstanbul Teknik Üniversitesi Biyomedikal Müh. Mesleki Deneyim ve Ödüller: Selin Metin, 2000 yılından beri özel sektörde çeşitli kuruluşlarda AR-GE mühendisi olarak görev yapmaktadır. Otomasyon, tüketici elektroniği, finans, haberleşme sektörlerinde deneyim kazanmıştır. Yurtiçinde, yurtdışında ve uluslararası ekiplerle gerçekleştirilen projelerde gömülü sistemlerde yazılım tasarımı üzerine çalışmıştır. Yayın ve Patent Listesi: TEZDEN TÜRETĐLEN YAYINLAR/SUNUMLAR Makale Metin, S., Şengör, N.S. (2012). From Occasional Choices to Inevitable Musts: A Computational Model of Nicotine Addiction, Computational Intelligence and Neuroscience, vol.2012, doi: 10.1155/2012/817485. Bildiri ve Sözlü Sunumlar Metin, S., Şengör, N.S., 2010: Dynamical System Approach in Modeling Addiction, Brain Inspired Cognitive Systems, July 14-16, 2010, Madrid, Spain. 99 Metin, S., Şengör, N.S., 2010: A Neurocomputational Model of Nicotine Addiction Based on Reinforcement Learning, The 20th International Conference on Artificial Neural Networks (ICANN 2010), Eylül 15-18, 2010, Selanik, Yunanistan. Yucelgen, C., Denizdurduran, B., Metin, S., Elibol, R., Şengör, N.S., 2012: A Biophysical Network Model of Basal Ganglia Pathways for Action Selection, The 22nd International Conference on Artificial Neural Networks (ICANN 2012), September 11-14, 2012, Lausanne, Switzerland. Metin, S., 2012: Ventral Striatal Yolun Karar Almaya Katkısı, bildiri, 1. Karmaşık Dinamik Sistemler ve Uygulamaları Çalıştayı, Ekim 12-13, 2012, Ankara. Poster ve Özet Metin, S., Şengör, N.S., 2011: Nikotin Bağımlılığı Đçin Bir Hesaplamalı Model, poster, 10. Ulusal Sinirbilim Kongresi, 8-12 Nisan 2011, Đstanbul. Metin, S., Şengör, N.S., 2011: A neurocomputational model of nicotine addiction based on reinforcement learning, poster sunumu ve özet, 13th Annual Meeting of the SRNT Europe, September 8-11, 2011, Antalya, Turkey. Metin, S., Şengör, N.S., 2011:A neurocomputational model of nicotine addiction based on reinforcement learning, poster sunumu ve özet, Bernstein Conference 2011, October 4-6, 2011, Freiburg, Germany. Metin, S., Şengör, N.S., 2012: Contribution of the Ventral Striatal Pathway to Decision Making, poster sunumu ve özet, The Second Symposium on the Biology of Decision Making (SBDM 2012), May 10-11, 2012, Paris, France. Metin, S., Şengör, N.S., 2012: Ventral Striatal Pathway Determines Actions Employed: A Computational Model, poster sunumu ve özet, Bernstein Conference 2012, September 12-14, 2012, Munich, Germany. 100