トップ > RL

RL

新着順 人気順

Enomoto et al. "Dopamine neurons learn to encode the long-term value of multiple future rewards" (PNAS. 2011)

2011 PNAS 榎本一紀 木村實 monkey trode DA reward RL

ふうん。 Dopamine neurons learn to encode the long-term value of multiple future rewards | PNAS ところでPNASって、どう発音するのがいいのかな。「ぴーなす」っていうと、なんか男性器のようだし、「ぴーえぬえーえす」だとPMSみたい。かといって、「…

Dayan P "Prospective and retrospective temporal difference learning" (Network. 2009)

Peter Dayan‌ RL

Prospective and retrospective temporal difference learning. - PubMed - NCBI リジェクトしたったら、あいつら別の雑誌で出しやがって*1、ってかんじで溜飲が下がらず……みたいな成り行きを想起させられ、味わい深いです。 ＊ なんでもかんでも強化学習、T…

Sul JH, Kim H, Huh N, Lee D, Jung MW. "Distinct roles of rodent orbitofrontal and medial prefrontal cortex in decision making" (Neuron. 2010 May 13;66(3):449-60)

2010 Neuron Jung Hoon Sul Daeyeol Lee Min Whan Jung rat trode OFC mPFC ACC decision RL reward

http://www.cell.com/neuron/abstract/S0896-6273(10)00236-9 ラットでトロード。いつもどおり、回帰と相関でごりごりやるなあ。線条体から記録していた、JNSの論文*1でも使っていた二本腕バンディット課題を用いて、前頭前皮質（PFC）のいろんなとこから録…

Reward prediction based on stimulus categorization in primate lateral prefrontal cortexPan X, Sawa K, Tsuda I, Tsukada M, Sakagami MNat Neurosci. 2008 Jun;11(6):703-12

2008 Neuron Xiaochuan Pan 津田一郎 坂上雅道 塚田稔 monkey trode RL LPFC reward

夢のあるおはなしをすれば、前頭前野が表現する、A→B、B→Cのとき、AとCをむすぶ神経機構。ていうか、おおもとの狙いはそのへんだと思うのだけれど。ともあれ、とっても魅力的なお仕事です。 眼球運動課題を行っているサル前頭前野外側部（LPFC; lateral pref…

Expectation Modulates Neural Responses to Pleasant and Aversive Stimuli in Primate AmygdalaBelova MA, Paton JJ, Morrison SE, Salzman CDNeuron. 2007 Sep 20;55(6):970-84

2007 Neuron Marina A. Belova C. Daniel Salzman monkey trode amygdala reward aversive learning RL attention

好きとか嫌いとか、最初に言い出したのは誰なのか知りませんが、好き（reward）も嫌い（aversive）も両方、それぞれ分かれたかたちで、また、ひとつになったかたちでも、扁桃体にありますよ、というはなし。ほら、だって、好きなことも嫌いなことも、価値（v…

Neural signature of fictive learning signals in a sequential investment task.Lohrenz T, McCabe K, Camerer CF, Montague PRProc Natl Acad Sci U S A. 2007 May 22; [Epub ahead of print]

2007 PNAS P. Read Montague human fMRI RL DA caudate decision-making

平行宇宙の脳内表現。

Medial prefrontal cell activity signaling prediction errors of action valuesMatsumoto M, Matsumoto K, Abe H, Tanaka K.Nat Neurosci. 2007 May;10(5):647-656. Epub 2007 Apr 22.

2007 Nat Neurosci 田中啓治 松元健二 松元まどか monkey trode RL mPFC dlPFC DA

サル前頭前野内側部(mPFC)では、dlPFCのとちがって、ポジティブな予測誤差とネガティブな予測誤差を、それぞれべつべつのニューロン集団でコーディングしているっていう。 わかりやすくて読みやすいなあ。頑張って強化学習のスキームをあてはめてる*1。マル…

Signe Lauren Bray and John P O’DohertyNeural coding of reward prediction error signals during classical conditioning with attractive facesJ Neurophysiol (February 15, 2007). doi:10.1152/jn.01211.2006

2007 JNP John P O’Doherty neuromarketing human fMRI RL reward

http://jn.physiology.org/cgi/content/abstract/01211.2006v1 魅力的な顔は、それじたいがお金や食べ物みたく、報酬としてはたらくのかもってはなし。ヒトfMRI。古典的条件付け課題。魅力的な/魅力的でない男性/女性の顔と連合した条件刺激（フラクタル図形…

Morris G, Nevet A, Arkadir D, Vaadia E, Bergman HMidbrain dopamine neurons encode decisions for future action.Nat Neurosci. 2006 Aug;9(8):1057-63. Epub 2006 Jul 23.

Genela Morris Hagai Bergman monkey DA single unit RL reward

Midbrain dopamine neurons encode decisions for future action - Nature Neuroscience Choice values - Nature Neuroscience 中脳ドーパミンニューロンは将来の行動をコードする…ふたつのターゲット（条件刺激）が提示されたときのドーパミンニューロンの…

Daw ND, O’Doherty JP, Dayan P, Seymour B, Dolan RJCortical substrates for exploratory decisions in humansNature. 2006 Jun 15;441(7095):876-9

Daw Dayan Dolan TD RL decision-making human fMRI FP IPS vmPFC exploration uncertainty

Page not found : Nature Publishing Group認知：ヒトの情報探索の意思決定にかかわる皮質領域 たえず変化しつづける環境では、たまには冒険を…つまり、知識と経験から導かれる最適（利益を最大化する）な行動でないけれども、ひょっとしたらすごく得するか…

Morris G, Nevet A, Arkadir D, Vaadia E, Bergman HMidbrain dopamine neurons encode decisions for future action.Nat Neurosci. 2006 Aug;9(8):1057-63. Epub 2006 Jul 23.

Genela Morris Hagai Bergman monkey DA single unit RL TD reward

Midbrain dopamine neurons encode decisions for future action - Nature Neuroscience Low frequency(<15Hz), long duration(>1.5ms) and polyphasic spikes, and a firing elevation in background single- and multi-unit activity in response to unexp…

Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka ODopamine Neurons Can Represent Context-Dependent Prediction ErrorNeuron, Vol 41, 269-280, 22 January 2004

中原裕之 彦坂興秀 DA monkey reward RL TD

Neuron - Dopamine Neurons Can Represent Context-Dependent Prediction Error MRでニグラの位置決め、irregular and tonic firing with broad spike potentials…シュルツロモ（1987）にもとづいて。記録終了後ヒストロジー、A9およびA8のSNcからの記録を確…

Frank MJ, Seeberger LC, O’reilly RC. By carrot or by stick: cognitive reinforcement learning in parkinsonism. Science. 2004 Dec 10;306(5703):1940-3. Epub 2004 Nov 4.

DA Parkinsonism RL O’reilly

By Carrot or by Stick: Cognitive Reinforcement Learning in Parkinsonism -- Frank et al. 306 (5703): 1940 -- Science アメとムチ。２種類のタスク（確率と序列）をやってもらったところ、黒質DAニューロンが減ってるパーキンソン病患者さんは良い結果…

Brown J, Bullock D, Grossberg S. How the basal ganglia use parallel excitatory and inhibitory learning pathways to selectively respond to unexpected rewarding cues. J Neurosci. 1999 Dec 1;19(23):10502-11.

DA PPTN RL Striatum model Grossberg

How the Basal Ganglia Use Parallel Excitatory and Inhibitory Learning Pathways to Selectively Respond to Unexpected Rewarding Cues -- Brown et al. 19 (23): 10502 -- Journal of Neuroscience DAの興奮応答と抑制応答が生じるメカニズムはちがうの…