StatsBeginner: 初学者の統計学習ノート

初学者が統計学、機械学習、R、Pythonの勉強の過程をメモっていくノート。

機械翻訳に関する記事を読んで面白いと思ったこと(与太話)

 短いし大したことは言わないし正確に理解もできていないので、ブログ記事にするのもためらわれますが、Twitterの字数では書けないのでここに書きます。
 以下の、機械翻訳の現状に関する記事を読み、大変参考になりました。


rekken.g.hatena.ne.jp


 それで学説史的に興味深いなと感じたのでメモしておきます。与太話です。
 1960年代から70年代にかけて「認知革命」というアカデミアのムーブメントがあったと言われます。心理学、言語学、脳科学、計算機科学とかそういった分野にまたがる運動だったんだけど、心理学の方面から見た時によく言われるのは、「記号(表象)の関係をモデル化する」という研究が推し進められたのが特徴であったということ。それまでは、パブロフとかスキナーといった名前が有名だけど、「行動主義」という考え方があって、心の中身はモデル化することはできないから、外面的に観察できる「刺激」と「反応」のパターンだけを分析しようみたいな話だったらしい。
 行動主義への反動として捉えてしまうと理解が狭くなるとの意見はあってWikipediaにも載ってますが(リンク)、細かいことは知りません。
 面白いと思ったのは、「刺激と反応のパターンをみるだけじゃなくて、記号を媒介にして心のモデルを考えたほうがいろいろ分かるよ」というムーブメントが昔あったのが、今やある意味逆転して、脳の構造ににたニューラルネットワークを構築して入力と出力を大量に与えてやると、処理の中身をモデルとして理解するのは困難だけどとにかく結構正確な対応が得られる的な状態になってしまっておるのだと。
 これを半世紀前の「認知革命」の逆流として学説史を描いてくれるような人がいたら面白いなぁと思った。見方によっては逆流ではない、みたいなのも含めて。
 もちろんそういう理解が正しくなければ、そんな描かれ方はしないわけで、私には判断が付きませんが。


 もう1つ面白いと思うことがあります。ニューラルネットの歴史が語られる時って、「基本構想は1940年代ぐらいからあったもののなかなか性能が出なかった。しかしバックプロパゲーションというブレイクスルーがあり、さらにオートエンコーダによる事前学習が……」みたいな説明がされますよね。それで私はたまたま自分がやってる研究に登場するから名前を知ってるんですが、認知革命期の心理学者でDavid Rumelhart(リンク)という人がおりました。私が読んでいたのは、この人が、人間が「物語」を作ったり理解するときに、文単位における「文法」のような共通の構造があるのではないかという仮説を立てて、「ストーリー・グラマー」というモデルを考案していた研究です。これはだいぶ思いつきめいた研究で、特に深まることもなく人々に忘れられていったのですが、一応同じ研究をしてたThorndykeという人(有名なEdward Thorndikeとは別人のPerry Thorndyke)の実験が今も学部向けの心理学の教科書に載ってたりします。
 ストーリー・グラマー論(理論というほどじゃないので論にしとく)はチョムスキーの生成文法理論の影響を明らかに受けているもので、というか生成文法ブームにのって調子にのって物語の構造分析にも適用できるか試したくなりましたみたいな研究なんですが、物語を理解するときの心の挙動を、記号を媒介にしてモデル化しようとしているという意味で、まさに認知革命的な研究です。
 で、じつはこのRumelhartは計算機科学の分野でも有名で、バックプロパゲーションの手法を提案したことと、並列分散処理のモデルを提案したことで知られてるんですよね。80年代くらいに。彼の研究が、現在のニューラルネットにおけるバックプロパゲーションの処理や、GPGPUなども駆使した並列分散処理においてどれほど貢献しているのかというのは私は全く知りませんし、ほとんど貢献はないのかもしれませんが、なんかすごい奇遇な気がして面白いです。認知革命の権化みたいな心理学者が提案した(のと類似の)技術によって、認知革命的アプローチが不要になってきているのだとすれば。


 「何が面白いの?」と言われたら、単に「俺が別々に知ってた話が予想外のつながり方をしてて面白い」っていう個人的な話なので、この記事にディープな意味合いは何もないと思っていただければと思います。
 昼休みに思いつきで書きなぐってるので、あとで消すかもしれません。今から仕事します。