深層学習　人工知能学会　(2015) 

2016.8.1

　「深層学習」のキンドル版が、８月の月替わりセールで、1944円になったので、早速購入しました。

最近、人工知能が、また何度目かのブームになりつつありますが、深層学習の成功が、その一翼を担っています。

つい最近、人工知能が、囲碁のプロ棋士に４勝１敗で圧勝したというニュースが流れました。

NHKのEテレでも解説していましたが、深層学習のおかげで、人工知能に、もはや囲碁の勝ち方を教える必要はなくなりました。

代わり番こに打つなどの囲碁の基本ルールと、陣地の計算などの勝ち負けの判定の仕方を教えるだけでいいのです。

人工知能同士に対戦させていくうちに、人工知能は勝ち方を覚えていきます。

これまでに3000万局という途方もない対局数をこなすと、プロ棋士を負かすまでに強くなっていました。

　深層学習は、英語ではdeep learningです。ニューラルネットを、単純な入力層・中間層・出力層の３層ではなく、

中間層を増やした多数の深い層にして学習させるという意味でディープな(深い)学習という名前になっています。

ニューラルネットを学習させるためには、莫大な計算機資源が必要なのですが、

学習後のニューラルネットを使うときにはそんなに計算機資源を必要としないはずなので、

将棋のソフトのようにパソコンで動くソフトが販売される日を待ち望んでいます。

　ちょっと脱線しますが、将棋のプロ棋士を負かすまでになった将棋のソフトは、ニューラルネットではありません。

コンピュータにより局面を何手か先まで先読みし、最善手を探すわけですが、

自分が打った手に対し、相手が最善手を指し、自分も最善手を指すという形で先読みするときに、

盤面の評価ができなければなりません。

　盤面の評価においては、玉が角道や、飛車の道にあるかどうかとか、玉のまわりの金や銀の配置が重要です。

そこで、玉に対する自分の駒や、相手の駒などを、三つの駒の配置パターンとして捉え、

過去のプロ棋士の多数の棋譜のなかでのそのパターンの現れ方によって、配点の値を学習することにより、

盤面の評価の精度があがり、将棋ソフトが強くなってしまいました。

　将棋ソフトは、実際の局面で次の一手を考えるときに、選択肢の手の評価を教えてくれますので、将棋の勉強に大変役立ちます。

　ニューラルネットを使った人工知能は、そんな苦労をする必要がありません。最近は、画像処理の技術が進歩したので、

猫や犬などの動物の写真を沢山用意して、コンピュータに学習させておくと、新しく見せた写真で、それが猫であるかないかを

判断できるというとんでもない能力も、もてるようになりました。

　囲碁の人工知能に関しては、まだ、凡手も指すようで、それが４勝１敗の１敗につながったようですが、なぜ、そんな手を

打ってしまうのか、ニューラルネットを見てもわからないので、解釈に苦労しているようです。

　人工知能は、今後、会話のできるロボットや、自動車の自動運転などの分野で活躍することになりますので、

ニューラルネットの働きについて、まだまだ知見を積んでいかねばならないと思います。

　そこで、この「深層学習」のいろんな部分を紹介しながら、人工知能の開発について、解説していこうと思います。

　深層学習については、松尾豊さんの「人工知能は人間を超えるか　ディープラーニングの先にあるもの」のキンドル版が

セールで99円になったときに入手して、勉強しました。残念ながら、今は、875円です。

最初の頁に「本作品の全部または一部を無断で複製、転載、配信、送信したり、ホームページ上に転載することを禁止します。」

と注意書きがありましたので、残念ながら、この本の紹介を、私のホームページで紹介することはあきらめました。

　本頁での深層学習の解説においても、田中さんの本文をそのまま引用することはあきらめて、私が理解した内容において

解説することにしたいと思っています。

2016.8.5

　キンドルで、難しい本を読むときは、頁の移動の仕方をマスターしておくことが必要です。

この本のように、図や式がたくさんある場合は、印刷した本と同じ頁構成なので、頁での移動が便利です。

　左側の枠外から、指を右に枠内にこすると、目次が表示されます。目次で移動しても良いのですが、

「移動」を使って、直接、目的の頁に移動するのが簡単です。頁は、本の各頁の右上、左上に示されている値ではなくて、

最初の頁からの通し番号です。

　また、Kindle for PC の場合には、画面が横長なので、左側に目次を常に表示しておくと、便利です。

　脱線ついでに、もう一つ。一昨日あたりから、アマゾンで、キンドル読み放題というサービスが始まりました。

このサービスは、他社でもやっていて、アマゾンは遅れての参加ですが、月額980円という、他社よりも高めの設定です。

雑誌やコミックなど12万冊以上用意されていて、そのうち、最大10冊を読むことができるということは、電子書籍の有料の図書館という感じです。

別の本を借りるために、ダウンロードした書籍を返却するときに、ダウンロードした書籍はどうなるのかなど、詳しい情報を知りませんが、

自宅には本は置かない主義の人には、便利だと思います。また、図書館では、一人の人が借りてしまうと他の人は読めないのに、

電子書籍だと、何人でも借りられるというメリットはあると思います。

　さて、深層学習の1.5節、「深層ニューラルネットワークによる深層表現の学習」に

多層のネットワーク (深層ニューラルネットワーク) の学習とその難しさについて述べる。その後、

その困難を克服して深層ニューラルネットワークを効果的に学習させるための方法として、

畳み込みニューラルネットワーク (1.6節) と、自己符号化器による層ごとの貪欲学習 (1.7節) について述べる

とあります。

　前者の畳み込みのほうは、手書き文字を認識するニューラルネットワークに使われたもので、

後者の自己符号化器による層ごとの貪欲学習こそが、多層のニューラルネットワークの成功を導いてくれました。

　田中さんの本では、深層学習が従来の機械学習と大きくことなることとして、１層ずつ階層ごとに学習することと、

自己符号化器(オートエンコーダー)という情報圧縮技術を用いることの二つをあげていますが、

1.7節はまさにそのことだと思いますので、そこから読み始めたいと思います。

2016.8.7

　自己符号化器は、中間層のノード数が入力層や出力層のノード数よりも小さい砂時計型のニューラルネットを用いることにより、

主成分分析と同様の情報処理機能を果たすことが知られていて、ながらく人工知能の開発に大きな役割を果たすことが期待されていたのですが、

2006年頃にBengioらが、自己符号化器を多層ネットワークの事前学習の手法として用いる層ごとの貪欲学習を提案し、

深層学習の開発に拍車がかかりました。

　田中さんの本に、自己符号化器の働き方が上手に解説されていますので、以下に短くまとめて、説明します。

全国47都道府県の天気の日々のデータがあるとします。47ノード・10ノード・47ノードの３層のニューラルネットの

入力層に天気データを入力し、出力層で再現させるという学習をさせるとします。　このネットワークを自動学習ではなく、

人間が設計するとしたら、中間層の10ノードには、全国、北海道、東北、関東、関西、四国、九州、日本海側、太平洋側、沖縄

などのような地域を代表する値に直し、それから、47都道府県の天気を求めなおすというネットワークとして構築するはずです。

この統計処理でいう主成分分析のようなことを、ニューラルネットは自動学習で行うわけですが、

中間層１層だけでは、その効果は十分ではなく、またこの自己符号化器をどう組み合わせていくかのブレークスルーも必要でした。

　そのブレークスルーとして登場したのが、中間層のデータに対して、自己符号化器をかけて、その中間層を、２層目の中間層にする

というような多層化の試みです。また、データにノイズを加えて、頑強性を高める工夫などの試みもあります。

　これらの取り組みで成功した例がいくつか出始めてきましたので、これから快挙が続出することを期待しています。

ホームページアドレス: http://www.geocities.jp/think_leisurely/