AI・深層学習

現在のAI・深層学習の研究はAttention・Transformerが主力となっている。また強化学習も今後重要になると思われる。2023/1時点で話題になっているChatGPTは、大規模な言語Transformerに強化学習を組み合わせたものである。このような研究の流れは今後も続くと思われる。ただし強化学習は複合的で種類も多いため、研究は容易でないと思われる。

交通流の強化学習ツール highway-env

強化学習におけるOpenAI Gymを拡張させたツールに、交通流を扱うhighway-envがある。このツールの現状と利用方法をまとめた。

背景と概要

Getting Started

SB3 DQN サンプル

Highway Planning サンプル

Parking HER サンプル

Social Attention DQN サンプル

利用論文

深層学習のAttention・Transformer

Attention・Transformerは、現在の深層学習研究において主力となっている技術である。その全体像をまとめた。

技術の概要

著名な論文と各分野の論文

サンプルコード・論文のコード

複合的なAIに向けて

深層学習の技術は画像や言語に対して強い効果があるが、現状では汎用性が欠けている。動物や人間は様々な情報を統合して利用するが、現状の深層学習では統合は困難である。人間のように様々な分野を学習するという訳には行かない。これは実用面でも大きな制約になる。

Attentionにはある程度の汎用性がある。Attentionは現在も進歩しており、将来的に深層学習を含めたAIを統合していく可能性がある。これにより様々な分野に深層学習が使えるようになるかもしれない。Attentionは今後数年で大きく発展する可能性がある。

人間の大脳新皮質には、連合野と呼ばれる複合的な機能を持つ部位と、それ以外の単機能の部位がある。現在の深層学習の中心である画像・言語は、単機能の部位に相当する。統合・制御は複合的な機能であり、連合野に相当する。エキスパートシステムなども単機能であり、現時点で複合的なAIの実現は困難である。

複合性や汎用性のあるAIの研究は、現在盛んに行われている。Attention以外にも強化学習・ロボット・メタ学習などがある。強化学習は様々な技術を複合的に使う場合が多い。強化学習はゲームや研究レベルに留まる事が多かったが、最近は実用レベルでの使用例も増えている。ChatGPTは大規模な言語Transformerに強化学習を組み合わせており、応答能力を大幅に強化している。ロボットとAIに関する研究も盛んに行われており、強化学習を使ったロボットもその一種である。ロボットは人間と同じく複合的である。メタ学習は「学習に関するメタデータを学習」する手法で、少ない情報での追加学習に効果がある。メタ学習は学習を制御するという意味で複合的と言える。

また、最近ではAIとシミュレーションの複合的な研究も盛んである。人間のような複合的能力への到達は遠いので、より手軽なシミュレーションとの複合研究も重要だろう。

これらの複合性や汎用性のあるAI研究が発展していけば、様々な情報を統合・制御できるようになる。将来的に人間に近い能力を持つAIを作る事も可能かもしれない。

深層学習の最先端の調査方法

深層学習は基本的に海外の研究が主体となっており、日本語では最先端を調べる事が難しい。その中でAI-SCHOLARは日本語で最先端を追っており、英語のサイトに比べて調べやすい。

英語であればPapers With Codeが調べやすい。論文・コード・SOTAの情報をまとめたサイトで、項目ごとに分かれているので情報がすぐに調べられる。

カンファレンスで調べるなら、取り合えずNeurIPS（旧NIPS）を見るのが良いだろう。現在AI関係で最高峰にあるカンファレンスの一つであり、Transformerやそれに続くBERTもここで発表された。

できるだけ元の論文まで調査した方がいい。最近はarXiv.orgのようなWebサイトに論文が公開されている場合が多い。簡単なネット記事だと本質的な内容が書いてない事もある。

最近の深層学習は実用化が進み、手法の種類が膨大である。こうなると他のソフトと同様に主流・傍流の問題が出てくる。傍流の手法・ツールだと、性能が高そうに見えても他の問題でうまく行かない場合がある。調査する際はこの点も注意すべきだ。