次世代社会システム研究開発機構（INGS）は、『機械学習／ディープラーニング（DL）／生成AI・大規模言語モデルと機械学習・DL白書 2023年版』を10月16日に発刊する。

本白書は、機械学習（Machine learning：ML）／ディープラーニング（Deep Learning：DL）の全容・最新動向に加え、生成AIや大規模言語モデル（LLM）における機械学習やディープラーニングのメカニズムのモデル選択、アーキテクチャ、アルゴリズム、適用、実装、研究、ファインチューニング等によるモデルのカスタマイズ、実用化などを網羅的に、かつ最新の動向を取り上げながら、詳細に解説している。

機械学習／ディープラーニングは、多様な分野を包括するAI（人工知能）に含まれる一分野。人間の学習能力と同様の機能をシステム的に実行するための技術や手法のことであり、AIの分野では主要な研究課題の一つとされている。

機械学習のなかでも、ニューラルネットワーク、近傍識別器、ベイズ分類、SVM（サポートベクターマシン）、といった手法でみられるように、識別器を活用しながら、クラス分類という識別問題、認識問題に対し、多様・多元的な視点・立場にたった研究が大きな成果をあげている。

LLMとは、AIアルゴリズムの一種であり、AIにおける言語モデルの概念を進化させたもの。学習と推論に使用するデータを劇的に拡張することで、AIモデルの能力が飛躍的に向上させることができる。また、ディープラーニング（深層学習）技術と大規模なデータセットを用いて、新しいコンテンツの理解、要約、生成、予測を行う。生成AIもLLMと密接不可分の関係にあり、LLMはテキストベースのコンテンツを生成するために特別に設計された生成AIの一種。

LLMは、複数のコンポーネントを含む複雑なアプローチをとっている。基礎となるレイヤーでは、LLMは、通常ペタバイト級の大容量データ（コーパスと呼ばれることもある）で学習する。学習には複数の段階があり、通常は教師なし学習アプローチから始める。LLMの次のステップは、自己教師あり学習による訓練とファインチューニング。ここでデータのラベリングが行われ、モデルが異なる概念をより正確に識別できるようになる。

次に、LLMはトランスフォーマ・ニューラル・ネットワーク・プロセスを経て、ディープラーニングを行う。トランスフォーマー・モデル・アーキテクチャーにより、LLMは自己アテンション・メカニズムを使用して、単語と概念の間の関係とつながりを理解し、認識することができる。

一度LLMが訓練されると、AIが実用的な目的で使用できるベースが確立する。LLMにプロンプトをクエリすることで、AIモデルの推論は、質問への回答、新しく生成されたテキスト、要約されたテキスト、センチメント分析レポートなどのレスポンスを生成することができる。

本白書は、カテゴリー別にこれらの開発・実装動向、市場動向、アルゴリズム高度化など先進的な研究開発動向、業界別活用動向、技術的・手法的課題、機械学習のエコシステム／プラットフォーム形成を巡る動き、生成系AIや大規模言語モデル（LLM）における機械学習やディープラーニングのメカニズムの研究動向／モデル選択／アーキテクチャ／アルゴリズム／適用／実装／ファインチューニング等によるモデルのカスタマイズ、実用化について取り上げ、解説している。

また、次世代チップ／量子コンピュータ／スマートファクトリー／デジタルマーケティング／ブロックチェーン／コネクテッドカー／自動運転などの関連領域の動向を体系的・包括的に取り上げて解説している。

また、最新のツール／ソフトウェア／アプリケーションの開発・サービス動向、今後の進展予測まで、関係する領域を体系的・包括的に取り上げた調査報告書（白書）として編纂されている。

■　生成AI白書 2023年版　（A4判／約3,200ページ）
■　大規模言語モデル（LLM）白書 2023年版　（A4判／約1,400ページ）
■　次世代NLP（自然言語処理）と大規模言語モデル（LLM）白書 2023年版　（A4判／約1,180ページ）

関連URL

次世代社会システム研究開発機構（INGS）