デジタル病理支援ソリューション「PidPort」を提供するメドメインは9日、Batch norm parameterを調整することで、効率的に転移学習を行うことができることを明らかにし、Deep Learning（深層学習）における基盤技術の創出に成功したと発表した。

転移学習（Transfer Learning）において、Batch Normalization layerのうち、学習可能な重み（weight）の「ScaleとCenter」のみを微調整するだけで、すべての重み（weight）を微調整した時と同様の精度が得られることが判明し、Deep Learningの高速化が可能になった。

転移学習（Transfer Learning）とは、任意の領域で学習したモデルを別の領域に応用し、効率的に学習させる方法のこと。従来の方法では、深層学習（Deep Learning）を完了させるまでに、まとまった時間と費用を要していたが、転移学習を行うことで、学習時間の短縮や必要なデータ量の削減など、費用対効果の得られた学習を行うことが可能になる。

Batch Normalizationは2015年に提唱された。アクティベーションが広がりのある分布になるようにすることで勾配消失による学習停滞を防ぐ手法で、Batch Normalizationには、学習高速化、過学習抑制、初期値の影響を抑制など利点が数多くある。Batch Normalizationをどのタイミングで行うかについては、多くの研究や議論がされているが、活性化関数の直前あるいは、直後で行うことが主流だという。また、病理画像をはじめとする医用画像に深層学習を適用する際には、ImageNetからの転移学習が有力な手法。

今回の研究の目的は、医用画像を効率的に深層学習させる手段として転移学習を応用する場合、Batch Normalizationおよびパラメータ調整の重要性について基礎的な視点から研究し、技術開発に応用できる知見を得ることにある。

本研究では、医用画像の転移学習において、公開データセットを用いることで、Batch norm layerのAffine parameterの影響を確認。

その結果、「1．Batch Norm Affine parameterを微調整するだけで、すべてのパラメータを微調整した場合と同等の精度が得られること」、「2．微調整することで、モデルを特徴抽出器として用いるよりも良い精度が得られること」、「3．ランダムな重みを用いてBatch Norm parameterのみを学習させることで、十分な精度が得られること」が判明したという。

これにより、学習済みモデルを効率的に転移学習させることで、高精度かつ迅速に深層学習モデルの開発ができる方途を見出すことができた。今回の基礎的な技術開発研究を生かし、今後の深層学習モデルの開発に応用していくという。

関連URL

原著論文（Web上での事前公開）
論文タイトル：Partial transfusion: on the expressive influence of trainable batch norm parameters for transfer learning

メドメイン