スマホやロボットなどで高効率なAI処理を行うプロセッサーアーキテクチャーを開発

国立大学法人東京工業大学 科学技術創成研究院の本村真人教授（情報通信コース 主担当）、劉 載勲准教授（情報通信コース 主担当）、安藤洸太特任助教らの研究グループは、国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が進める「高効率・高速処理を可能とするAIチップ・次世代コンピューティングの技術開発」で、エッジ機器で高効率な畳み込みニューラルネットワーク（CNN）推論処理を行うプロセッサーアーキテクチャーを開発し、大規模集積回路（LSI）を試作しました。

今後、本技術の活用により、例えばスマートフォンにおける先進的な拡張現実（AR）アプリケーションやロボットにおける柔軟な動作制御など、電力供給量などの制約が厳しいエッジ機器でも高度なリアルタイムAI処理の単独での実行が期待できます。

従来の深く枝刈りされたCNNの推論処理では、メモリへのアクセスが不規則になるため計算効率が低下するという課題がありました。本研究では既存のCNNモデルを変形して高精度で高効率な処理ができる形式に変換するアルゴリズムを開発しました。さらに、このアルゴリズムを効率的に処理するための、入力データの平面シフトを扱う整形機構と直積型並列演算アレイを中核としたアーキテクチャーを提案しました。これにより試作LSIによる実測で、最大26.5 TOPS／Wという世界トップレベルの実効効率を達成しました。

なお、本成果について、2021年8月22日から24日までオンラインで開催されたプロセッサーLSIの主要国際会議「Hot Chips 33」のポスターセッションで発表しました。

アプリケーションの高度化に伴い大規模化した畳み込みニューラルネットワーク（Convolutional Neural Network; CNN）^[用語1]は、応用範囲が急速に広がる一方で、特に電力・面積的制約の大きな端末（エッジ）機器で利用する場合に、要求される計算量とメモリ容量の肥大化が問題となっています。これに対処するため、アルゴリズム面から提案されてきたのが、CNNの枝刈り（プルーニング）^[用語2]に代表される、CNNモデルの冗長性を利用し、認識精度を保ったままモデル規模を縮小（スパース化）する手法です。しかしこの手法では、計算量とメモリ容量の削減はできるものの、メモリへのアクセスが不規則となり、データ再利用性と演算器の稼働率が低下するため、並列処理の計算効率が低下することが課題とされてきました。

こうした背景のもと、国立大学法人東京工業大学（東工大）科学技術創成研究院の本村真人教授らと国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）のチームは、「高効率・高速処理を可能とするAIチップ・次世代コンピューティングの技術開発^[用語3]」で、エッジ機器での高効率なCNN推論処理を行うプロセッサーアーキテクチャーを開発し、大規模集積回路（LSI）を試作しました。本研究で、深く枝刈りされたことでメモリへのアクセスが不規則になったCNNの推論処理では、チャネル間畳み込みと入力データのチャネル内平面シフトを利用して畳み込みの積和演算を行うことが効率的であることを見いだし、そのため並列演算アレイとデータ整形機構を中核としたアーキテクチャーを提案しました。さらにこれによる試作LSIによる実測で、最大26.5 TOPS／W^[用語4]という世界トップレベルの実効効率を達成しました。これは、例えば従来、スマートフォンやウエアラブル端末では電力供給量や処理能力が限られているため大規模なCNNモデルによる高度なAIアプリケーションはクラウド側で実行していましたが、本開発によって高度なリアルタイムAI処理をエッジ側で実行できます。これにより、AIサービスにおけるプライバシーの確保やクラウドへの通信量の削減などが期待できます。

なおこの結果は、プロセッサーLSIの主要国際会議であるHot Chips 33^[用語5]（期間：2021年8月22日～8月24日、オンライン開催）に採択され、東工大がポスターセッションで発表しました。

まず、CNNの並列演算の計算効率の改善について検討しました。CNNの畳み込み層における畳み込み演算は、複数チャネルからなる入力活性とカーネル群から複数チャネルの出力データを生成する積和演算の繰り返し^[用語6]からなっています。互いに依存関係のない入力チャネル内のピクセル位置と出力チャネル方向の座標軸を選ぶと、積和演算を各行・各列で独立の積（直積）と和の計算に分離でき、データ再利用性を高く保つ並列計算が可能になり、計算効率が高くなります（図1）。この方式は、カーネルサイズ1×1のチャネル間畳み込み（いわゆるPoint-wise畳み込み^[用語7]）において、特に計算効率が高くなります。

次に、計算効率のアルゴリズムの改善について検討しました。ここでは一般に、あらゆる畳み込み演算は入力データのチャネル内平面シフトとカーネルサイズ1×1のチャネル間（Point-wise）畳み込みの組み合わせに分解できることに着目しました（図2a）。特に、チャネル内とチャネル間にカーネルを分離することで軽量化された畳み込み演算に対しては、入力データのチャネル内平面シフトを扱う整形機構によりチャネル内の畳み込み演算を処理し、直積型並列演算器アレイによりチャネル間の畳み込み演算を処理することで、高いデータ再利用率で処理できることを見いだしました。さらに、畳み込みカーネルをカーネル要素の座標に合わせて枝刈りすると、存在しないカーネル要素に対応する計算をスキップでき、メモリアクセス・演算処理を省けます（図2b）。これにより、深く枝刈りされたCNNの計算効率をより向上させることができました。

続いて、既存のCNNモデルを変形し、同一座標のカーネル要素を優先して枝刈りする学習アルゴリズムを構築しました（図3a）。モデルの処理時間・効率と認識精度は、枝刈り後に残存するカーネル要素数（スパース率の逆数）によってトレードオフの関係となります。本アルゴリズムは、既存の学習済みモデルに対して連続的にカーネル要素数を減らしながら再学習を行うもので、求める処理時間・効率と認識精度から、スパース率のトレードオフ点を任意に選択することが可能になりました（図3b）。

本アーキテクチャーの試作チップを台湾積体電路製造（TSMC社）の40 nmプロセスにて製作しました（図4）。並列演算アレイサイズを32×32とし、活性値・係数値には4ビット固定小数点（INT4）量子化を採用しました。その結果、最大534 MHz 1.1Vにおいて400 mW以内の電力消費を実測しました。これは、カーネル要素数を9分の1まで枝刈りした後のスパース化した不要カーネル要素の省略を考慮すると、スマートフォンなどのエッジ機器向けCNN推論プロセッサーとしては世界トップレベルの実効効率26.5 TOPS／Wに相当します。

本成果は、低電力・高速での大規模CNNモデルの推論処理を可能にし、従来クラウド処理が前提であった大規模CNNモデルによる高度なAIアプリケーションを、電力や処理能力、外部通信データ量の制約が厳しいスマートフォンやロボットなどのエッジ機器でも使用できるようにします。高度なAIアプリケーションとは、例えば、スマートフォンにおけるTPO（Time、Place、Occasion）に応じた賢いAR（Augmented Reality: 拡張現実）アプリケーションや、ロボットにおける柔軟で適応的な動作制御・姿勢制御などです。また、これらのAIアプリケーションにおいて、クラウド処理の課題であったプライバシーやネットワークの不通・遅延などの問題を回避し、スマートデバイスでのAI応用の可能性を広げることが期待できます。

エッジ機器で利用されるニューラルネット推論チップは、さらに高度な枝刈りや量子化による小型化が進むものと予想されます。東工大とNEDOの研究チームは、本研究の試作チップで実証した技術をさらに発展させ、枝刈り後の精度向上のための学習技術や、RISC-Vプロセッサーなどとのシステムレベル統合技術の開発など、より高精度・高効率なニューラルネット推論チップの実現を目指し、スマートフォンやロボットなどのエッジ機器での高度なAIアプリケーションの実現を目指します。

• 用語説明

• 発表情報

会議情報 :	Hot Chips 33
論文タイトル :	Edge Inference Engine for Deep & Random Sparse Neural Networks with 4-bit Cartesian-Product MAC Array and Pipelined Activation Aligner
発表者 :	安藤洸太（東京工業大学 科学技術創成研究院 AIコンピューティング研究ユニット 特任助教）