AI×製造2026年10月12日読了約5分

画像AI、1ブロック反復で精度維持し軽量化

保存

単一のTransformerブロックを繰り返し使う画像認識モデル「reViT」が、全層モデルと同等の精度を保ちつつ保存パラメータを約70%減らした。端末搭載や配布のコストを下げる道を開く成果である。

研究の概要

Adrian Bulat氏らの研究チームは、画像認識の主流であるVision Transformer(ViT)について、層を何十段も積み重ねる代わりに、単一のTransformerブロックを繰り返し適用しても、通常の全層モデルと同等の精度を同程度の推論演算量(FLOPs)で得られることを示した。提案手法は「reViT」と呼ばれる。

ImageNet-1kでの教師あり学習では、reViT-B/16がDeiT IIIと同等の精度に達し、保存パラメータは約70%少なかった。さらに大規模モデルDINOv2を教師とする蒸留では、教師の最終出力の特徴量だけを手がかりに学習させた。中間層の特徴を合わせる手間はかけていない。それでも8個の専門家を持つ構成は、教師の線形プローブ精度をほぼ保ち、分類、セグメンテーション、深度予測へ転用できた。

しくみをやさしく

同じブロックを何度も回すだけでは、どの深さでも同じ計算になり、表現力が落ちる。本来のViTは、浅い層で輪郭、深い層で意味といった具合に、深さごとに役割が違うためである。

reViTはこの問題を、ブロック内のFFN(全結合の変換部分)に対処して解く。小さな「専門家」の集合を共有し、各反復の深さごとに専門家の混ぜ具合(凸結合)を変えて、その深さ専用のFFNを作る。混ぜ具合を決めるのは、0から1に正規化した「深さ座標」である。座標が進むとFFNのパラメータが連続的に動くため、深さごとの専門性が、少ない部品で再現される。

専門家の使い方では、重みそのものを混ぜる「重みマージ」が、トークンごとに振り分ける方式や出力を混ぜる方式より優れていた。FFN1つ分の予算で比べた結果である。また座標は連続値なので、同じ区間を粗く刻めば浅い実行、細かく刻めば深い実行になる。弾力的な深さ学習により、1つの学習済みモデルを複数の深さで動かせる。固定深さで運用する場合は、ブロックを通常の密なグラフに展開できる。オンラインの振り分けや混合は不要になるが、保存容量は増える。

ビジネスへの示唆

この成果が効くのは、画像モデルを多数の端末や拠点へ配る業務である。例えば製造業の品質保証部門では、外観検査カメラ数十台に検査モデルを入れ、更新のたびに現地へ配信している。小売の店舗運営部では、棚の欠品検知モデルを店舗端末へ届けている。このとき、モデルの保存容量と配信の手間が負担になる。

自部署で考えるべき問いは、次のとおりである。画像認識モデルをどこに置いているか。更新を誰がどれだけの手間で配信しているか。端末の記憶容量が理由で、導入を諦めた拠点はないか。

影響を受けやすい部署と指標は次のとおりである。

製造の生産技術・品質保証部門:検査端末の更新作業時間、導入可能な設備台数
小売・物流の店舗運営・倉庫部門:端末あたりの対応業務数、配信の通信負荷
ITインフラ部門:モデル管理の工数、ライセンス・保管コスト

弾力的な深さの仕組みは、現場の事情にも合う。処理に余裕のある場面では深く、バッテリーや遅延が厳しい場面では浅く動かす運用を、1つのモデルで切り替えられる可能性がある。なお、固定深さの展開版では保存容量が増える点は、評価の際に見落とせない。

現場での導入イメージ

仮に導入支援に入るなら、次の流れを提案する。

棚卸し:画像モデルを使う業務、配置先の端末、更新頻度、容量や遅延で詰まっている箇所を一覧にする。目指す到達点は、軽量化で最も効く業務を3つ程度に絞れた状態である。
差し込み先の設計:新しい仕組みを増やさず、既存の推論基盤や配信手順のモデル部分だけを置き換える設計とする。基盤モデルを使っている場合は、蒸留の枠組みで軽量版を作る道を検討する。目指す到達点は、現行の運用手順を変えずに差し替えられる構成である。
小さく試す:1つの拠点または1ラインで数週間、現行モデルと並行運用する。現場担当者が、見落としや処理待ちの実感で比較する。目指す到達点は、精度と速度の両面で現場が受け入れる水準の確認である。
運用と横展開:採用基準(許容精度、深さの切替ルール、展開版か圧縮版かの使い分け)を文書にして、他拠点へ広げる。目指す到達点は、配信と更新の手間が小さい標準運用である。

全体として目指すのは、高性能な画像AIを、容量の小さい端末や遠隔の拠点でも更新しやすく使える状態である。費用面では、既存の学習資産を生かして小さく始められる可能性があり、効果は配信や保管の手間の軽減として現れると見込まれる。