研究チーム、逆走査の二重撮像でHDR復元を実現

研究の概要

Xiang Ji氏ら5人の研究チームは、CMOSセンサー特有のローリングシャッター（RS）効果と、ダイナミックレンジ（明暗の表現幅）の圧縮という課題を同時に緩和する手法「HaRP」を、論文投稿サイトarXivで公開した。

CMOSセンサーはスマートフォンなどのモバイル撮影で広く採用されている。ただし行ごとに時間差で露光するRS方式のため、動く被写体に幾何学的な歪みや動きのアーティファクトが生じる。近年はグローバルリセット付きローリングシャッター（RSGR）モードが登場し、歪みの一部を抑えられるようになった。一方で、撮影速度の低下やダイナミックレンジの圧縮という副作用を伴う点が課題であった。

研究チームは、通常のRSGR画像と、走査方向を反転させたRSGR画像を同期して取得する二重逆走査の構成を提案した。両者は行ごとの露光が互いに補完関係にあり、一方で露光が不足する領域を他方が補える。この特性によりRSGRの弱点を補うだけでなく、動きの激しい場面でのHDR（ハイダイナミックレンジ）フォトシーケンシング、すなわち連続した高ダイナミックレンジ画像の再構成が可能になるという。

再構成用のネットワークは二段構成である。第一段では行単位の補完関係を利用し、行適応型の特徴整列によって二つの画像間の視覚的なずれを補正する。第二段の補完生成モジュールは、相関誘導型のミックスアテンションブロックで相互に強化された特徴を統合し、欠落した細部を復元する。さらに同チームは同軸の撮像系を構築して実世界のデータセットを収集し、数値シミュレーションにとどまらない学習と評価を実現した。実験では、RSGRの制約緩和とHDR再構成技術の前進という二重の効果が示されたとしている。

ビジネスへの示唆

本手法は、撮像素子の読み出し方式と画像処理を組み合わせて画質を引き上げる点に特徴があり、明暗差が大きく被写体が動く現場を抱える複数の産業に関係する。影響が想定される領域と指標は次のとおりである。

• スマートフォン・カメラ機器メーカー（商品企画・画像処理開発部門）：逆光や夜景での画質評価スコア、動体撮影時の歪み発生率、連写性能
• 自動車メーカー・部品サプライヤー（先進運転支援システム開発部門）：トンネル出入口や対向車のヘッドライト下での物体認識精度、誤検知率
• 製造業の外観検査・ロボティクス（生産技術・品質保証部門）：高速搬送ラインでの欠陥検出率、見逃し率、検査タクトタイム
• 警備・インフラ点検（ドローン運用部門）：夜間や高コントラスト環境での映像の判読性、再撮影率

いずれの分野でも、動体の歪みと白飛び・黒つぶれは、認識精度や検査品質を左右する共通の要因である。撮影後の画像処理で補正できる範囲が広がれば、高価な高速センサーや専用照明への依存を抑え、部材コストや設備投資の削減につながる可能性がある。

もっとも、実用化には課題が残る。提案手法は正順と逆順の2系統の画像を同期取得する前提であり、研究では同軸の撮像系を用いてデータを収集した。量産機器に組み込む場合、光学系の複雑化や部品点数の増加、消費電力、推論時の演算負荷が、原価や搭載可否を左右する。抄録からはリアルタイム処理の可否や端末上での動作条件は読み取れず、導入を検討する企業は自社の要件に照らした検証が必要である。

今後の展望

今後の焦点は、二重逆走査をどこまで低コストで実装できるかにある。センサーメーカーが逆方向読み出しに対応した設計を採用すれば、光学的な分岐機構を用いずに、同等の情報を得られる余地が生じる。その場合、モバイル端末の高画質化競争において、新たな差別化要素となり得る。

産業用途では、既存の検査カメラやロボットビジョンに対する追加投資の妥当性が問われる。導入効果は、検出率の改善幅と、再検査や不良流出に伴う損失の削減額を比較して判断することになる。研究チームが公開した実世界データセットは、こうした比較検証の土台として、各社の評価に活用される可能性がある。

ハードウェアとアルゴリズムを一体で設計するアプローチは、画像センシング分野の潮流の一つである。本研究の成果が製品化に結びつくかどうかは、実装コストと処理速度の両面で、実用水準に達するかにかかっている。