AND OR

CENTER:動画像符号化: 変換領域動き推定(Transform Domain Motion Estimation)

なぜか?

  • 動画像符号化の標準的な方式はハイブリッド方式となっています。空間的な無駄を取り除くためにDCTをつかって情報量の集中化をはかり、時間的な冗長性削減に対して動き推定を行っています。原画像領域におけるブロック型動き補償は依然として処理が煩雑であり、計算量論的に高価で、低消費電力化の障害となっています。また、この動き推定とDCTによるイントラフレームの符号化は低ビットレートではブロックひずみの原因となっています。
  • 一方、今やウェーブレット変換はJPEG 2000やMPEG-4に見られるように、静止画像符号化では一つの要素技術として理解され、受け入れられるようになりました。
  • 最近ではデジタルシネマ符号化方式標準化において Motion JPEG 2000 がほぼ決定したようですね。
  • もういちど、変換領域動き推定方式をやってみようかな。

それは何ですか?

  • わたしたちは混成方式ではなくて、シンプルなビデオ符号化方式を検討しています。イントラフレームの符号化(空間符号化)もインターフレームの符号化(時間符号化)もウェーブレット変換領域で進行する方式です。この方式にはつぎのような長所があります。
    1. 動き推定の計算が容易、したがって低消費電力
    2. 1ビット単位のビットレート制御
    3. 受信復号映像の品質制御
    4. シーンチェンジに対する符号化効率の維持
    5. 低解像度成分を利用した高速な内容検索
    6. プログレッシブ伝送
    7. フレーム遅延のない順次符号化・復号化処理
    8. ブロックひずみの排除
    9. 所望とあらば、可逆圧縮も非可逆圧縮も継ぎ目なく可能(seamless encoding/decoding)
susie at 1 Mbps

encoded by TDME,
transcoded in avi
905kB
http://telecom0.eng.niigata-u.ac.jp/pub/susie_tdme1M.avi

どのようにするのですか?

  • 動画像を構成する一枚ずつの画像(これをフレームという)をウェーブレットで変換すると、一連の階層的な帯域分割が行われます。最も緩慢な変化を記述する帯域成分におけるウェーブレット係数を祖先と呼ぶことにしましょう。祖先には、より急激な変化を表現する高周波帯域に水平、垂直、対角線の方角にそって自分と対応する位置にあるウェーブレット係数が存在しますので、これを子孫と呼んでいます。祖先と子孫をあわせて家系と呼びましょう。
  • 映像における動きを記述する動きベクトルを計算します。符号化対象の家系と以前に符号化されている参照フレームの家系との差分絶対値をもとめ、これの最も小さな参照家系がどれほど並進したかを動きベクトルとするのです。
  • この動き推定における探索範囲はとても狭くて、家系の±2つ分の並進で実験しています。このため探索が簡単になるのです。例えば通常の原画像領域の動き推定では±16画素の並進について探索します。つまり、(16÷2)の2乗ですから64分の1の手間で動き推定が行えることになります。
  • 動き推定された家系と本当の家系との差、つまり予測残差は零樹符号化によって記述します。

ほかに何か?

  • 本研究室での最終的な目標地点は現時点での、ある意味で(最終目標地点にくらべると)幼稚な符号化方式のはるか彼方にあります。研究室ではこれに関連して、映像の編集、加工を容易にする研究プロジェクトも進行しています。
  • 最終地点は一つの符号化ビット列から複数の映像再生を切り替え可能とするソフトウェア符号化、復号化方式です。「複数の映像再生」とはリアルなビデオモードとライブ・アニメーションのモードです。
    • 先日ケータイを FOMA に替えました。「キャラ電」というサービスがあって、当人の代わりにキャラクタにちょっとした動作をさせて、テレビ電話のようにして使うものです。わたしたちの「ライブ・アニメーション」とはキャラクタそのものを当人の映像から作り出すものと考えて結構です。

参考論文

  1. S. Joo, S. Muramatsu, and H. Kikuchi; A Fast Motion Estimation in the Wavelet Transform Domain for Video Compression, IEEE Int. Symp. on Intelligent Signal Processing and Communication Systems (ISPACS 2000), Honolulu, pp. 68-71, Nov. 2000.
  2. S. Joo and H. Kikuchi; A New Motion Compensation on a Wavelet Transform Domain, IEEE Int. Conf. on Image Processing (ICIP 2000), Vancouver, Canada, vol. 3, pp. 130-133, Sept. 2000.
  3. S. Joo and H. Kikuchi; Scalable video compression by wavelet tree-block motion estimation, 14th Digital Signal Processing Symp., Kokura, pp.347-352, Nov. 1999.
  4. S. Joo and H. Kikuchi; Tree-block motion estimation of wavelet zerotrees for video coding, 1999 Picture Coding Symp. in Japan, Karuizawa, pp. 77-78, Sept. 1999.

Front page   Edit Freeze Diff Backup Upload Copy Rename Reload   New List of pages Search Recent changes   Help   RSS of recent changes
Last-modified: 2014-07-29 (Tue) 20:44:06 (1594d)