日記、メモ、その他

Mononizing Binocular Videos https://www.cse.cuhk.edu.hk/~ttwong/papers/invbino/invbino.html ステレオ映像からステレオ情報を復元可能な単眼映像を生成する手法．これにより，2Dテレビ，3Dテレビの双方で利用可能な映像コンテンツを生成することが出来る． 生成される単眼映像は左視点の映像となる．学習の際にはMonocular Loss（左視点画像と一致するように），Invertibility Loss（左右の入力と一致するように），Temporal Loss（直前のフレームと一致するように）の3つのLossを利用． さらに，伝送路上で生じる圧縮ノイズに対する耐性を上げるためのネットワークも利用している． 結果より，単眼映像からステレオ画像の復元が高品質に実現されていることが確認できる． ソースコードはgithub上で公開されている． https://github.com/wbhu/Mono3D

X-Fields: Implicit Neural View-, Light- and Time-Image Interpolation https://xfields.mpi-inf.mpg.de/ 2Dの画像群から視点，照明，時間方向の補間を行い任意の視点，時間，照明の画像を生成する手法．補間は時間（下図オレンジ）→照明（下図グリーン）→視点（下図イエロー）の順番で補間を行う． 視点補間にはMultiplane Imageの表現を利用している．補間を行うNeural Networkの学習には2DのFlowの情報を利用している． ただし，照明の補間については，視点，時間と同様に単純なWarping処理によって補間を行うとShadingがおかしくなるという問題が生じるため，照明の補間に関してはAlbedoとShadingに入力画像を分離して利用する． 学習にかかる時間も短く，1024x1024の画像25枚を入力とした場合に約1時間となっている．これはRadiance Fieldを復元する方法に比べるとかなり計算コストが低い． また，論文中では，関連手法に関して表の形で特徴をまとめてあり，とても参考になる．

Dynamic Facial Asset and Rig Generation from a Single Scan https://vgl.ict.usc.edu/Research/dynamicgeneration/ 単一の頭部スキャン結果から，個人のブレンドシェイプモデル，Face Rig，歯や目などの要素を生成する手法．ニュートラルの表情に加えFACS (Facial Action Coding System)に基づき抽出した26個の表情をスキャンした結果を学習用データとして用いている．各表情に対して，形状，アルベド，スペキュラ，ディスプレイスメントのデータを保持している． 学習はブレンドシェイプのモデル生成とブレンドシェイプの重み生成の2つのステージに分けて実施する．まず，アーティストが設定したブレンドシェイプの重みを利用してブレンドシェイプ生成のネットワークを学習する． 次に，ブレンドシェイプ生成の重みを生成するネットワークを学習する．これにより，単一のスキャン結果からブレンドシェイプのモデルおよび重みを生成するネットワークを学習することが出来る．

MakeItTalk: Speaker-Aware Talking-Head Animation https://people.umass.edu/~yangzhou/MakeItTalk/ 音声を入力と1枚の顔画像を入力として，顔画像のアニメーション動画を生成する手法．ターゲット毎の学習は不要かつ3DMMなどのテンプレートモデルも不要なアルゴリズムであり，人物の顔以外の顔のようなものにも適用可能． 顔画像からは顔ランドマークを抽出し，このランドマークを音声に応じて移動させることで，顔をアニメーションさせる．音声についてはコンテンツと話者依存の情報（感情みたいなもの？）に分解し，それぞれ発話したさいのベースとなるアニメーションの生成，話者依存のアニメーションの生成する． 人物の顔が入力の場合は，生成されたランドマークの位置情報からPix2Pixのネットワークにより変形後の画像を生成する．また，非人物の場合は，Image Warpingによる画像の生成を行う．

Synthesizing Light Field From a Single Image with Variable MPI and Two Network Fusion https://people.engr.tamu.edu/nimak/Papers/SIGAsia2020_LF/index.html 単眼画像からの新視点画像生成の研究．従来手法では，新視点画像生成のために視点位置から一定の間隔で設置したMultiplane Image (MPI)上へ入力画像を投影し，各奥行の平面に投影された画像を新視点画像上へ投影することで新視点画像の生成を行っていた．この場合，平面間に物体が存在するような場合は，物体を挟む2つの平面状に単一の物体の色情報が分配されてしまい，新視点画像上にゴーストが生じてしまうという問題があった．これを解決するために，提案手法では，投影先の平面の間隔を動的に設定するVariable MPIを導入している．これにより，新視点画像を生成した際に生じるゴーストを低減することができる． ネットワークは可視領域を処理するためのVisible CNN，遮蔽領域を処理するためのOccluded CNNで構成されている．最終的に2つのネットワークで生成された画像よりVisibility Maskを生成し，これを利用することでブレンディングし最終結果を得る．

 RGB2HandsはComputer Graphics関連のトップ会議SIGGRAPH Asia 2020で発表された論文で，単眼カメラ映像から両手の位置と姿勢をリアルタイムで推定するアルゴリズムである． RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video https://handtracker.mpi-inf.mpg.de/projects/RGB2Hands/ 動画を見てわかるように，他方の手でオクルージョン（遮蔽）が起こった場合にも頑健にトラッキングが出来ていることが分かる． 手のテンプレートモデルを利用したトラッキングアルゴリズムとなっているが，以下のような工夫がなされている． 単眼カメラからの奥行推定 モデルとの密なマッチング 手のキーポイントの利用 左右の手の判定 また，推定された奥行からは両手の間の距離(Inter-Hand)と各手首からの距離(Intra-Hand)特徴を抽出し利用している．これらの情報を統合することで，頑健かつリアルタイムのトラッキング処理を実現している．