日記、メモ、その他

 4DComplete: Non-Rigid Motion Estimation Beyond the Observable Surface https://github.com/rabbityl/DeformingThings4D 部分的なスキャンデータから全体の形状と密なモーションを補間する手法．入力は2フレーム分のスキャンデータで，初期のモーションは FlowNet3D によって推定している．深層学習を用いて形状を補間する方法はこれまでにも提案されていたが，形状とモーションの両方を同時に補間する取り組みはこれまでになかった． 主な新規性は以下の3点となっている． 部分的なスキャンデータから密な形状とモーションを同時に補間するという問題設定の新しさ ネットワークを学習するために大規模な4Dデータのデータセットを構築したこと 形状の補間とモーションの補間は相補的な関係にあり，提案手法を用いることでベースラインの手法よりも大きく精度を改善することが出来ること この研究では，モーションを補間するためのネットワークと形状を補間するためのネットワークの2つを用いており、各ネットワークでは段階的に解像度を上げながら処理を行っていくようになっている．また，その際に，中間出力を共有することによってモーションの補間結果と形状の補間結果がお互いに干渉しあうようになっている．ただし，学習の初期段階では，中間出力は安定して得られないため，真値を用いているらしい． 著者らはこのようなネットワークを学習するために，CGデータを用いて DeformingThings4D というデータセットを構築し公開している． DeformingThings4Dのデータセットには1,972のアニメーションシーケンスが収録されており，全体で122,365フレーム分の4Dデータ（モーションや形状など）の真値が得られるようになっている． 4DCompleteは，Localな特徴のみを用いて形状およびモーションの補間を行っており，人物などのGlobalな特徴を利用していないことから，様々な物体に適用できるという特徴がある．現状，色情報の補間はできていないが，色情報も含めた復元が可能になるとNon-rigidな物体の3次元形状復元の研究が大きく前進するような気がする．

3D human tongue reconstruction from single ''in-the-wild'' images https://github.com/steliosploumpis/3D_human_tongue_reconstruction 1枚の画像から舌の三次元形状を復元する手法．画像から顔の形状，耳の形状などを復元する取り組みはこれまでにあるが，舌に着目した研究は無かった．ただし，舌は表情を表現するためにも重要であるため，この研究では1枚の画像から舌の形状を復元することに取り組んでいる． 主な新規性は以下の3点となっている． 約700名から1800の舌形状のスキャンデータを収集しデータセットを構築した． End-to-Endの学習フレームワークで1枚の画像から舌を含めた顔の三次元復元を実現した． 様々な画像に対応するために，GANベースのフレームワークを用いて画像から舌の三次元形状を復元するフレームワークを提案した． この研究では，実際に舌の形状を三次元スキャナを用いて計測することで，画像と三次元の舌形状の正解データセットを構築している．ただし，スキャンデータのみでは，コントロールされていない環境で撮影されたデータに対してのロバスト性が低いため，GANベースのフレームワークを用いて画像から三次元の舌形状を推定する手法を導入している．これにより，生成されたデータセットも学習に用いることで，一般的な画像に対してもロバストに顔の三次元形状復元を行うことができるようになっている． 提案されているフレームワークはPoint Cloud Auto-Encoder，Image Encoder，Shape Decoderの3つのパートで構成されている．基本的なアイデアとして，スキャンデータを用いて学習済みのPoint Cloud Auto-Encoderから得られる潜在ベクトルをガイドとしてImage Encoderを学習する．これにより，画像から舌に関する三次元の特徴量を取得することができるようになる．その後，Image Encoderによって取得された特徴ベクトルをShape Decoderを用いて舌形状を制御可能な3D Morphable Modelのパラメータに変換する．   実験結果を見て分かるように，舌を出した

pixelNeRF: Neural Radiance Fields from One or Few Images https://alexyu.net/pixelnerf/ 1枚または少数の画像からNeural Radiance Filedを構築する手法．基本的なアイデアは IBRNet と同様で，入力画像を直接利用するのではなく，CNNを用いて抽出したfeature vectorからRGBσを出力するようなネットワークを学習する．単一の視点の場合は光線上のサンプルした点を入力画像上へ投影し，投影先のfeature vectorを用いる．複数視点の場合はそれぞれの視点へ投影し対応するfeature vectorを取得，その後，平均を取り利用する． 同一カテゴリのデータで学習したモデルを利用することで，未知のシーンに対してもRadiance Fieldを構築することが出来る． pixelNeRF，IBRNet双方に NeRF の別々の著者が名前を連ねているが，IBRNetの方がより手法が洗練されている印象．

FastNeRF: High-Fidelity Neural Rendering at 200FPS https://arxiv.org/abs/2103.10380 NeRFの高速なレンダリングを実現する手法．NeRFで学習されるRGB-σの値をキャッシュすることで高速化を行う．ただし，単純にキャッシュすると膨大なメモリが必要になるため，位置と方向それぞれで基底関数を用いた圧縮を行うことでコンシューマーレベルのGPUのメモリでもキャッシュができるようにしている．そのため，ネットワークはNeRFと異なり位置と方向の2種類のネットワークが利用される． Radiance Fieldを学習した後，空間全体を一定の間隔でサンプリングする．また，方向についても同様に各点について一定の間隔でサンプリングする．FastNeRFでは，位置および方向の情報をD個のパラメータで表現することで，Radiance Field全体を表現している．これにより，通常の NeRF では位置および方向をそれぞれfloat 16ビットで1024サンプルした場合，おおよそ5600TB必要なのに対して，FastNeRFでは，D=8とした場合，おおよそ54GBとなる．また，何もない位置の点に関しては不要なので，空間全体の30％程度にオブジェクトが存在している場合にはコンシューマーレベルのGPUやCPUのメモリに格納できるレベルになる． 処理速度の比較は以下の通り．先日紹介した DONeRF は15fpsでオリジナルのNeRFの0.06fpsに比べ劇的に処理時間を減らすことが出来ているが，FastNeRFはオリジナルのNeRFに比べ約3000倍の高速化という驚きの結果となっている． 画質についても，オリジナルのNeRFと同等の性能で画像生成することが出来ている．

D-NeRF: Neural Radiance Fields for Dynamic Scenes https://www.albertpumarola.com/research/D-NeRF/index.html 動的な物体を対象としたNeural Radiance Filedベースの新視点画像生成手法．動的なシーンを対象としたNeural Radiance Filedとしては，以前紹介した以下の論文がある． Deformable Neural Radiance Fields (arXiv Nov. 2020) https://moitkfm.blogspot.com/2021/03/deformable-neural-radiance-fields-arxiv.html 以前紹介した以下の論文との違いは，D-NeRFは基準となるフレームへの変換のみでなく，基準となるフレームからある時刻のフレームへの変換についても学習を行う点が異なる．これにより，任意の時刻の任意視点映像生成を実現している． 入力画像の条件が異なるため単純に比較はできないが，Deformable Neural Radiance Fieldsでは学習に1週間ほどかかっていたが，400x400の画像を入力とした場合にD-NeRFはNvidia GTX 1080で2日ほどで学習ができるとのこと．ただし，これは，Deformable Neural Radiance Fieldsでは，Non-Rigidな変形をAs-rigid-as-possibleの制約などを使って求めているのに対して，D-NeRFは変形は各頂点にオフセットをのせるだけの単純な形で表現されているためだと思われる．また，D-NeRFでは各フレーム間での対応関係をどのように算出するかは言及されておらず，実験結果はシミュレーションのみとなっており実画像への適用は難しいと思われる．

Mononizing Binocular Videos https://www.cse.cuhk.edu.hk/~ttwong/papers/invbino/invbino.html ステレオ映像からステレオ情報を復元可能な単眼映像を生成する手法．これにより，2Dテレビ，3Dテレビの双方で利用可能な映像コンテンツを生成することが出来る． 生成される単眼映像は左視点の映像となる．学習の際にはMonocular Loss（左視点画像と一致するように），Invertibility Loss（左右の入力と一致するように），Temporal Loss（直前のフレームと一致するように）の3つのLossを利用． さらに，伝送路上で生じる圧縮ノイズに対する耐性を上げるためのネットワークも利用している． 結果より，単眼映像からステレオ画像の復元が高品質に実現されていることが確認できる． ソースコードはgithub上で公開されている． https://github.com/wbhu/Mono3D