日記、メモ、その他

Neural Head Avatars from Monocular RGB Videos https://philgras.github.io/neural_head_avatars/neural_head_avatars.html 単眼のビデオ映像から頭部のモデルを生成するための手法を提案．3Dのメッシュモデルを生成するためのネットワークと見え方を生成するためのネットワークから構成されている．これまでに提案されている手法と比べて，3DのメッシュモデルをExplicitに推定していることから大きな視点の変化に対しても高品質な映像を生成することができる．また，提案手法はColor-dependent，Color-independentな項からなるコスト関数を最適化する枠組みとなっており，これにより形状と見えの情報をうまく分離できるようになっている． 頭部形状については，FLAMEモデルを初期値とし各頂点のオフセットを求めることで髪の毛の形状を含めたメッシュモデルを生成している．ただし，FLAMEモデルについては，頂点数を5023から16227へsubdivisionすることで利用している． 結果からも，既存手法に比べて詳細なテクスチャを再現することができていることが確認できる．