Open3DでRGB-Dデータの統合

Open3Dを使ってKinectなどから取得したRGB-Dのデータを統合し、一つの3Dモデルを生成してみる。RGB-Dデータの統合のためには、各RGB-D画像を取得したカメラの位置姿勢情報が必要となるが、今回は統合の部分だけを試してみたいので、ミュンヘン工科大学のRGB-Dデータセットを入力として使った。
RGB-D SLAM Dataset and Benchmark
https://vision.in.tum.de/data/datasets/rgbd-dataset

今回は「rgbd_dataset_freiburg3_long_office_household」をダウンロードして使ってみた。データセットには、カラー画像とデプス画像の他にそれぞれのデータが取得されたタイムスタンプと画像ファイルの対応表rgb.txt，depth.txtやカメラの位置姿勢の真値groundtruth.txtなどが含まれている。
このデータセットを使うとGround Truthの位置姿勢があるため、統合処理のみを試すことが可能になる。ただし、rgb, depth, groundtruthでそれぞれの取得タイミングが微妙に異なるので、まずは近い時刻のデータをまとめ上げる必要がある。このまとめ上げには、Datasetと一緒に公開されている、ツールを利用すると簡単にデータの準備を行うことができる。
Useful tools for the RGB-D benchmark
https://vision.in.tum.de/data/datasets/rgbd-dataset/tools

とりあえず、公開されているpython scriptをダウンロードする。この中の、associate.pyを使うことで近い時刻のデータをまとめることができる。今回は、まず、rgbとdepthのデータを統合し、その後、統合したデータとGround Truthのデータを統合することで、rgb，depth，groundtruthのデータを作成した。注意点として、ツールはPython2系で書かれているため、Python3系で利用するためには一部修正する必要がある。
python associate.py rgb.txt depth.txt > rgb_depth.txt
python associate.py rgb_depth.txt groundtruth.txt > rgb_depth_gt.txt
統合後のデータは以下のようになった。
1341847980.786856 rgb/1341847980.786856.png 1341847980.786879 depth/1341847980.786879.png 1341847980.790000 -0.6832 2.6909 1.7373 0.0003 0.8617 -0.5072 -0.0145
1341847980.822978 rgb/1341847980.822978.png 1341847980.822989 depth/1341847980.822989.png 1341847980.820100 -0.6821 2.6914 1.7371 0.0003 0.8609 -0.5085 -0.0151
1341847980.854676 rgb/1341847980.854676.png 1341847980.854690 depth/1341847980.854690.png 1341847980.850000 -0.6811 2.6918 1.7371 0.0001 0.8610 -0.5084 -0.0159
1341847980.890728 rgb/1341847980.890728.png 1341847980.890737 depth/1341847980.890737.png 1341847980.890100 -0.6797 2.6921 1.7373 0.0000 0.8610 -0.5083 -0.0162
1341847980.922978 rgb/1341847980.922978.png 1341847980.922989 depth/1341847980.922989.png 1341847980.920000 -0.6785 2.6925 1.7375 -0.0003 0.8607 -0.5088 -0.0160
1341847980.954645 rgb/1341847980.954645.png 1341847980.954676 depth/1341847980.954676.png 1341847980.950000 -0.6775 2.6928 1.7374 -0.0001 0.8607 -0.5088 -0.0166
1341847980.990699 rgb/1341847980.990699.png 1341847980.990724 depth/1341847980.990724.png 1341847980.990000 -0.6759 2.6933 1.7375 -0.0002 0.8611 -0.5082 -0.0170
1341847981.022715 rgb/1341847981.022715.png 1341847981.022728 depth/1341847981.022728.png 1341847981.020000 -0.6749 2.6938 1.7375 -0.0003 0.8609 -0.5085 -0.0170
1341847981.054711 rgb/1341847981.054711.png 1341847981.054773 depth/1341847981.054773.png 1341847981.050000 -0.6736 2.6942 1.7374 -0.0001 0.8615 -0.5075 -0.0174
データの並びは以下のようになっている。
rgbタイムスタンプ rgb画像ファイル depthタイムスタンプ depth画像　GTタイムスタンプ tx ty tz qx qy qz qw
tx，ty，tzはカメラ位置，qx，qy，qz，qwはカメラ姿勢のクウォータニオン表現となっている。

これで、カラー画像、デプス画像、カメラ位置姿勢のデータセットが出来たので、順番に読み込みながら統合していく。データの統合には以下のページにあるScalableTSDFVolumeを利用した。
RGBD integration
http://www.open3d.org/docs/release/tutorial/Advanced/rgbd_integration.html

データの読み込みの様子は以下の通り。
統合結果は、以下の通り。さすがにGround Truthのカメラ位置姿勢を利用しているので綺麗。

コメント

コメントを投稿

このブログの人気の投稿

COLMAPでキャリブレーション済みのデータを使う

イメージ
COLMAPで三次元復元を行う際に既知のカメラパラメータを利用する方法についてメモしておく。多くの場合、SfMでカメラパラメータも含めて推定することで十分だが、例えばCMUの Panoptic dataset のようにカメラキャリブレーション結果が提供されているようなものに対して、COLMAPを適用してみたい場合は提供されているカメラパラメータを利用する方が良い場合がある。実際に、Panoptic datasetでCOLMAPを実行するとマッチングが上手くいかず推定に失敗する場合が多くある。 既知のカメラパラメータを利用する方法については、COLMAPのFAQの中で回答があるので、ここにある通りにcamera.txt, images.txt, point3D.txtを準備すると良い。 Reconstruct sparse/dense model from known camera poses https://colmap.github.io/faq.html#reconstruct-sparse-dense-model-from-known-camera-poses 以下はCOLAMPで画像群を読み込み、特徴点の対応関係の取得まで終わっている（マッチング結果のデータベースhogehoge.dbがある）ことを前提としている。 camera.txtの生成 camera.txtには各カメラのカメラモデルおよびカメラ内部パラメータを記載する。フォーマットは以下の通り。 カメラID カメラモデル 解像度x 解像度y fx fy cx cy 歪パラメータ 内部パラメータの表現については利用するカメラモデルに依存するので、以下のURLを参照しながら必要に応じて使い分ける。 Camera Models https://colmap.github.io/cameras.html camera_models.h https://colmap.github.io/cameras.html image.txtの生成 image.txtには各画像に対応するカメラ外部パラメータを記載する。フォーマットは以下の通り。 画像ID qw qx qy qz tx ty tz カメラID　画像ファイル名 ここで(qw, qx, qy, qz)は3次元回転のクウォータニオン表現で(tx, ty, tz)は
続きを読む

5点アルゴリズムによるカメラ位置・姿勢の推定

2枚の画像間のカメラ位置・姿勢を推定する際に、それぞれの画像を撮影したカメラの内部パラメータが既知の場合には5点アルゴリズムが利用できる。OpenCVにも5点アルゴリズムでカメラ位置・姿勢を推定するための関数 cv::findEssentialMat が用意されている。 使い方は、対応点の座標を以下のように指定するだけ。 cv::Mat essentialMat = cv::findEssentialMat(p1, p2); ただし、デフォルトでは焦点距離1.0、画像中心座標(0, 0)で計算するようになっているので、下記のコードのように内部パラメータ行列を用いて座標変換を行うか焦点距離、画像中心座標を指定する必要がある。座標変換を行わずに利用したい場合は、焦点距離、画像中心座標を第3,4引数に設定すれば良い。 推定したEssential Matrixからカメラの並進と回転を求めるためには、 cv::recoverPose で並進ベクトルと回転ベクトルに分解することができる。 以下のように、2枚の画像から対応点を求めて、5点アルゴリズムでカメラ位置・姿勢を推定することができる。 #include <iostream> #include <vector> #include <opencv2/opencv.hpp> #include <opencv2/nonfree.hpp> int main(int argc, char** argv) {   cv::initModule_nonfree(); //モジュールの初期化   //カメラパラメータの読み込みとレンズ歪の除去   cv::Mat img1; //入力画像1   cv::Mat img2; //入力画像2   cv::Mat K;   cv::Mat distCoeffs;   cv::FileStorage fs("camera.xml", CV_STORAGE_READ);   fs["intrinsicMat"] >> K;   fs["distCoeffs"] >> distCoeffs;   cv::undistort(cv::imrea
続きを読む

2D-3D対応からのカメラ位置・姿勢の推定

画像からの三次元復元処理や拡張現実感のための位置合わせ処理において、画像を撮影したカメラの位置・姿勢が必要になることがある。ここでは、カメラの内部パラメータ（焦点距離、画像中心座標、アスペクト比など）は既知とし、カメラの外部パラメータ（並進と回転）を求める方法を紹介する。 カメラの位置・姿勢は、三次元位置が既知の点Pとその画像上での観測座標pの複数の対応から求めることが出来る。このような問題はPerspective-n-Pont Problem（PnP問題）として知られている。OpenCVにはPnP問題を解くための関数cv::SolvePnPが用意されている。この関数の入力は三次元位置が既知の点の配列(objectPoints)とその画像上での観測座標の配列(imagePoints)、カメラの内部パラメータ行列、歪係数を入力とし、カメラの外部パラメータ（回転ベクトル、並進ベクトル）を推定する。 対応点の組み合わせに誤対応が含まれている場合は、cv::SolvePnPRansacを用いることでロバスト推定手法であるRANSACを用いた誤対応の排除が可能である。 また、推定手法としてLevenberg-Marquardt法による最適化(cv::ITERATIVE)や高速な推定手法であるEPnP(cv::EPNP)を選択することができる。経験的にはcv::ITERATIVEの方が安定した推定を実現できるように思う。 さらに、回転ベクトル、並進ベクトルの初期値が得られている場合には、第7引数をtrueにし、出力用のrvec, tvecに値を設定しておくことで、最適化の際の初期値として使用することができる。拡張現実感などの場合には、直前のフレームでの推定結果などを初期値として用いることで推定結果の安定性を向上させることができる。 #include <iostream> #include <vector> #include <opencv2/opencv.hpp> void genRT(cv::Mat& rvect, cv::Mat& tvect); void getCorrespondingPairs(cv::Mat K, cv::Mat d, cv::Mat rvec, cv::Mat tvec, std:
続きを読む