1. RGBD相机基础与处理
RGBD相机，即同时提供颜色和深度图像的设备，其深度图以16位无损PNG格式存储。在C++和OpenCV中，我们可通过C++的fwrite/fread进行读写操作，Matlab的imread/imwrite或OpenCV的cv::imwrite进行图像处理，但读取深度图时需使用CV_LOAD_IMAGE_UNCHANGED选项保持原始信息。
相机模型解析
6自由度（6DOF）的位姿信息是理解成像过程的关键。相机坐标系的解释有助于理解内参的作用，特别是4个关键内参：焦距(fx, fy)和光心坐标(u, v)，它们用于三维空间点到二维图像点的精确投影。
内参的几何洞察
俯视和侧视图揭示了内参与分辨率的关系，比如图像尺寸(W, H)与光心像素(u, v)的关联。通过W/fx和H/fy，我们可以估算出水平视场角(HFOV)和垂直视场角(VFOV)。让我们通过实例来说明设备内参的实用意义。
图像处理对内参的影响
缩放、旋转和翻转等操作对内参有特定影响：缩放时保持视角，焦距和光心同步调整；旋转则可能需要交换焦距或调整光心位置；垂直翻转仅改变光心，焦距保持不变。裁剪会调整视野，同样调整光心和焦距。
深度相机精度探讨
结构光深度相机的精度受到三角测距原理影响，随着距离的增加，深度测量误差会非线性增大。通过示例可以看到随距离增加的视差变化情况。
深度与RGB图像对齐
RGBD相机的红外与RGB图像存在视差，需要利用出厂标定的外参RT关系进行深度图到RGB空间的转换。在OpenNI SDK中，设置`setImageRegistrationMode(openni::IMAGE_REGISTRATION_DEPTH_TO_COLOR)`启用深度-彩色图对齐功能。对于深度点云的平面拟合，RANSAC和鲁棒最小二乘法被广泛应用，远离平面的点权重较小。平面拟合的方程和SVD技术在人体模型深度图地面拟合中发挥关键作用，如18次迭代后，绿色点标记平面内的准确点。
通过以上深入解析，我们了解到RGBD相机的实用技巧和潜在挑战。3D视觉开发者社区致力于分享技术知识，提供免费课程、独家资源与技术支持。立即加入我们或关注微信公众号，解锁更多3D视觉技术宝藏！