版权声明：本文为博主原创文章，未经博主允许不得转载。 https://cloud.tencent.com/developer/article/1436944
Omnidirectional Camera
Davide Scaramuzza
Definition 定义
omnidirectional camera (from omni, meaning all) 广角相机： 在一个水平面有360度视野的相机，或视野能覆盖半个球或近似整个球的相机
Background 背景知识
大多数商业相机可以使用 pinhole 相机模型来描述，使用一个 perspective projection 来建模。但是存在一些高畸变成像设备如广角相机，它们不能使用传统小孔相机模型来描述。
目前存在几种构建广角相机的方法。Dioptric cameras 使用一组 shaped lenses（如鱼眼镜头），可以得到大于180度视野，（稍微多余半球）； Catadioptric cameras 则使用一个标准相机和一个 shaped mirror — such as a parabolic, hyperbolic, or elliptical mirror，其在水平面可以提供360度视野，仰角方向大于100度；polydioptric camera 通过组合多个相机来重叠相机视野
Theory 理论
0.1 Central omnidirectional cameras
一个视觉系统是 central 的话，那么 被观测物体的所有入射光线汇交于3D空间的一个点，这个点称为 projection center 或 single effective viewpoint。
A vision system is said to be central when the optical rays to the viewed objects intersect in a single point in 3D called projection center or single effective viewpoint
这个属性我们称之为 single effective viewpoint property。 perspective camera 就是一个 central projection system，因为所有的入射光线交于一点： camera optical center。
所有现代鱼眼相机都是 central，所以他们都满足这个属性 single effective viewpoint property。Central catadioptric cameras 由一个相机 mirror 构建，相机和 mirror 的距离需要选择合适。Baker and Nayar 6 证明了满足 single viewpoint property 的 mirrors 具有什么数学形式， the class of rotated (swept) conic sections, that is, hyperbolic, parabolic, and elliptical mirrors
为什么 single effective viewpoint 是如此的重要了？ 1）it allows the user to generate geometrically correct perspective images from the pictures captured by the omnidirectional camera，When the geometry of the omnidirectional camera is known, that is, when the
camera is calibrated, one can precompute this direction for each pixel. 2）Epipolar geometry holds for any central camera, both perspective and omnidirectional，这样就可以应用 Epipolar geometry 相关知识到广角相机的图像中了。
0.2 Omnidirectional camera model and calibration
omnidirectional camera 的建模要比标准的 perspective camera 复杂一些。因为在建模的时候需要考虑： catadioptric camera中的 mirror 反射 或者 fisheye camera 中的 镜头折射问题
the reflection operated by the mirror in the case of a catadioptric camera or the refraction caused by the lens in the case of a fisheye camera
这里我们介绍 omnidirectional vision and robotics 中标准的两个不同投影模型，这两个模型其对应的 Matlab toolboxes 可以直接下载应用，所以被广泛使用。
第一个模型就是 the unified projection model for central catadioptric cameras， Geyer and Daniilidis 7 在2000年提出的，Barreto and Araujo 8后来优化了一下。这个模型包括了 catadioptric cameras相机中三类 mirror: cameras using a hyperbolic, parabolic, or elliptical mirror. 这个模型是专门针对 central catadioptric cameras 的，不实用于 fisheye cameras。在文献9中分析了使用该模型近似分析鱼眼镜头，精度有限。
第二个模型是 unifies both central catadioptric cameras and fisheye cameras under a general model also known as Taylor model，由 Scaramuzza et al. 10,11于2006年提出，优势就是使用一个模型（ a Taylor polynomial）分析 catadioptric and dioptric cameras
0.3 Unified model for central catadioptric cameras
Geyer and Daniilidis 在 2000年那篇经典文献指出：任意的 catadioptric (parabolic, hyperbolic, elliptical) 和标准的 perspective
projection 都等同于一个 projective mapping ，该映射将 位于 single viewpoint 一个球上的点 投影到 一个平面内，该平面的 the projection center on the perpendicular to the plane and distant ǫ from the center of the sphere
scene point 和 image point 的投影关系如下：
the camera and mirror reference frames differ only by a translation along z 相机坐标系和 mirror 坐标系
1）投影的第一步是将 scene point 投影到 the unit sphere
2）将投影点的坐标变换到一个新坐标系下表示，新坐标系的原点位于
新坐标为
注意这个新坐标系原点的位置不同，对应的mirror（ 曲线反射面）类型会不一样。
3）接着将点 投影到 normalized image plane
4）最后通过相机内参数矩阵 K 将点投影到相机图像坐标系
function g −1 is bijective and that its inverse g is given by
上面的映射是将 成像平面上的点映射到 the unit vector Ps in the mirror reference frame
方程（6）可以通过反转方程（3）得到，满足约束： Ps 在单位球上。
方程（6）是 central catadioptric cameras 投影模型的核心。It expresses the relation between the point m on the normalized
image plane and the unit vector Ps in the mirror reference frame.
这个模型可以准确用于描述 all central catadioptric cameras (parabolic, hyperbolic, and elliptical mirror) and standard perspective cameras. 将该模型用于鱼眼相机存在精度有限的问题。为了克服这个问题，一个新的统一模型被提出来。
0.4 Unified model for catadioptric and fisheye cameras
该模型 Scaramuzza et al. in 2006 提出来的。它与上面的模型主要区别在于 函数 g 的选择。为了克服针对鱼眼相机参数模型的知识缺乏。作者提出使用 Taylor polynomial， the relation between the normalized image point ˜ m = (x m ,y m ,1) and the unit vector P s in the fisheye (mirror) reference frame can be written as:
0.5 Omnidirectional camera calibration
这里主要介绍三个 开源的 Matlab 标定程序，which differ mainly for the projection model adopted and the
type of calibration pattern：
1） The toolbox of Mei 使用棋盘格图像标定，使用 Geyer and Daniilidis 的投影模型，该工具箱特征适用于 catadioptric cameras using hyperbolic, parabolic, folded mirrors, and spherical mirrors
2） The toolbox of Barreto 使用直线图像标定，没有使用棋盘格，它也使用 Geyer and Daniilidis 的投影模型，该工具箱特别适用于 parabolic mirrors
3） the toolbox of Scaramuzza 使用棋盘格图像标定，它使用 the unified Taylor model for catadioptric and fisheye cameras，该工具箱适用于 catadioptric cameras using hyperbolic, parabolic, folded mirrors, spherical,and elliptical mirrors. 此外它还使用于市面上大多数鱼眼相机， it works with a wide range of fisheye lenses available on the market — such as Nikon, Sigma, Omnitech-Robotics, and many others — with field of view up to 195 degrees
Application 应用
11
