【Matlab】基于特征的全景图像拼接（计算机视觉工具箱）

2024-07-24 14:47:58 浏览数 (2)

示例运行

该示例是基于特征的图像配准技术自动创建全景图（图像拼接）。

1.加载图像

此示例中使用的图像集包含建筑物的图片。这些都是用未经校准的智能手机相机拍摄的，方法是沿着地平线从左到右扫描相机，捕获建筑物的所有部分。

代码语言：javascript复制
% Load images. 加载示例图像
buildingDir = fullfile(toolboxdir('vision'),'visiondata','building');
buildingScene = imageDatastore(buildingDir);

% Display images to be stitched. 图片组合在一起显示
montage(buildingScene.Files)

展示图像如下：

2.注册图像对

要创建全景图，请首先使用以下步骤注册连续的图像对：

  1. 检测和匹配I（n)和I（n−1)之间的特征；
  2. 估计几何变换T（n)，即图像I（n)到I（n−1)；
  3. 计算映射的转换I（n)进入全景图像作为T（n）*T（n-1）……*T(1)。
代码语言：javascript复制
% Read the first image from the image set. 读取第一张图片
I = readimage(buildingScene,1);

% Initialize features for I(1) 初始化特征
grayImage = im2gray(I);
points = detectSURFFeatures(grayImage);
[features, points] = extractFeatures(grayImage,points);

% Initialize all the transformations to the identity matrix. Note that the
% projective transformation is used here because the building images are fairly
% close to the camera. For scenes captured from a further distance, you can use
% affine transformations. 初始化所有单位矩阵的变换。
numImages = numel(buildingScene.Files);
tforms(numImages) = projtform2d;

% Initialize variable to hold image sizes. 初始化变量以保存图像大小
imageSize = zeros(numImages,2);

% Iterate over remaining image pairs 迭代剩余的图像对
for n = 2:numImages
    % Store points and features for I(n-1).
    pointsPrevious = points;
    featuresPrevious = features;
        
    % Read I(n).
    I = readimage(buildingScene, n);
    
    % Convert image to grayscale.
    grayImage = im2gray(I);    
    
    % Save image size.
    imageSize(n,:) = size(grayImage);
    
    % Detect and extract SURF features for I(n).
    points = detectSURFFeatures(grayImage);    
    [features, points] = extractFeatures(grayImage, points);
  
    % Find correspondences between I(n) and I(n-1).
    indexPairs = matchFeatures(features, featuresPrevious, 'Unique', true);
       
    matchedPoints = points(indexPairs(:,1), :);
    matchedPointsPrev = pointsPrevious(indexPairs(:,2), :);        
    
    % Estimate the transformation between I(n) and I(n-1).
    tforms(n) = estgeotform2d(matchedPoints, matchedPointsPrev,...
        'projective', 'Confidence', 99.9, 'MaxNumTrials', 2000);
    
    % Compute T(1) * T(2) * ... * T(n-1) * T(n).
    tforms(n).A = tforms(n-1).A * tforms(n).A; 
end

此时，所有转换都相对于第一个图像。这是一种对图像配准过程进行编码的便捷方法，因为它允许对所有图像进行顺序处理。但是，使用第一个图像作为全景图的开始并不能产生最美观的全景图，因为它往往会扭曲构成全景图的大多数图像。通过修改变换，使场景中心失真最小，可以创建更好的全景图。

首先使用 projtform2d 方法来查找每个转换的输出限制。然后，输出限制用于自动查找大致位于场景中心的图像。

代码语言：javascript复制
% Compute the output limits for each transformation.
for i = 1:numel(tforms)           
    [xlim(i,:), ylim(i,:)] = outputLimits(tforms(i), [1 imageSize(i,2)], [1 imageSize(i,1)]);    
end

接下来，计算每次变换的平均 X 限制，并找到位于中心的图像。此处仅使用 X 限制，因为已知场景是水平的。如果使用另一组图像，则可能需要同时使用 X 和 Y 限制来查找中心图像。

代码语言：javascript复制
avgXLim = mean(xlim, 2);
[~,idx] = sort(avgXLim);
centerIdx = floor((numel(tforms) 1)/2);
centerImageIdx = idx(centerIdx);

最后，将中心图像的反变换应用于所有其他图像。

代码语言：javascript复制
Tinv = invert(tforms(centerImageIdx));
for i = 1:numel(tforms)    
    tforms(i).A = Tinv.A * tforms(i).A;
end
3.初始化全景图

现在，创建一个初始的空全景图，所有图像都映射到其中。

使用该方法计算所有转换的最小和最大输出限制。这些值用于自动计算全景图的大小。outputLimits

代码语言：javascript复制
for i = 1:numel(tforms)           
    [xlim(i,:), ylim(i,:)] = outputLimits(tforms(i), [1 imageSize(i,2)], [1 imageSize(i,1)]);
end

maxImageSize = max(imageSize);

% Find the minimum and maximum output limits. 
xMin = min([1; xlim(:)]);
xMax = max([maxImageSize(2); xlim(:)]);

yMin = min([1; ylim(:)]);
yMax = max([maxImageSize(1); ylim(:)]);

% Width and height of panorama.
width  = round(xMax - xMin);
height = round(yMax - yMin);

% Initialize the "empty" panorama.
panorama = zeros([height width 3], 'like', I);
4.创建全景图

使用 imwarp 将图像映射到全景图并使用vision、AlphaBlender将图像叠加在一起。

代码语言：javascript复制
blender = vision.AlphaBlender('Operation', 'Binary mask', ...
    'MaskSource', 'Input port');  

% Create a 2-D spatial reference object defining the size of the panorama.
xLimits = [xMin xMax];
yLimits = [yMin yMax];
panoramaView = imref2d([height width], xLimits, yLimits);

% Create the panorama.
for i = 1:numImages
    
    I = readimage(buildingScene, i);   
   
    % Transform I into the panorama.
    warpedImage = imwarp(I, tforms(i), 'OutputView', panoramaView);
                  
    % Generate a binary mask.    
    mask = imwarp(true(size(I,1),size(I,2)), tforms(i), 'OutputView', panoramaView);
    
    % Overlay the warpedImage onto the panorama.
    panorama = step(blender, panorama, warpedImage, mask);
end

figure
imshow(panorama)

运行后全景图如下：

自定义拼接

了解了示例后，我自己用摄像头拍了3张照片，并改变文件读取路径（了解fullfile使用）：

代码语言：javascript复制
buildingDir = fullfile('C:UsersadminDocumentsMATLABExamplesvisionFeatureBasedPanoramicImageStitchingExample');

3张照片读取如下：

其他地方都不用改动，运行后出现全景图如下：

以上。

matlab 变量 编码 计算机视觉 摄像头

0 人点赞