HALCON多目立体视觉算子详解

下载需积分: 9 | PDF格式 | 2.88MB | 更新于2024-07-08 | 136 浏览量 | 举报

"HALCON多目立体视觉算子用于实现复杂的图像处理任务，特别是3D测量和重建。这些算子在多个视角（多目）的情况下工作，以创建深度信息和三维模型。" 立体视觉是计算机视觉领域的一个关键部分，它通过分析不同视角的两幅或多幅图像来获取场景的三维信息。HALCON中的多目立体视觉算子提供了全面的工具集，以处理这类任务。以下是这些算子的详细介绍： 1. **clear_stereo_model**: 这个算子用于清除之前建立的立体模型，释放内存并准备创建新的模型。 2. **create_stereo_model**: 创建一个立体模型，这是进行3D重建的基础。这个算子需要输入图像对和相应的参数。 3. **get_stereo_model_image_pairs**: 获取已建立的立体模型中的图像对信息，这对于检查或验证模型的构建过程很有用。 4. **get_stereo_model_object**: 从立体模型中提取特定的对象信息，这可能包括对象的2D边界框或特征点。 5. **get_stereo_model_object_model_3d**: 提取立体模型中对象的3D模型数据，这些数据可以用于后续的3D处理和分析。 6. **get_stereo_model_param**: 获取当前立体模型的参数设置，如匹配策略、不匹配成本等，这些参数直接影响到3D重建的质量。 7. **reconstruct_points_stereo**: 通过匹配的像素对从立体图像中重建出3D点云，这是立体视觉的核心步骤。 8. **reconstruct_surface_stereo**: 从3D点云生成表面模型，这有助于理解物体的形状和结构。 9. **set_stereo_model_image_pairs**: 设置或更新立体模型的图像对，可以用于调整或优化模型的构建。 10. **set_stereo_model_param**: 修改立体模型的参数，以适应不同的应用场景或改善重建效果。 11. **disp_object_model_3d**: 显示3D对象模型，帮助用户可视化重建结果。 12. **visualize_object_model_3d**: 提供更高级的3D模型可视化功能，如光照和颜色处理，便于理解模型细节。 13. **estimate_bounding_box_3d_reconstruction**: 估计3D重建对象的包围盒，这在目标定位和碰撞检测等应用中很重要。 14. **gen_camera_setup_object_model_3d**: 生成相机设置与3D对象模型的关系，用于理解和校正相机的几何特性。 15. **gen_bounding_box_object_model_3d**: 生成3D对象模型的边界框，简化模型的处理和存储。此外，还有针对双目（binocular）立体视觉的算子，如**binocular_disparity**系列，用于计算两幅图像间的视差图，以及**binocular_calibration**，用于双目相机的校准。校准是立体视觉中至关重要的一步，确保相机间的相对位置和参数准确无误。HALCON还提供了**find_calib_object**和**calibrate_cameras**等用于多视图校准的算子，确保在多摄像头系统中获得一致的3D重建结果。通过这些算子，HALCON为开发者提供了强大的工具，能够处理复杂的3D视觉任务，应用于自动化、机器人导航、工业检测等多个领域。正确理解和有效利用这些算子，能大幅提升立体视觉系统的性能和精度。

3D Metrology 多目立体视觉算子 2015132021

通过激活参数’point_meshing’为’isosurface’。在距离函数等于 0 的地方，想要的剖分模型被提取为

等值面。注意如果等值面的剖分被使能，在 ObjectModel3D 中即会有有更多的点，即使使用的’resolution’

是相同的。

Coloring the 3D object model（彩色化三维物体模型）

对于 reconstruct_surface_stereo 重建的三维物体模型，利用输入图像，可以为其添加颜色信息。颜

色的计算依赖于 set_stereo_model_param 中设置的选择的方法。每一个 3D 点被分配的 3D 的颜色信息由

红绿蓝三通道组成，其中分别在输出的 3D 物体模型中以属性名称’red’,’green’ and ’blue’存储。

这些属性，例如可以被使用，通过在在算子 visualize_object_model_3d 中设置参数 GenParamName

为 ’red_channel_attrib’,’green_channel_attrib’ and ’blue_channel_attrib’实现。他们可以

被获取通过调用算子 get_object_model_3d_params或者被处理利用算子 select_points_object_model_3d

或其他使用外部属性的算子。如果使用灰度图像进行重建，颜色信息的三个通道是相同的。如果使用多通

道的图像，则仅使用第一个通道实行重建。余下的通道仅被留下来计算颜色值。

如果使用’surface_fusion’类型的立体模型，重建将会包含和图像中点没有直接相关的点。这些点

没有被任何立体视觉模型中的相机拍摄到，且因此是不可见的。这些点的颜色信息通过为其分配邻近的可

见点信息导出。通常，最邻近的搜索并不非常耗时，且可以保持活跃。然而，可能会发生参数’resolution’

被认为比可用的图像分标率更好。在这种情况下，许多不可见的 3D 点被重建使最邻近的邻域搜索非常耗

时。为了避免增加运行时间，建议调整参数’resolution’或关掉不可见点的计算。这可以通过调用算子

set_stereo_model_param 的参数 GenParamName 为 GenParamName=’color_invisible’ and

GenParamValue= ’false’。在这种情况下，不可见点灰度值为 255.

Troubleshooting for the configuration of a stereo model（为配置立体视觉模型排错）

对立体模型进行合适的配置通常并不是简单的。请遵循上述工作流程。如果重建结果不满意，考虑一

下提示和想法：

Run in persistence mode

如果通过使能’persistence’模型(call set_stereo_model_param with

GenParamName=’persistence’)，算子 reconstruct_surface_stereo 的调用将会存储中间的图形结果，

图形结果中将会存储额外的信息。这些信息可以被获取通过调用 get_stereo_model_object_model_3d 和

get_stereo_model_object。

Check the quality of the calibration 检测标定质量

（1）如果相机设置通过算子 calibrate_cameras 获取，其以相机内参标准差的形式存储了相机标

定的质量信息。这些信息之后及被带入相机设置模型及立体模型。其可以通过下述方式首先查

询：首先，，调用算子 get_stereo_model_param ，并将参数设置为

GenParamName=’camera_setup_model’，之后通过调用算子 get_camera_setup_param，并将

参数设置为 GenParamName=’params_deviations’观测相机参数的标准差。通常大的标准差

的值可能表明了一个坏的相机标定。

（2）设置’persistence’模型后，建议观测每一个图像对的校正图像。校正图像通过调用算子

get_stereo_model_object，且其参数设置分别为：PairIndex 中指出感兴趣的图像对，及

ObjectName 中设置参数值为’from_image_rect’ and ’to_image_rect’。如果这些图像被

恰当的校正，所有相关的图像特征必需显示在两个校正图像的同一行。几行的相差是错误相机

标定的严重迹象。

Inspect the used bounding box 检测使用的矩形框

确认 bounding box 紧密围绕感兴趣的体积区

域。为计算 MinDisparity and MaxDisparity，其使用 bounding box 的投影到图像对的图像中，反过来，

其被用到内部调用的算子 binocular_disparity and binocular_disparity_ms 中。这些值可调用算子

get_stereo_model_param 查询。使用 binocular_disparity_mg 作为求视差方法时，参数 InitialGuessand

和 InitialLevel 的设置值有上述提到的参数导出。然而，这些值也可以使用算子 set_stereo_model_param

进行重设。

Improve the quality of the disparity images 提高视差图质量

设置立体模型为’persistence’

模式后，观测每一个图像对的视差图和分数图。他们可以通过调用算子 get_stereo_model_object，并分

3D Metrology 多目立体视觉算子 2015132021

别的将参数 PairIndex 设定为感兴趣的相机指数的图像对[From, To]，及参数 ObjectName 设置为’

disparity_image’ and ’score_image’。如果两个图像显示明显缺陷（比如，视差图和图像中物体的图

像不像），尝试通过调用算子 set_stereo_model_param 调整在内部调用的算子 binocular_disparity 的

参数（参数’binocular_’ prefix）直至获取了一些改善。

或者，可以使用不同的方法计算视差图。除了上述提供的在内部调用算子 binocular_disparity，

HALCON 也提供了其他两种方法 binocular_disparity_mg and binocular_disparity_ms。这些方法的特征：

例如，和互相关方法比较，充足的时间在纹理少的区域视差图的计算。然而，对于这些方法，将这些参数

调整为相关的数据集也是必要的。根据选择的方法，可以设置参数 ’ binocular_mg_’ or

a ’binocular_ms_’ prefix 直至结果获得了改善。

Fusion parameters 融合参数

如果正如 get_stereo_model_object_model_3d 观测的 pairwise 重建

结果不能被改善，开始调整融合参数。具体描述看算子 set_stereo_model_param。注意，pairwise 重建结

果有时是不明显的，当融合算法仍能将模型调整为更明显的时候。在任何情况下，pairwise 重建应该能产

生足够的点做为 fusion 算法的输入。

Runtime 运行时间

为改善运行时间，考虑以下几点：

Extent of the bounding box 矩形框范围

矩形框应该紧密围绕感兴趣的体积。否则，运行时间会不

必要的增加，对于’surface_fusion’运行时间会更大。

Sub-sampling in the rectification step 校正步骤的二次采样

立体模型参数 ’

rectif_sub_sampling’控制校正步骤的二次采样。设置该参数大于 1.0，和原始图像比，将降低校正图像

的精度。该因子直接影响后续选择的求视差方法的性能，但是其会导致丢失图像细节。参数 ’

rectif_interpolation’也应该还有一些其他影响，但通常不是最有意义的一个。

Disparity parameters 视差参数

pairwise 表面重建方法的完整性和重建时间之间有一个权衡。立

体模型提供了三种不同的方法来计算视差图。根据选择的方法，立体模型提供了各自的参数设置，这些参

数设置对方法使用的数据集进行准确的调整。如果选择 binocular_disparity 方法，只有’binocular_’

prefix 类型参数可以被设置，对于 binocular_disparity_mg 类型方法，只有’binocular_mg_’类型参数

可以被设置，对于方法 binocular_disparity_ms，只有带有’binocular_ms_’的参数被设置。

binocular_disparity 参数

NumLevels,MaskWidth,MaskHeight, Filter,SubDisparity binocular_disparity 中的这些参数

中的每一个参数都有一个前缀是’binocular_’的立体模型参数，他们或多或少都会对算子性能有影响。

恰当的调整这些参数将改善算子性能。

binocular_disparity_mg 参数

GrayConstancy, GradientConstancy, Smoothness, InitialGuess, MGSolver, MGCycleType,

MGPreRelax 每一个 binocular_disparity_mg 算子中的这些参数均有前缀’binocular_mg_’，且对性能

会有或多或少的一些影响。恰当的调整他们将改善算子性能。

binocular_disparity_ms 参数

SurfaceSmoothing, EdgeSmoothing, ConsistencyCheck, SimilarityMeasure, SubDisparity

每一个 binocular_disparity_ms 算子中的这些参数均有前缀’binocular_ms_’，且对性能会有或多

或少的一些影响。恰当的调整他们将改善算子性能。

Reconstruct only points with high disparity score 以高视差分数仅重建点

除了调整二次抽样，

也可以根据计算的视差分数排除三维重建的点。为此，需要首先获取视差值中的分数图，其中该分数图可

通过调用参数设置为 GenParamName = ’score_image’的算子 get_stereo_model_object 获取。根据这些

值的分布，可以确定分数在某一个确定的阈值之下的视差可以从重建中排除。这可以通过调用参数设置为

GenParamName= ’binocular_score_thresh’的算子 set_stereo_model_param 实现。由于不需要处理整

个数据集，排除点的优点是可以轻微加速重建过程。作为上述提到的程序的另一种选择，也可以在执行

reconstruct_surface_stereo 后，通过对重建后的 3D 点进行滤波的方法排除点。这种方法的优点是，相

对于轻微增加的运行时间，没有必要第二次调用 reconstruct_surface_stereo。

3D Metrology 多目立体视觉算子 2015132021

Sub-sampling of X,Y,Z data X,Y,Z 数据的二次采样

对于’surface_pairwise’方法，可以通过在

重建算法的最后一步调用参数设置为 GenParamName=’sub_sampling_step’ 的算子

set_stereo_model_param.对 X,Y,Z 数据进行更大的二次抽样。

Fusion parameters 融合参数

对于方法’surface_fusion’，增大参数’resolution’将会相当程

度的加快运行时间。

注意，如果 3D 物体模型不再需要或需要被重写，需首先调用算子 clear_object_model_3d 释放模型。

参数：

Images (input_object) . . . . . . . . . . . . . . . . singlechannelimage-array ;object : byte

立体视觉模型中通过相机获取的作为输入的图像数组

StereoModelID(input_control) . . . . . . . . . . . . . .. . . . . . .. .stereo_model integer

立体模型句柄

ObjectModel3D(output_control) . . . . . . . . . . . . . . . ... . . object_model_3d integer

结果模型句柄

set_stereo_model_image_pairs ( : : StereoModelID, From, To : )

指定表面立体重建使用的图像对

算子 set_stereo_model_image_pairs 存储了一系列图像对，用于 ’ surface_pairwise’

or ’surface_fusion’方法的立体视觉模型 StereoModelID。为其他类型立体模型调用该算子会导致错

误。对于’surface_pairwise’ or ’surface_fusion’方法的立体视觉模型，通过计算图像对的视差图，

表面被重建。通过将相机指数数组传递给参数 From and To 来指定这些图像对。之后，例如相机指数 From[0]

及 To[0]等指出的图像对的视差被计算。

相机指数对于分配给立体模型的相机设置模型必须是有效的，否则将返回一个错误。如果一个图像对

已经被设置，则其将被当前设置的图像对替代。

除了存储一系列图像对之外，算子 set_stereo_model_image_pairs 为每一对图像准备了一对校正图

像映射，这些映射在之后的 reconstruct_surface_stereo 调用中再次被使用来校正图像为标准的双目立

体视觉图像对；详细信息看算子 gen_binocular_rectification_map，gen_binocular_rectification_map

中的两个参数作为立体模型参数的输出，且可以通过算子 set_stereo_model_param 修改或仅通过算子

get_stereo_model_param 进行观测：

’rectif_interpolation’: 参数 Interpolation 中表示的插值模式。

’rectif_sub_sampling’:参数 sub-sampling 中表示的二次抽样算子。

注意改变这些参数之后，必须再次调用算子 set_stereo_model_image_pairs 以使改变的参数有效。

当前的图像对清单可以通过算子 get_stereo_model_image_pairs 获取。

参数：

StereoModelID(input_control) . . . . . . . . . . . . . . . . . . . . . stereo_model ; integer

立体模型句柄.

From(input_control) . . . .. . . . . . . . . . . . . . . . . . . . . . integer-array ; integer

图像对中的起始指数.

元素数量: From > 0

To(input_control) . . . . . . . . . . . . . . . . . . . . . . . . . . integer-array ; integer

图像对中终止指数.

原色数量: To == From

set_stereo_model_param ( : : StereoModelID, GenParamName,GenParamValue : )

设置立体模型参数

3D Metrology 多目立体视觉算子 2015132021

算子 set_stereo_model_param 可用来设置立体模型 StereoModelID 中的各种参数。根据算子

create_stereo_model 中创建的立体模型的类型，几种不同类型的参数可以被设置。注意，对于’points_3d’

类型立体模型的参数，没有提供特定的参数。

General parameters 通用参数:

通过设置 GenParamName 为下述值，通用立体模型参数值可以在参数 GenParamValue 中设置：

（1） ’ bounding_box’: 数组[x1,y1,z1,x2,y2,z2] 指定了一个用于重建的边界框，其中点

P1=[x1,y1,z1]和点 P2=[x2,y2,z2]指出了边界框两个相对的点。bounding box 在立体重建中使用

的相机设置模型指定的（create_stereo_model 算子中设置的 CameraSetupModelID）坐标系中定义

了一个空间。重建算法之后将重建解雇缩减为矩形框中的区域。

此外，对于成对的视差估计，reconstruct_surface_stereo 需要一个有效的有效的边界框来估算

最大和最小视差参数。

注意，当每次 bounding box 被重新设置时，对于表面融合的参数每次都被重新设置为默认参

数。

可以使用算子 estimate_bounding_box_3d_reconstruction 获取 3D 重建需要的边界框的初始

值。该边界框是基于指定的标定板的位姿及相机的锥形视线。之后，边界框应该尽可能紧的围绕要

重建的物体周围。

此外，算子 gen_bounding_box_object_model_3d and gen_camera_setup_object_model_3d 可

被用来观测你的相机设置。

对于一个有效的边界框，P1 必须是前方左下角的点，P2 在边界框的后面的右上角，及 x1<x2,

y1<y2 and z1<z2。而在无效边界框的情况下，重建将会终止，3D 点的重建算法将会简单的忽略它，

并重建所有其可以重建的 3D 点，不对 3D 点进行裁剪。因此，通过设置数组[0,0,0,0,0,-1]关闭

3D 点重建结果的裁剪。

注意由于 ’bounding_box’是数组参数，其不能与其他参数一起通过单一的调用算子

set_stereo_model_param 设置（看下述段落"A note on tuple-valued model parameters"“数组

型模型参数注意事项”）。

为了更容易的指定 bounding box，可使用算子 gen_bounding_box_object_model_3d 及算子

gen_camera_setup_object_model_3d。因此，你可以观测相机设置模型以及，例如，初始调整边界

框，这样，其只覆盖各相机锥形视线重合部分的区域。之后，边界框应该被设置为尽量紧密的围绕

要重建的物体。

Tuple format 数组形式: [x1,y1,z1,x2,y2,z2]

（2） ’ persistence’: 使能 (GenParamValue=1) or 使失效 (GenParamValue=0) 立体模型

的 ’persistence’ 模式。当在 persistence 模式下，模型将存储重建的中间结果（仅对于

reconstruct_surface_ stereo），这些中间结果之后可以通过算子 get_stereo_model_object

and get_stereo_model_object_model_3d 获取。

注意，在这种模式下，模型可能需要很大的存储空间。这将会使重建算法性能变差，甚至导致运行

内存不足，尤其是对于多相机或大图像的过程。因此，我们建议使能这种模型仅用于基于小数据集

的重建的观测和排错。

List of values: 0 (default), 1

Parameters for the surface reconstruction using ’surface_pairwise’ or ’surface_fusion’:

（’surface_pairwise’ or ’surface_fusion’方法的重建参数）

通过将 GenParamName 设置为以下值，对于立体模型类型’surface_pairwise’ or ’surface_fusion’，

可以为表面重建设置额外的参数值在 GenParamValue 中。

（1） ’color’：通过设置参数为下述值，重建的 3D 物体模型的颜色信息被使能或使失效（’none’）。

关于怎样获取结果的颜色信息，看算子 reconstruct_surface_stereo。

’median’ 3D 点的颜色信息是可见的 3D 点处所有相机颜色值的中值。

’smallest_distance’ 3D 点的颜色信息对应于显示到该 3D 点距离最小点的相机的颜色信息。

剩余71页未读，继续阅读

Abe*

粉丝: 4

HALCON多目立体视觉算子详解

HALCON三维入门：算子讲解与常规操作

HALCON实现双目立体视觉系统关键技术解析

Halcon 3D视觉处理算子与例程全面分享

如何使用HALCON的多目立体视觉算子来精确重建3D物体模型？请提供详细的实现步骤。

如何在HALCON中使用多目立体视觉算子进行3D重建？请详细说明整个流程。

在HALCON中实现3D重建的详细步骤是什么？如何利用多目立体视觉算子获取物体的三维模型？

所有算子_halcon算子大全_HALCON视觉_机器视觉_halcon_

基于HALCON的双目立体视觉系统实现 20181126

HALCON算子手册（算子速查与详解）.docx

Halcon算子

最新资源