PCLVisualizer可视化类是PCL中功能最全的可视化类,与CloudViewer可视化类相比,PCLVisualizer使用起来更为复杂,但该类具有更全面的功能,如显示法线、绘制多种形状和多个视口。本小节将通过示例代码演示PCLVisualizer可视化类的功能,从显示单个点云开始。大多数示例代码都是用于创建点云并可视化其某些特征。
代码
首先,在PCL(Point Cloud Learning)中国协助发行的书提供光盘的第7章例3文件夹中,打开名为pcl_visualizer_demo.cpp的代码文件。


编译并运行程序
利用光盘提供的CMakeLists.txt文件,在cmake中建立工程文件,并生成相应的可执行文件,生成执行文件后,就可以运行了,在cmd中键入命令:


..>pcl_visualizer_demo.exe -h

上面命令可以在标准输出设备上打印出帮助信息,提示用户测试哪种可视化试验,通过改变选项改变所运行的不同可视化特征实例,如果需要更详细的细节信息,命令为打印帮助文档,按q键,退出视窗应用程序,按r键,居中并缩放以可见整个点云,使用鼠标,通过点击和拖动旋转视窗,使用鼠标滚轮,或右键单击并上下拖动,实现放大和缩小,滚轮点击或拖动,将会移动视窗。


可视化单个点云
该示例应用PCLVisualizer可视化类显示单个具有XYZ信息的点云,如图1所示,该程序也实现了改变背景颜色和显示坐标轴的功能,代码在simpleVis函数中。
simpleVis函数实现最基本的点云可视化操作,下面我们逐行解析该程序。


boost::shared_ptr<pcl::visualization::PCLVisualizer> viewer(new pcl::visualization::PCLVisualizer (“3D Viewer”));

创建视窗对象,并给标题栏定义一个名称”3D Viewer”,我们将它定义为boost::shared_ptr智能共享指针,这样可以保证该指针在整个程序全局使用,而不引起内存错误,通常情况下,用户不需要这样做。


viewer->setBackgroundColor (0, 0, 0);

视窗的背景色可以设为用户喜欢的任意RGB颜色,本例中,我们将它设置为黑色。


viewer->addPointCloud<pcl::PointXYZ> (cloud, “sample cloud”);

这是最重要的一行,我们将点云添加到视窗对象中,并定义一个唯一的字符串作为ID号,利用此字符串保证在其他成员方法中也能标识引用该点云,多次调用addPointCloud(),可以实现多个点云的添加,每调用一次就创建一个新的ID号,如果想更新一个已经显示的点云,用户必须先调用removePointCloud(),并提供需要更新的点云的ID号。(注:PCL 的1.1及以上版本提供一个新的API,updatePointCloud(),通过该接口,不必手动调用removePointCloud(),就可实现点云的更新)。这是addPointCloud()函数诸多重载函数中最基本的一种,其他类型的函数用于处理不同类型的点云、显示法线等。在本教程中,我们会讲解其他函数,或者用户也可通过PCLVisualizer API手册查看更详细的说明。


viewer->setPointCloudRenderingProperties (pcl::visualization::PCL_VISUALIZER_POINT_SIZE, 1, “sample cloud”);

下面的命令行用于改变显示点云的尺寸。用户可以利用该方法控制点云在视窗中的显示方式。


viewer->addCoordinateSystem (1.0);

查看复杂的点云经常会让用户感到没方向感,为了让用户保持正确的坐标判断,需要显示坐标系统方向,可以通过使用X (红色)、Y (绿色) 、Z (蓝色)圆柱体代表坐标轴的显示方式来解决,圆柱体的大小通过scale参数控制。本例中,我们将scale参数设置为1.0,该值也为缺省值,该方法的另一重载函数可实现对点云中的每个点的坐标方向进行显示。


viewer->initCameraParameters ();

最后的调用通过设置相机参数使用户从默认的角度和方向观察点云。
对于所有示例来说,还有一段最后的代码,都在每个示例的末尾:


while (!viewer->wasStopped ())
{
viewer->spinOnce (100);
boost::this_thread::sleep (boost::posix_time::microseconds (100000));
}

上面几行代码在执行一个while循环,每次调用spinOnce都给视窗处理事件的时间,这样允许鼠标键盘等交互操作,此外还有一种spin的重载方法,它只需调用一次。


可视化点云颜色特征
多数情况下,点云显示不采用简单的XYZ类型,常用的点云类型是XYZRGB点,也包含颜色数据,除此之外,用户还希望给指定点云定制颜色,以使点云在视窗中比较容易区分,如图1所示,点赋予不同的颜色表征其对应的z轴值不同。PCLVizualizer可根据所存储的颜色数据为点云赋色,或者按照用户自定义的颜色为点云着色。许多设备,比如微软Kinect,可获取带有RGB数据的点云,PCLVizualizer可视化类可使用这种颜色数据为点云着色,rgbVis函数中的代码用于完成这种操作。
在这里插入图片描述 图1 可视化带颜色信息的点云
与前面的代码相比,这个代码没有太大的改变。


boost::shared_ptr<pcl::visualization::PCLVisualizer> rgbVis (pcl::PointCloud<pcl::PointXYZRGB>::ConstPtr cloud)

首先,与前面简单示例相比点云类型发生了变化,这里使用的点云带有RGB数据的属性字段,这是比较关键的一点,没有RGB字段的点云(点云的类型不一定必须只限定为点类型PointXYZRGB,只要包括三个颜色分量即可),PCLVisualizer类将不知道该为点云着什么颜色。


pcl::visualization::PointCloudColorHandlerRGB<pcl::PointXYZRGB> rgb(point_cloud_ptr);

其次,设置窗口的背景颜色后,我们创建一个颜色处理对象PointCloudColorHandlerRGB,PCLVisualizer类利用这样的对象显示自定义颜色数据,在这个示例中,PointCloudColorHandlerRGB对象得到每个点云的RGB颜色字段,其他的类似于PointCloudColorHandlerRGB对象有多种应用,在下一个示例中我们将学习另一种着色方法,但是这个处理也可用于其他操作,比如由其他字段映射出来的颜色、或者由几何特征映射出来的颜色,更详细的信息请参照API文档。


viewer->addPointCloud<pcl::PointXYZRGB> (cloud, rgb, “sample cloud”);

最后,当我们添加点云的时候,我们可以指定添加到视窗中点云的PointCloudColorHandlerRGB着色处理对象。


可视化点云自定义颜色特征
第三个示例函数是演示怎样给点云着上单独的一种颜色,我们可以利用该技术给指定的点云着色,以使所着色的点云区别与其他点云,如图2所示用户自定义所有点云颜色为绿色,在这个示例中,customColourVis函数中,我们将点云赋为绿色,在这里,我们也设置了较大的点云显示尺寸,以使点云及颜色更明显。
在这里插入图片描述 图2 单独一种颜色的点云


与前面情况相同,下面的这段示例代码跟上面那段示例代码没有太大改变。


boost::shared_ptr<pcl::visualization::PCLVisualizer> customColourVis (pcl::PointCloud<pcl::PointXYZ>::ConstPtr cloud)

这个示例中所用的点云类型是XYZ类型。在自定义着色处理对象PointCloudColorHandlerCustom中,没有那个点云字段用作颜色字段,不论所用的点云是什么类型,我们都可以为点云着自定义颜色。


pcl::visualization::PointCloudColorHandlerCustom<pcl::PointXYZ> single_color (cloud, 0, 255, 0);

所以,这里我们需要创建一个自定义颜色处理器PointCloudColorHandlerCustom对象,并设置颜色为纯绿色。


viewer->addPointCloud<pcl::PointXYZ> (cloud, single_color, “sample cloud”);

可视化点云法线和其他特征
显示法线是理解点云的一个重要步骤,点云法线特征是非常重要的基础特征,PCLVisualizer可视化类可用于绘制法线,也可绘制表征点云的其他特征,比如主曲率和几何特征。normalsVis函数中的示例代码演示了如何显示点云的法线,如图1所示。
在这里插入图片描述 图1 显示点云法线


下面的这行代码放在绘制点云的代码后面,即可实现对点云法线的显示。


viewer->addPointCloudNormals<pcl::PointXYZRGB, pcl::Normal> (cloud, normals, 10, 0.05, “normals”);

一旦用户计算得到法线,只需要另外一行程序在视窗中就可以显示这些法线,该显示法线成员方法的参数有法线显示的个数(这里,每十个点显示一个)及每个法线的长度(在这个例子中是0.05),当然用户可以自行调整为这些参数。
绘制普通形状


PCLVisualizer可视化类允许用户在视窗中绘制一般的图元,这个类常用于显示点云处理算法的可视化结果,例如,通过绘制可视化球体包围聚类得到的点云集以显示聚类结果。shapesVis函数的示例代码用于说明添加形状到视窗的实现方法。添加了四种形状:从点云中的第一个点到最后一个点之间的连线、原点所在平面、以点云中第一个点为中心的球体、沿y轴的锥体,如图2所示。
在这里插入图片描述绘制形状的示例代码,出现在将点云添加到视窗的示例代码之后。


viewer->addLine<pcl::PointXYZRGB> (cloud->points[0], cloud->points[cloud->size() - 1], “line”);

上面的这行代码用于添加从点云第一个点到最后一个点的连线,绘制点之间连线的方法十分有用,例如,显示两组点云之间的对应点关系时,可方便用户直观的观看点云之间的对应关系。在本例中,线用缺省颜色,用户也可根据自己的要求给线自定义颜色,从点云中一点与其他多个点连接,这种显示方式很常见,也可以绘制多种形状。


viewer->addSphere (cloud->points[0], 0.2, 0.5, 0.5, 0.0, “sphere”);

上面的这行代码用于添加以点云中第一个点为中心、半径为0.2的球体,同时也可为该球体自定义颜色。


pcl::ModelCoefficients coeffs;
coeffs.values.push_back(0.0);
coeffs.values.push_back(0.0);
coeffs.values.push_back(1.0);
coeffs.values.push_back(0.0);
viewer->addPlane (coeffs, “plane”);

上面几行代码,将添加绘制平面。在本例中,我们用标准的平面方程(ax + by + cz + d = 0)来定义平面,这个平面以原点为中心,方向沿Z方向,许多绘制形状的函数都采用这种定义系数的方法来定义形状。


coeffs.values.clear();
coeffs.values.push_back(0.3);
coeffs.values.push_back(0.3);
coeffs.values.push_back(0.0);
coeffs.values.push_back(0.0);
coeffs.values.push_back(1.0);
coeffs.values.push_back(0.0);
coeffs.values.push_back(5.0);
viewer->addCone (coeffs, “cone”);

最后,添加锥形,利用模型系数指定锥形的参数。


多视口显示
用户经常需要通过多视口比较点云,如果用户在同一个视口绘制点云,会导致信息混乱。PCLVisualizer可视化类允许用户通过不同视口(Viewport)绘制多个点云,这样方便对点云进行比较分析,viewportsVis函数的代码演示如何用多视口来显示点云计算法线的方法结果对比,如图1所示,并进行比较分析,利用不同的搜索半径,基于同一点云计算出对应不同半径的两组法线,第一组,搜索半径为0.05,基于该半径计算的法线用黑色背景显示,第二组,搜索半径为0.1,基于该半径计算的法线用灰色背景显示。这样比较两组法线,用户很容易观察到不同算法参数处理效果的差异,通过这种方法,用户可以很容易对算法参数做出选择,并实时的得到所设置参数的处理效果。
在这里插入图片描述


boost::shared_ptr<pcl::visualization::PCLVisualizer> viewer (new pcl::visualization::PCLVisualizer (“3D Viewer”));
viewer->initCameraParameters ();

上面是创建视窗对象的标准代码。


int v1(0);
viewer->createViewPort (0.0, 0.0, 0.5, 1.0, v1);
viewer->setBackgroundColor (0, 0, 0, v1);
viewer->addText (“Radius: 0.01”, 10, 10, “v1 text”, v1);
pcl::visualization::PointCloudColorHandlerRGBField<pcl::PointXYZRGB> rgb (cloud);
viewer->addPointCloud<pcl::PointXYZRGB> (cloud, rgb, “sample cloud1”, v1);

上面几行代码,创建新的视口,所需的四个参数是视口在X轴的最小值、最大值、Y轴的最小值、最大值,取值在0-1之间。我们创建的视口分布于窗口的左半部分,最后一个字符串参数,用来唯一标识该视口,在其他改变该视口内容的调用中,需要以该唯一标识为参数,我们还设置该视口的背景颜色,添加一个标签以区别于其他视口,利用RGB颜色着色器并添加点云到当前视口中。


int v2(0);
viewer->createViewPort (0.5, 0.0, 1.0, 1.0, v2);
viewer->setBackgroundColor (0.3, 0.3, 0.3, v2);
viewer->addText (“Radius: 0.1”, 10, 10, “v2 text”, v2);
pcl::visualization::PointCloudColorHandlerCustom<pcl::PointXYZRGB> single_color (cloud, 0, 255, 0);
viewer->addPointCloud<pcl::PointXYZRGB> (cloud, single_color, “sample cloud2”, v2);

然后,我们对第二视口做同样的操作,使所创建的视点分布于右半窗口。我们将该视口背景赋予灰色,以便可以明显区别,虽然添加了同样的点云,但这次给点云用自定义颜色着色。


viewer->setPointCloudRenderingProperties (pcl::visualization::PCL_VISUALIZER_POINT_SIZE, 3, “sample cloud1”);
viewer->setPointCloudRenderingProperties (pcl::visualization::PCL_VISUALIZER_POINT_SIZE, 3, “sample cloud2”);
viewer->addCoordinateSystem (1.0);


上面三行代码为所有视口设置属性,大多数PCLVisualizer类的方法成员都有一个可以选择的视口ID参数,当设置该参数时,该方法只作用于所设置视口,不设置该参数的话,该方法作用于所有视口,就像这三行代码一样。


viewer->addPointCloudNormals<pcl::PointXYZRGB, pcl::Normal> (cloud, normals1, 10, 0.05, “normals1”, v1);
viewer->addPointCloudNormals<pcl::PointXYZRGB, pcl::Normal> (cloud, normals2, 10, 0.05, “normals2”, v2);

最后,我们添加法线,每个视口都有一组对应的法线。


自定义交互
多数情况下,默认的鼠标和键盘交互设置不能满足用户的需求,用户想扩展函数的某些功能,比如,按下键盘时保存点云的信息或者通过鼠标确定点云的位置,关于这些操作的一个简单示例代码见interactionCustomizationVis函数。在本小节的这部分,用户可以看到如何扑捉鼠标和键盘事件,在窗口单击右键,将会显示一个2D的文本标签,如图1所示,用户可以通过按下‘r’键擦掉这些文本。
在这里插入图片描述


boost::shared_ptr<pcl::visualization::PCLVisualizer> viewer (new pcl::visualization::PCLVisualizer (“3D Viewer”));
viewer->initCameraParameters ();

上面是实例化视窗的标准代码。


viewer->registerKeyboardCallback (keyboardEventOccurred, (void_)&viewer);
viewer->registerMouseCallback (mouseEventOccurred, (void_)&viewer);

上面的两行代码分别注册响应键盘和鼠标事件的keyboardEventOccurred和mouseEventOccurred回调函数,第二个参数就是所谓的cookies,是回调时传递给回调函数的参数。可以传递任意参数给回调函数,在本例中,我们以视窗对象本身为参数传递给回调函数,目的是在用户交互时,调用回调函数需要改变视窗对象的内容,需要注意的是这些参数必须用单个void_的形式,所以我们需要将指针boost::shared_ptr强制转换为void_。


void mouseEventOccurred (const pcl::visualization::MouseEvent &event,
void_ viewer_void)
{
boost::shared_ptr<pcl::visualization::PCLVisualizer> viewer = _static_cast<boost::shared_ptr<pcl::visualization::PCLVisualizer> _> (viewer_void);
if (event.getButton () == pcl::visualization::MouseEvent::LeftButton && event.getType () == pcl::visualization::MouseEvent::MouseButtonRelease)
{
std::cout << “Left mouse button released at position (“ << event.getX () << “, “ << event.getY () << “)” << std::endl;
char str[512];

sprintf (str, “text#%03d”, text_id ++);
viewer->addText (“clicked here”, event.getX (), event.getY (), str);
}
}

这就是处理鼠标事件的函数,每次响应鼠标事件时,都会回调该函数。为了响应我们关心的事件,需要从event实例提取事件信息,在本例中,查找鼠标左键的释放事件,每次响应这种事件时,都会在鼠标按下的位置上生成一个小的文本标签。


void keyboardEventOccurred (const pcl::visualization::KeyboardEvent &event,
void_ viewer_void)
{
boost::shared_ptr<pcl::visualization::PCLVisualizer> viewer = _static_cast<boost::shared_ptr<pcl::visualization::PCLVisualizer> _> (viewer_void);
if (event.getKeySym () == “r” && event.keyDown ())
{
std::cout << “r was pressed => removing all text” << std::endl;

char str[512];
for (unsigned int i = 0; i < text_id; ++i)
{
sprintf (str, “text#%03d”, i);
viewer->removeShape (str);
}
text_id = 0;
}
}

同样的方法适用于键盘事件,我们检验按下了那个键,如果按下‘r’键,则删除前面鼠标所产生的文本标签,需要注意的是,当按下‘r’键时,3D相机仍会重置,所以,在PCL中视窗中注册的事件响应回调函数,不会覆盖其他成员对同一事件的响应。


参考文献:
朱德海、郭浩、苏伟.点云库PCL学习教程(ISBN 978-7-5124-0954-5)北京航空航天出版社2012-10