同一个数据集，最简单的比较不同算法结果的方式是计算所建地图和真值地图的差别。但真值地图通常难以获得，需要有高精度传感器，比如 FARO Vantage Laser Tracker
找出最好的地图就是看哪个地图的噪音少，墙最准确，artifacts(假障碍)最少。
最常见和准确的评价地图的方法就是计算地图和真值地图的差别。常见的计算尺度是K近邻的归一化距离。真值地图难以获得时，可以比较估计的轨迹和真值轨迹的差距，衡量尺度是均方根差(RMSE)。其他的衡量参数还有轨迹的全局和局部误差，收敛速度，对噪音的健壮性。
评价SLAM算法质量的标准
占据和空闲栅格的比例，检查是否有模糊的墙。模糊的障碍越多，地图质量越差。
地图中角落的数量，低质量的地图的角落更多。真实的角落当然不能缺少，多余的角落必是错误的：artifacts, 轨迹匹配错误导致的双墙现象, 不准确的圆弧区域。
- 封闭区域的数量。
对比的算法有gmapping, cartographer, tinySLAM, vinySLAM. 所用数据集是MIT stata center. 这个数据集提供了真值轨迹，所以可以用RMSE评价算法质量。
测试方案包括SLAM算法、数据集、iteration次数，测试是在远程server上运行的。
看完感觉论文讲的不太实用，而且定量的分析比较费时，实际中恐怕用不上，暂时用于定性判断地图质量的标准：
- 模糊化的部分要尽量少
- 假墙, artifact应当不存在
- 不得有重影，区域形状不能有明显偏差