前端 1. 入口 AddRangeData

在Cartographer中机器人的运动轨迹是由一个个前后串联的节点(TrajectionNode)构成的。每当有新的扫描数据输入, LocalTrajectoryBuilder2D都会 先通过scan matcher生成一个MatchingResult的对象,但是它的insertion_result字段是留空的。 只有当通过motion filter成功插入到子图中之后,才会将插入的结果记录下来, 于此同时子图就得到了更新。

LocalTrajectoryBuilder2D类的成员变量

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
struct InsertionResult {
// Node数据
std::shared_ptr<const TrajectoryNode::Data> constant_data;
//该Node数据插入的两个submap
std::vector<std::shared_ptr<const Submap2D>> insertion_submaps;
};

struct MatchingResult
{
common::Time time; // 扫描匹配发生的时间
// tracking 坐标系在Local SLAM坐标系下的位姿, 需要乘以
// Local SLAM坐标系到Global SLAM坐标系的转换 才能转到全局坐标系
transform::Rigid3d local_pose;
// tracking 坐标系下的点云(即LocalSLAM坐标系下的点云)
sensor::RangeData range_data_in_local;
// 如果被 motion filter 过滤,就是 nullptr
std::unique_ptr<const InsertionResult> insertion_result;
};

Local SLAM的业务主线是LocalTrajectoryBuilder2D::AddRangeData,它在核心函数GlobalTrajectoryBuilder::AddSensorData里调用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
// 把来自不同传感器的TimePointCloudData进行同步。TimePointCloudData是带时间的点云数据
// 3D情况下,前3个元素是点的坐标,第4个元素是测量到每个点的相对时间。
// 时间以s为单位,以最后一个点的捕获时间为0,越早捕获的点时间值越大。
// 对于2d情况,第3个元素始终为0,第4个元素同样表示时间
std::unique_ptr<LocalTrajectoryBuilder2D::MatchingResult>
LocalTrajectoryBuilder2D::AddRangeData(
const std::string& sensor_id,
const sensor::TimedPointCloudData& unsynchronized_data)
{
// 把输入的索引和数据记录在range_data_collator_中,同时做了时间同步
// RangeDataCollator::AddRangeData
// TimedPointCloudOriginData range_data_collator_
auto synchronized_data =
range_data_collator_.AddRangeData(sensor_id, unsynchronized_data);
if (synchronized_data.ranges.empty() )
{
LOG(INFO) << "Range data collator filling buffer.";
return nullptr;
}
// 记录下同步时间
const common::Time& time = synchronized_data.time;
// 如果不使用IMU,那么直接初始化 extrapolator
// 取点云获取的时间为基准
if (!options_.use_imu_data())
InitializeExtrapolator(time);

// 如果使用IMU进行估计,那么将在接收到IMU消息之后,再初始化 extrapolator
if (extrapolator_ == nullptr)
{
LOG(INFO) << "Extrapolator not yet initialized.";
return nullptr;
}
CHECK(!synchronized_data.ranges.empty());
// 确保最后一个数据的时间偏移量 <= 0
CHECK_LE(synchronized_data.ranges.back().point_time.time, 0.f);
// 获取第一个数据点的绝对时间,第一个点的时间就等于点云集获取的时间加上第一个点记录的相对时间
// 将它与 extrapolator的时间对比,来判定 extrapolator 是否完成了初始化
const common::Time time_first_point =
time +
common::FromSeconds(synchronized_data.ranges.front().point_time.time);
// 上一帧位姿如果没有计算完,则还在初始化的过程中
if (time_first_point < extrapolator_->GetLastPoseTime())
{
LOG(INFO) << "Extrapolator is still initializing.";
return nullptr;
}

第一次收到传感器数据时, GetLastPoseTimetime = synchronized_data.time相同。其余情况,都应当满足关系: time = synchronized_data.time > time_first_point > extrapolator_->GetLastPoseTime

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
std::vector<transform::Rigid3f> range_data_poses;
range_data_poses.reserve(synchronized_data.ranges.size() );
bool warned = false;
for (const auto& range : synchronized_data.ranges)
{
common::Time time_point = time + common::FromSeconds(range.point_time.time);
if (time_point < extrapolator_->GetLastExtrapolatedTime() )
{
if (!warned)
{
LOG(ERROR)
<< "Timestamp of individual range data point jumps backwards from "
<< extrapolator_->GetLastExtrapolatedTime() << " to " << time_point;
warned = true;
}
time_point = extrapolator_->GetLastExtrapolatedTime();
}
// 根据每个点的时间戳,估计每个点对应的位置并进行缓存
// 根据时间戳,计算 tracking坐标系在local坐标系下的位姿
range_data_poses.push_back(
extrapolator_->ExtrapolatePose(time_point).cast<float>() );
}

处理运动畸变

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
// 如果还没有累积过扫描数据,就重置对象 accumulated_range_data_
// sensor::RangeData accumulated_range_data_;
// 它就是后面插入子图的 scan 的来源
if (num_accumulated_ == 0)
accumulated_range_data_ = sensor::RangeData{ {}, {}, {} };
/************* 处理运动畸变 ****************/
// Drop any returns below the minimum range and convert
// returns beyond the maximum range into misses.
for (size_t i = 0; i < synchronized_data.ranges.size(); ++i)
{
const sensor::TimedRangefinderPoint& hit =
synchronized_data.ranges[i].point_time;
/* 下面两行是左乘机器人位姿,将tracking坐标系下的激光测量的hit点位姿
和传感器位姿转换到 local map 的坐标系下*/
const Eigen::Vector3f origin_in_local =
range_data_poses[i] *
synchronized_data.origins.at(synchronized_data.ranges[i].origin_index);
// 这里是处理运动畸变的最关键部分
sensor::RangefinderPoint hit_in_local =
range_data_poses[i] * sensor::ToRangefinderPoint(hit);
// 计算局部地图下的测量距离
const Eigen::Vector3f delta = hit_in_local.position - origin_in_local;
const float range = delta.norm(); // 该向量的模

// 完成 hit集合 和 miss集合
// 所有低于min_range的hit点不考虑,但大于max_range的点做处理后放入miss集
if (range >= options_.min_range() )
{
if (range <= options_.max_range())
// 如果该向量的模在合理范围内,则压入returns点集
accumulated_range_data_.returns.push_back(hit_in_local);
// delta多了系数 missing_data_ray_length() / range
/* 这个公式的作用是在miss方向上距离原点 misses_data_ray_length长度处,
选择一个点作为miss点加入miss集合,后面在更新submap的概率的时候,
原点到return射线中间的点和到 misses 射线的点都是通过miss_table来查询概率。
对超过最大距离的射线,选择一个中间的距离点,到这个中间距离点的区域,
我们都认为是空白区域 */
else
{
hit_in_local.position =
origin_in_local + options_.missing_data_ray_length() / range * delta;
accumulated_range_data_.misses.push_back(hit_in_local);
}
}
}

运动畸变的来源:雷达静止时,扫描结果没什么问题。雷达放在车上运动时,由于雷达扫描频率不高(比如20Hz),一些激光点就会有偏差。 注意不是指车运动时的激光往返距离的不同导致的, 激光速度为光速,车速与之相比可以忽略不计。

如上图所示,雷达的扫描是从右往左,应当扫描的结果是AB,但是扫描到B时,雷达已经运动了一段距离(假设匀速运动),此时扫描的是 但是扫描的结果仍然算作运动前的坐标系里,也就是,最终的结果是, 这就造成了畸变。
向障碍物前进,获得的障碍距离偏小;远离障碍物,获得的障碍距离偏大。注意雷达扫描方向的不同,畸变的情况也不同。

雷达产生运动畸变,而相机不同,不管运动不运动都有畸变。实际中,平移产生的畸变非常小,可以忽略不计。但旋转产生的畸变,不能忽略了。

运动补偿通常有几种做法
1、如果有高频里程记,可以获取每个点相对起始扫描时刻的位姿
2、如果有imu,可以求出每个点相对起始点的旋转
3、如果没有其他传感器,可以使用匀速模型假设,使用上一个帧间里程记的结果作为当前两帧之间的运动,同时假设当前帧也是匀速运动,也可以估计出每个点相对起始时刻的位姿

cartographer对每个点的坐标左乘range_data_poses[i],而它来自位姿估计器,后面可以看到,用了1和2两种方法。

代码中把点云从tracking坐标系转到local坐标系

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
  // 有了一帧有效点云数据了
++num_accumulated_;
// 每当累积的有效激光帧数 超过了配置值,一般为1
if (num_accumulated_ >= options_.num_accumulated_range_data() )
{
const common::Time current_sensor_time = synchronized_data.time;
absl::optional<common::Duration> sensor_duration;
if (last_sensor_time_.has_value())
{
sensor_duration = current_sensor_time - last_sensor_time_.value();
}
last_sensor_time_ = current_sensor_time;
num_accumulated_ = 0; // 计数清零
// 获取重力的方向,后面将点云z轴和重力方向对齐
const transform::Rigid3d gravity_alignment = transform::Rigid3d::Rotation(
extrapolator_->EstimateGravityOrientation(time) );

// 计算origin,在插入子图时非常重要
// 最后一个点的时间戳估计的坐标,作为原点
accumulated_range_data_.origin = range_data_poses.back().translation();
return AddAccumulatedRangeData(
time,
// 点云对齐到重力方向后,对return集合体素化滤波
// 点云变换到原点处
TransformToGravityAlignedFrameAndFilter(
gravity_alignment.cast<float>() * range_data_poses.back().inverse(),
accumulated_range_data_),

gravity_alignment,
sensor_duration );
}
return nullptr;
}

origin会有不断增加,因为车是动的,点云不断更新。origin_index是在点云时间同步那里赋值的,可以不关心细节。
range_data_poses是tracking坐标系在local坐标系的坐标,也就是二者的坐标系变换。大小是激光点的个数,或者稍微少一点

最后不仅把点云转到local坐标系和重力对齐,还把点云变换到原点处 点云转到local坐标系原点,这时候点云有可能是斜着的,先通过机器人的姿态把点云变成水平的,然后再对射程做过滤

TransformToGravityAlignedFrameAndFilter

按重力方向对点云数据进行变换,让点云的z轴和重力方向重合

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
sensor::RangeData
LocalTrajectoryBuilder2D::TransformToGravityAlignedFrameAndFilter(
const transform::Rigid3f& transform_to_gravity_aligned_frame,
const sensor::RangeData& range_data) const
{
const sensor::RangeData cropped =
// 限定点云z坐标
sensor::CropRangeData(sensor::TransformRangeData(
range_data, transform_to_gravity_aligned_frame),
options_.min_z(), options_.max_z());
// 对 returns 和 misses点云做体素滤波
return sensor::RangeData{
cropped.origin,
sensor:: (options_.voxel_filter_size()).Filter(cropped.returns),
sensor::VoxelFilter(options_.voxel_filter_size()).Filter(cropped.misses) };
}

RangeData TransformRangeData(const RangeData& range_data,
const transform::Rigid3f& transform)
{
return RangeData{
transform * range_data.origin,
TransformPointCloud(range_data.returns, transform),
TransformPointCloud(range_data.misses, transform),
};
}
// 对点云中每一个点做变换
PointCloud TransformPointCloud(const PointCloud& point_cloud,
const transform::Rigid3f& transform)
{
PointCloud result;
result.reserve(point_cloud.size() );
for (const RangefinderPoint& point : point_cloud)
{
result.emplace_back(transform * point);
}
return result;
}

LocalTrajectoryBuilder2D是一个没有闭环处理的完整的slam过程,修改submap的帧的阈值(无限大),则完成了与开源hector slam算法一致的功能。


(三) MapBuilder类

MapBuilder继承了抽象类MapBuilderInterface,是cartographer算法的核心类.MapBuilder包括了两个部分,其中TrajectoryBuilder用于Local Submap的建立与维护;PoseGraph部分用于Loop Closure.

源码中使用的变量是map_builder_,属于MapBuilder类型,它的赋值在MapBuilderBridge的构造函数;变量map_builder_bridge_的赋值又在Node的构造函数;最终是在node_main.cc中的

1
2
3
auto map_builder =
cartographer::common::make_unique<cartographer::mapping::MapBuilder>(
node_options.map_builder_options );

具体怎么实现不用管,知道这是个智能指针就行

成员变量

MapBuilder私有成员变量

1
2
3
4
5
6
7
8
9
10
11
const proto::MapBuilderOptions options_;	//MapBuilder的配置项
common::ThreadPool thread_pool_; //线程池,应该是为每一条trajectory都单独开辟一个线程
// 一个PoseGraph的智能指针
std::unique_ptr<PoseGraph> pose_graph_;
//收集传感器数据的智能指针
unique_ptr<sensor::CollatorInterface> sensor_collator_;
//一个向量,管理所有的TrajectoryBuilderInterface;应该是每一个trajectory对应了该向量的一个元素
// 每一个TrajectoryBuilder对应了机器人运行了一圈
vector<std::unique_ptr<mapping::TrajectoryBuilderInterface>> trajectory_builders_;
//与每个 TrajectoryBuilderInterface 相对应的配置项
vector<proto::TrajectoryBuilderOptionsWithSensorIds> all_trajectory_builder_options_;

线程池和pose_graph_在这里。 由此可见MapBuilder构造函数里,后端的线程就已经开始跑了

trajectory是机器人跑一圈时的轨迹,在这其中需要记录和维护传感器的数据。根据这个trajectory上传感器收集的数据,我们可以逐步构建出栅格化的地图Submap,但这个submap会随着时间或trajectory的增长而产生误差累积。
PoseGraph是用来进行全局优化,将所有的Submap紧紧tie在一起,构成一个全局的Map,消除误差累积。

构造函数

省略3D的情况:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
MapBuilder::MapBuilder(const proto::MapBuilderOptions& options)
: options_(options), thread_pool_(options.num_background_threads())
{
// 加载配置,注意 optimization::OptimizationProblem2D 对象
pose_graph_ = absl::make_unique<PoseGraph2D>(
options_.pose_graph_options(),
absl::make_unique<optimization::OptimizationProblem2D>(
options_.pose_graph_options().optimization_problem_options() ),
&thread_pool_);
// 构建修正器
if (options.collate_by_trajectory())
sensor_collator_ = absl::make_unique<sensor::TrajectoryCollator>();
else
sensor_collator_ = absl::make_unique<sensor::Collator>();
}

在lua文件中找不到collate_by_trajectory这一项,默认没有开启,但在map_builder_options.proto中可以找到,如果我们想要配置这个选项,只需要在lua文件中添加MAP_BUILDER.collate_by_trajectory = true

MapBuilder类在构造时会对线程池, 位姿图进行初始化, 在添加新轨迹时会对前端类的对象进行初始化, 初始化之后才会去判读这个轨迹是否存在初始位姿.

AddTrajectoryBuilder

这个函数可以说是cartographer中最重要的函数之一

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
int MapBuilder::AddTrajectoryBuilder(
const std::set<SensorId>& expected_sensor_ids,
const proto::TrajectoryBuilderOptions& trajectory_options,
LocalSlamResultCallback local_slam_result_callback)
{
// 当有一个新的trajectory时,以向量的size值作为新的trajectory,加入到trajectory_builders_中
const int trajectory_id = trajectory_builders_.size();
// 省略 3D 部分
/*LocalTrajectoryBuilder2D是不带Loop Closure的Local Slam, 包含了Pose Extrapolator, Scan Matching等
这个类并没有继承TrajectoryBuilderInterface, 并不是一个TrajectoryBuilderInterface的实现
而只是一个工具类,构造函数全是配置的赋值*/
std::unique_ptr<LocalTrajectoryBuilder2D> local_trajectory_builder;
if (trajectory_options.has_trajectory_builder_2d_options() )
{
local_trajectory_builder = absl::make_unique<LocalTrajectoryBuilder2D>(
trajectory_options.trajectory_builder_2d_options(),
// 找出expected_sensor_ids中的雷达的话题,比如scan1,scan2
SelectRangeSensorIds(expected_sensor_ids) );
}
DCHECK(dynamic_cast<PoseGraph2D*>(pose_graph_.get()) );
/* 类CollatedTrajectoryBuilder 继承了接口 TrajectoryBuilderInterface,这个才是真正的
轨迹跟踪器,使用 sensor::CollatorInterface 接口来收集传感器数据,具体的类在 MapBuilder 构造函数最后
CollatedTrajectoryBuilder是 sensor_bridges_构造函数中的对应最后一个参数的类型 */
trajectory_builders_.push_back( absl::make_unique<CollatedTrajectoryBuilder>(
trajectory_options, sensor_collator_.get(), trajectory_id,
expected_sensor_ids,
/* 函数返回类型实际是 std::unique_ptr<GlobalTrajectoryBuilder>,它实际上是一个模板类
其模板列表中的 LocalTrajectoryBuilder2D 和 PoseGraph2D 分别是前端和后端的两个核心类型
local_slam_result_callback 前端数据更新后的回调函数 */

// 将2D前端和位姿图打包传入 CollatedTrajectoryBuilder
CreateGlobalTrajectoryBuilder2D(
std::move(local_trajectory_builder), trajectory_id,
static_cast<PoseGraph2D*>(pose_graph_.get() ),
local_slam_result_callback) ) );

一个MapBuilder的类对应了一次建图过程,在整个建图过程中,用于全局优化的PoseGraph的对象只有一个,即pose_graph_,而这个变量是在构造函数中就生成了。

每生成一个trajectory时都是调用AddTrajectoryBuilder来创建的。一个trajectory对应了机器人运行一圈,trajectory_id取的是trajectory_builders_.size(),所以开始是0.

在图建好后机器人可能多次运行,每一次运行都是新增一条trajectory,trajectory_id就会+1. 因此,需要动态地维护一个trajectory的列表。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
  // 如果开启了纯定位模式 
MaybeAddPureLocalizationTrimmer(trajectory_id, trajectory_options, pose_graph_.get());
/* 如果开始建图之前已经有了初始位置,将初始位置提供给pose_graph_对象
比如说,我们检测到了一个Landmark。那么这时,我们可以新增加一条trajectory
然后根据机器人与Landmark之间的相对位姿推算机器人相对于世界坐标系的相对位姿
以该位姿作为新增加的trajectory的初始位姿。这样在检测到Landmark时就能有效降低累积误差*/
if (trajectory_options.has_initial_trajectory_pose())
{
const auto& initial_trajectory_pose =
trajectory_options.initial_trajectory_pose();
pose_graph_->SetInitialTrajectoryPose(
trajectory_id, initial_trajectory_pose.to_trajectory_id(),
transform::ToRigid3(initial_trajectory_pose.relative_pose()),
common::FromUniversal(initial_trajectory_pose.timestamp()) );
}
// 将轨迹跟踪器的配置信息和传感器配置信息保存到容器all_trajectory_builder_options_中
proto::TrajectoryBuilderOptionsWithSensorIds options_with_sensor_ids_proto;
for (const auto& sensor_id : expected_sensor_ids)
{
*options_with_sensor_ids_proto.add_sensor_id() = ToProto(sensor_id);
}
*options_with_sensor_ids_proto.mutable_trajectory_builder_options() =
trajectory_options;

all_trajectory_builder_options_.push_back(options_with_sensor_ids_proto);
CHECK_EQ(trajectory_builders_.size(), all_trajectory_builder_options_.size());
return trajectory_id;
}

has_initial_trajectory_pose

其他函数

  • SerializeState: 保存地图到pbstream,序列化当前状态到一个proto流中

  • LoadState: 加载pbstream地图,从一个proto流中加载SLAM状态,逐条trajectory恢复,恢复trajectory上的节点间的约束,恢复Submap

  • FinishTrajectory: 结束指定id的轨迹,调用sensor_collator_->FinishTrajectorypose_graph_->FinishTrajectory

  • SubmapToProto: 根据指定的submap_id来查询submap,把结果放到SubmapQuery::Response中。如果出现错误,返回error string; 成功则返回empty string. 对应服务kSubmapQueryServiceName, 调用关系如下:

Node::HandleSubmapQuery
      |
MapBuilderBridge::HandleSubmapQuery
      |
MapBuilder::SubmapToProto


(二) Node的AddTrajectory函数

Cartographer源码架构图

接上一篇,Node::StartTrajectoryWithDefaultTopics实际就一个Node::AddTrajectory,它的流程图:
AddTrajectory.png

1
2
3
4
5
6
7
8
9
10
11
12
13
14
const std::set<cartographer::mapping::TrajectoryBuilderInterface::SensorId>
expected_sensor_ids = ComputeExpectedSensorIds(options, topics);
const int trajectory_id =
map_builder_bridge_.AddTrajectory(expected_sensor_ids, options);

AddExtrapolator(trajectory_id, options);
AddSensorSamplers(trajectory_id, options);
LaunchSubscribers(options, topics, trajectory_id);
is_active_trajectory_[trajectory_id] = true;
for (const auto& sensor_id : expected_sensor_ids)
{ // unordered_set
subscribed_topics_.insert(sensor_id.id);
}
return trajectory_id;

Node::ComputeExpectedSensorIds

函数返回的是std::set<TrajectoryBuilderInterface::SensorId> expected_topics;类型:

1
2
3
4
5
6
7
8
9
10
11
12
13
struct SensorId
{
enum class SensorType {
RANGE = 0,
IMU,
ODOMETRY,
FIXED_FRAME_POSE,
LANDMARK,
LOCAL_SLAM_RESULT
};
SensorType type;
std::string id;
}

它记录的是所有传感器的类型和对应id,id是一个字符串,记录了传感器所对应的ROS主题名称。 如果有多个雷达,id就是scan1,scan2……

至于为什么这样命名,由下面的函数规定,字符串在cartographer_ros\node_constants.h中赋值

1
2
3
4
5
6
7
8
9
10
11
cartographer_ros_msgs::SensorTopics DefaultSensorTopics() {
cartographer_ros_msgs::SensorTopics topics;
topics.laser_scan_topic = kLaserScanTopic;
topics.multi_echo_laser_scan_topic = kMultiEchoLaserScanTopic;
topics.point_cloud2_topic = kPointCloud2Topic;
topics.imu_topic = kImuTopic;
topics.odometry_topic = kOdometryTopic;
topics.nav_sat_fix_topic = kNavSatFixTopic;
topics.landmark_topic = kLandmarkTopic;
return topics;
}

map_builder_bridge_.AddTrajectory

两个参数是const std::set<TrajectoryBuilderInterface::SensorId>& expected_sensor_idsconst TrajectoryOptions& trajectory_options

expected_sensor_ids记录了用于建图的所有传感器名称和类型

MapBuilderBridge的构造函数就是加载配置和map_builder

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
// 添加一个轨迹跟踪器,同时将构建成功的索引返回
const int trajectory_id = map_builder_->AddTrajectoryBuilder(
expected_sensor_ids, trajectory_options.trajectory_builder_options,
// 这个参数相当于注册了一个回调函数 OnLocalSlamResult , 用于响应map_builder_完成
// 一个局部SLAM 或者 说是成功构建了一个子图的事件
::std::bind(&MapBuilderBridge::OnLocalSlamResult, this,
::std::placeholders::_1, ::std::placeholders::_2,
::std::placeholders::_3, ::std::placeholders::_4,
::std::placeholders::_5) );

LOG(INFO) << "Added trajectory with ID '" << trajectory_id << "'.";

// std::unordered_map<int, std::unique_ptr<SensorBridge>> sensor_bridges_;
// 检查 trajectory_id, 确保之前没有使用过
CHECK_EQ(sensor_bridges_.count(trajectory_id), 0);
// SensorBridge将ROS的消息转换成 Cartographer 中的传感器数据类型
// 前面都是参数,最后的参数是Cartographer的一个核心对象,TrajectoryBuilderInterface指针
// 通过sensor_bridge对象转换后的数据都是通过它喂给Cartographer的
sensor_bridges_[trajectory_id] =
cartographer::common::make_unique<SensorBridge>(
trajectory_options.num_subdivisions_per_laser_scan,
trajectory_options.tracking_frame,
node_options_.lookup_transform_timeout_sec, tf_buffer_,
// 实际类型是 CollatedTrajectoryBuilder
map_builder_->GetTrajectoryBuilder(trajectory_id) );
// 轨迹相关的配置保存到容器对象trajectory_options_中并检查后,返回刚刚生成的索引trajectory_id
auto emplace_result = trajectory_options_.emplace(trajectory_id, trajectory_options);
CHECK(emplace_result.second == true);
return trajectory_id;

MapBuilder::AddTrajectoryBuilderGetTrajectoryBuilder到后面继续看

回调函数 OnLocalSlamResult

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
void MapBuilderBridge::OnLocalSlamResult(
const int trajectory_id,
const ::cartographer::common::Time time, // 更新子图的时间
const Rigid3d local_pose, // 子图的参考位置
::cartographer::sensor::RangeData range_data_in_local, // 参考位置下的扫描数据
const std::unique_ptr<const ::cartographer::mapping::
TrajectoryBuilderInterface::InsertionResult> )
{
// LocalSlamData是定义在 MapBuilderBridge 内部的结构体,用于记录局部SLAM反馈的状态
std::shared_ptr<const TrajectoryState::LocalSlamData> local_slam_data =
std::make_shared<TrajectoryState::LocalSlamData>(
TrajectoryState::LocalSlamData{time, local_pose,
std::move(range_data_in_local)} );
cartographer::common::MutexLocker lock(&mutex_);

/* std::unordered_map<int, std::shared_ptr<const TrajectoryState::LocalSlamData>>
trajectory_state_data_ GUARDED_BY(mutex_);*/
trajectory_state_data_[trajectory_id] = std::move(local_slam_data);
}

最后赋值给了trajectory_state_data_,唯一应用的地方在MapBuilderBridge::GetTrajectoryStates()

可以对此函数做修改,添加日志等功能

Node::AddExtrapolator

1
2
3
4
5
6
7
constexpr double kExtrapolationEstimationTimeSec = 0.001;  // 1 ms
// 省略一行:把lua文件的 imu_gravity_time_constant 参数赋给变量 gravity_time_constant
extrapolators_.emplace(
std::piecewise_construct, std::forward_as_tuple(trajectory_id),
std::forward_as_tuple(
::cartographer::common::FromSeconds(kExtrapolationEstimationTimeSec),
gravity_time_constant) );

添加用于位姿插值的对象extrapolators_, 类型std::map<int, PoseExtrapolator> extrapolators_;

Node::AddSensorSamplers

1
2
3
4
5
6
sensor_samplers_.emplace(
std::piecewise_construct, std::forward_as_tuple(trajectory_id),
std::forward_as_tuple(
options.rangefinder_sampling_ratio, options.odometry_sampling_ratio,
options.fixed_frame_pose_sampling_ratio, options.imu_sampling_ratio,
options.landmarks_sampling_ratio) );

类型std::unordered_map<int, TrajectorySensorSamplers> sensor_samplers_;

对cartographer中的采样器(fixed_ratio_sampler.cc)的封装,用一个计数器来按照一个指定的频率对原始的数据进行降采样,采样频率可以通过轨迹参数文件来配置

LaunchSubscribers

完成传感器消息的订阅,在传感器数据的作用下驱动系统运转,进而完成位姿估计和建图的任务。详细分析见第四篇


(一) 从node_main.cc开始

先看main函数,省略google库的部分:

1
2
3
4
5
6
::ros::init(argc, argv, "cartographer_node");
::ros::start();

cartographer_ros::ScopedRosLogSink ros_log_sink;
cartographer_ros::Run();
::ros::shutdown();

实际上就是Run函数,流程如下:
Run函数流程.png

1
2
3
4
5
6
7
8
constexpr double kTfBufferCacheTimeInSeconds = 10.;
tf2_ros::Buffer tf_buffer{::ros::Duration(kTfBufferCacheTimeInSeconds)};
tf2_ros::TransformListener tf(tf_buffer);
// 从lua文件加载配置
NodeOptions node_options;
TrajectoryOptions trajectory_options;
std::tie(node_options, trajectory_options) =
LoadOptions(FLAGS_configuration_directory, FLAGS_configuration_basename);
1
2
3
4
5
6
7
8
9
10
11
12
13
14
// 核心变量: Cartographer的地图构建器
auto map_builder =
cartographer::common::make_unique<cartographer::mapping::MapBuilder>(
node_options.map_builder_options);
Node node(node_options, std::move(map_builder), &tf_buffer);
// 加载现有地图的情况
if (!FLAGS_load_state_filename.empty()) {
node.LoadState(FLAGS_load_state_filename, FLAGS_load_frozen_state);
}
// 核心函数
if (FLAGS_start_trajectory_with_default_topics) {
node.StartTrajectoryWithDefaultTopics(trajectory_options);
}
::ros::spin();

注意:MapBuilder类的对象在这里就实例化了,也是唯一的对象,而不是在以为的MapBuilderBridge

1
2
3
4
5
6
node.FinishAllTrajectories();
node.RunFinalOptimization();

if (!FLAGS_save_state_filename.empty()) {
node.SerializeState(FLAGS_save_state_filename);
}

显然我们需要看的函数是StartTrajectoryWithDefaultTopics

node.FinishAllTrajectories();node.RunFinalOptimization();是停止建图才执行的,一直到后端优化那里再分析。

proto机制

编写应用程序的时候,往往需要将程序的某些数据存储在内存中,然后将其写入某个文件或是将它传输到网络中的另一台计算机上以实现通讯。这个将程序数据转化成能被存储并传输的格式的过程被称为序列化,而它的逆过程则可被称为反序列化。简单来说,序列化:将对象变成字节流的形式传出去。反序列化:从字节流恢复成原来的对象。

为什么要序列化:假如你有一个数据结构,里面存储的数据是经过很多其它数据通过非常复杂的算法生成的,由于数据量很大,算法又复杂,因此生成该数据结构所用数据的时间可能要很久(也许几个小时),生成该数据结构后又要用作其它的计算,那么你在调试阶段,每次运行个程序,就光生成数据结构就要花上这么长的时间,无疑代价是非常大的。如果你确定生成数据结构的算法不会变,那么就可以通过序列化技术生成数据结构数据存储到磁盘上,下次重新运行程序时只需要从磁盘上读取该对象数据即可,所花时间只有读一个文件的时间,节省了我们的开发时间。

Protobuf性能好,效率高;拥有代码生成机制,数据解析类自动生成;支持很多语言,包括C++、Java、Python;同时也是跨平台的,所以得到了广泛的应用。正常情况下你需要定义proto文件,然后使用IDL编译器编译成你需要的语言。目前proto存在2和3两个版本,最好用3.与2相比,3的改变有:移除了required字段、移除了缺省值等

proto的语法见proto文件语法Protobuf 终极教程

生成C++代码的命令是: protoc -I=. --cpp_out=. test.proto. -I指定protoc的搜索import的proto的文件夹,cpp_out是生成的目录,生成的文件类型是pb.hpb.cc。 对于Cartographer,proto文件在源码的cartographer/cartographer/,生成的pb.h文件在/usr/local/include/cartographer

以后会发现有些参数不在lua里,但在proto里,proto是 Cartographer原本的参数描述的方式,lua是catographer_ros的封装。proto定义了参数,lua具体描述参数的数值,他俩就跟class和实例化的对象一样

我尝试在lua中添加proto中特有的参数,比如collate_by_trajectory,结果运行Cartographer还是失败,可能还是不兼容。


ROS中的Lazy发布和订阅

之前看depthimage_to_laserscan包,发现它的订阅发布采用的是所谓 lazy模式。今天研究了一下,发现并不复杂。先看advertise函数的一个原型:

1
2
3
4
5
6
7
Publisher ros::NodeHandle::advertise(const std::string& topic,
uint32_t queue_size,
const SubscriberStatusCallback & connect_cb,
const SubscriberStatusCallback & disconnect_cb = SubscriberStatusCallback(),
const VoidConstPtr & tracked_object = VoidConstPtr(),
bool latch = false
)

原来有三个原型,我们常用的是第一个,这个是第二个,第三个就极其罕见了,形参是个AdvertiseOptions类型。

话题有订阅者时,发布者会触发connect_cb函数,停止订阅时又触发disconnect_cb函数。如果让它们做类成员函数,就使用Boost::bind形式,tracked_object暂时不用。所以程序可以这样写:

1
2
3
4
5
6
7
8
9
10
void connectCb(const ros::SingleSubscriberPublisher& singlePub)
{
ROS_INFO("Subscriber Name: %s", singlePub.getSubscriberName().c_str());
}
void disconnectCb(const ros::SingleSubscriberPublisher& singlePub)
{
ROS_INFO("disconnectCb");
}
......
ros::Publisher pub = nh.advertise<std_msgs::Int8>("topic", 50, connectCb,disconnectCb);

可以用rostopic echo topic测试


再来看depthimage_to_laserscan的程序,构造函数里是这样的:

1
2
3
4
pub_ = n.advertise<sensor_msgs::LaserScan>("scan", 10, 
boost::bind(&DepthImageToLaserScanROS::connectCb, this, _1),
boost::bind(&DepthImageToLaserScanROS::disconnectCb, this, _1)
);

它是把两个函数用成员函数的形式,connectCb是这样的:
1
2
3
4
5
6
if (!sub_ && pub_.getNumSubscribers() > 0)
{
ROS_DEBUG("Connecting to depth topic.");
image_transport::TransportHints hints("raw", ros::TransportHints(), pnh_);
sub_ = it_.subscribeCamera("/camera/depth/image_raw", 10, &DepthImageToLaserScanROS::depthCb, this, hints);
}

depthCb是:

1
2
sensor_msgs::LaserScanPtr scan_msg = dtl_.convert_msg(depth_msg, info_msg);
pub_.publish(scan_msg);

显然逻辑是这样的:有其他节点订阅scan话题时,发布者里才订阅image_raw话题,然后才会发布scan话题的实际消息,所谓的lazy就是scan话题的消息发布

disconnectCb里,如果另一个节点不再订阅scan话题,本节点就会sub_.shutdown();;如果再有订阅scan,又可以通过connectCb使用sub_,设计确实很巧妙

参考:
Publisher advertise
SingleSubscriberPublisher


landmark的使用 (一) 原理

landmark是路标点,apriltag、二维码等强特征,static landmark 的作用是用于快速定位的。

对landmark的观测是相对于Cartographer的tracking frame,用户负责发布话题landmark,类型cartographer_ros_msgs/LandmarkList. cartographer订阅landmark之后,会发布话题/landmark_poses_list,类型visualization_msgs/MarkerArray,在rviz上显示出来,用于确认cartographer计算出landmark在map坐标系中的坐标。 Cartographer负责建立landmark的约束,与栅格地图一起优化。

机器人应当一直运动以产生trajectory优化,如果机器人不动,无法触发优化,landmark无法加入图优化框架。landmark的观测应当是相对于 tracking frame

Try the following to see an impressive effect (only for testing):
假如进行以下步骤:

  1. 将 landmark 的权重设置的很大,比如 1e8
  2. 观测一个id为0的 landmark
  3. 把机器人开到另一个地方
  4. 又一个id为0的 landmark

第二次观测显然是错误的,但是由于landmark的极高权重, 机器人位姿会跳跃

lua 设置

设置 use_landmarks = true,话题landmark应具备一定频率,默认要求最低10Hz。话题的消息可以是空的,但必须提供,因为Cartographer严格给传感器数据按时间排序,使landmarks deterministic. 但是也可以设置TRAJECTORY_BUILDER.collate_landmarks = false,这样landmark就是non-deterministic而且是非阻塞的。GPS也是同理。

landmarks_sampling_ratio = 1 landmark观测的权重比,当某个观测不太靠谱的时候,可以把1改为较小的权重,例如0.5,从而减小对整体优化的错误影响。

如果只获得landmark的相对位置,没有朝向,那就把landmark rotation weight设置为0

每个landmark的ID和坐标应当是unique而且是一一对应

源码

要知道tag在相机坐标系的位置,相机坐标系和base_link之间的关系

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
void Node::HandleLandmarkMessage(
const int trajectory_id, const std::string& sensor_id,
const cartographer_ros_msgs::LandmarkList::ConstPtr& msg)
{
absl::MutexLock lock(&mutex_);
if (!sensor_samplers_.at(trajectory_id).landmark_sampler.Pulse())
return;

map_builder_bridge_.sensor_bridge(trajectory_id)->HandleLandmarkMessage(sensor_id, msg);
// 添加下面代码
geometry_msgs::TransformStamped stamped_transform;

stamped_transform.header.stamp = ros::Time::now();
stamped_transform.header.frame_id = "base_link";
stamped_transform.child_frame_id = "QR_Code";
stamped_transform.transform = ToGeometryMsgTransform(ToRigid3d(msg->landmarks[0].tracking_from_landmark_transform).inverse() );

tf_broadcaster_.sendTransform(stamped_transform);
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
void Node::PublishLandmarkPosesList(
const ::ros::WallTimerEvent& unused_timer_event)
{
// landmark话题必须有订阅者,一般是rviz
if (landmark_poses_list_publisher_.getNumSubscribers() > 0)
{
absl::MutexLock lock(&mutex_);
landmark_poses_list_publisher_.publish(
map_builder_bridge_.GetLandmarkPosesList() );
}
}

visualization_msgs::MarkerArray MapBuilderBridge::GetLandmarkPosesList()
{
visualization_msgs::MarkerArray landmark_poses_list;
const std::map<std::string, Rigid3d> landmark_poses =
map_builder_->pose_graph()->GetLandmarkPoses();
LOG(INFO)<<" landmark pose size: "<< landmark_poses.size();

for (const auto& id_to_pose : landmark_poses) {
landmark_poses_list.markers.push_back(CreateLandmarkMarker(
GetLandmarkIndex(id_to_pose.first, &landmark_to_index_),
id_to_pose.second, node_options_.map_frame));
}
return landmark_poses_list;
}

publish_fake_random_landmarks.py

Cartographer提供这个文件发布假的landmark,不用仔细研究内容。 节点landmark_sampler,发布话题landmark,类型cartographer_ros_msgs/LandmarkList

这个节点不是一直发布landmark,有的消息是空的

1
2
3
4
5
6
7
header: 
seq: 546
stamp:
secs: 1650511353
nsecs: 89869022
frame_id: ''
landmarks: []

有内容的消息是

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
header: 
seq: 129
stamp:
secs: 1650511071
nsecs: 393965959
frame_id: ''
landmarks:
-
id: "112b2"
tracking_from_landmark_transform:
position:
x: 0.329674929632
y: 0.601299422592
z: 0.0813299308386
orientation:
x: -0.881422944417
y: 0.388576528204
z: -0.260058416952
w: 0.0668692347593
translation_weight: 100000.0
rotation_weight: 100000.0
-
id: "32c2b"
tracking_from_landmark_transform:
position:
x: 0.747269396167
y: 0.256305093347
z: 0.389155962116
orientation:
x: -0.349830783746
y: -0.891493805837
z: -0.163724271997
w: -0.236752148157
translation_weight: 100000.0
rotation_weight: 100000.0
-
id: "2c33a"
tracking_from_landmark_transform:
position:
x: 0.698094719569
y: 0.886938424567
z: 0.408522616781
orientation:
x: -0.242061311724
y: 0.292763269814
z: 0.419295012755
w: 0.824553019213
translation_weight: 100000.0
rotation_weight: 100000.0
-
id: "c3b1c"
tracking_from_landmark_transform:
position:
x: 0.703663491421
y: 0.146106286628
z: 0.589856404568
orientation:
x: -0.0750314150542
y: -0.80116295871
z: 0.151662985651
w: 0.574026601412
translation_weight: 100000.0
rotation_weight: 100000.0
-
id: "c12aa"
tracking_from_landmark_transform:
position:
x: 0.409531720117
y: 0.286439128213
z: 0.686302598836
orientation:
x: -0.326127457574
y: -0.221216268782
z: -0.89427654661
w: -0.212070040376
translation_weight: 100000.0
rotation_weight: 100000.0

参考:
Understanding the Landmark Observation Concept
Cartographer源码阅读——带Landmark的demo运行和测试


USB和串口的设备号绑定

参考:这篇博客,意外的是我配置rplidar时发现标志号码和博客中是一样的,还以为像产品序列号那样。我设置了底盘的USB和思岚雷达的USB

realsense的安装包里面包含了udev的文件,即realsense udev的deb。所以使用过realsense的系统,自己没编辑,也会有一个99-realsense-libusb.rules,不必自己设置

70-snap.core.rules是系统自带的


ROS运行和调试利器
  • rosed: 可以直接编辑某个package当中的文件,格式是rosed package file,还可以用tab补全名称,如果文件名在package里不是唯一的,那么会呈现出一个列表,让你选择编辑哪一个文件。

  • roswtf: 检查ROS各节点联系是否有错;检查环节变量等系统设置

rostopic

  • rostopic echo -b BAGFILE -a, 显示bag文件的所有消息。但是所有消息一次显示,没什么意义。

  • rostopic echo -n1, 只echo一段消息

  • rostopic echo -p --nostr --noarr /topic_name, 不显示话题中的string和array部分

  • rostopic echo /odom/pose/pose/position, 直接显示odom话题中的position部分

  • rostopic bw topic_name: 用于显示主题所使用的带宽。

  • rostopic delay topic_name : 显示ROS节点通信延迟

以下命令可以组合使用:

  • rostopic list -p, 只显示发布的话题

  • rostopic list -s, 只显示订阅的话题

  • rostopic list -v, 显示话题细节,有几个发布者和订阅者

  • rostopic list --host, 根据host名分组

有一次使用rostopic pub一个std_msgs/Int8的消息,结果报错 Inbound TCP/IP connection failed: field data must be an integer type 。 确实echo没有结果,另开一个终端,source 工作空间后成功。

rosmsg rosnode

  • rosmsg package [package_name], 显示所有在这个包里面的消息

  • rosmsg md5 [message], 显示某个消息的md5sum

  • rosnode cleanup, 清除僵尸节点, 也就是清除那些实际关闭但能用rosnode list查看到的节点

  • rosnode machine <hostname>: 用于列出指定计算机上运行的节点

  • rospack find turtlesim, 输出指定package的路径, 输出/opt/ros/kinetic/share/turtlesim

  • rospack depends turtlesim, 查看package的依赖项

roslaunch

  • --wait, 延迟launch直到检测到roscore

roslaunch启动的时候,会尝试获得已有的rosmaster的id,如果没有获得,将会创建一个自己的。假如同时也有一个roslaunch和roscore启动,可能会导致run_id冲突。比如roslaunch启动太快.png

可以使用roslaunch --wait rplidar_ros a2.launch,它会输出这样的信息:

1
2
roscore/master is not yet running, will wait for it to start
master has started, initiating launch

  • --screen, 输出所有节点的日志,用于debugging.

  • --dump-params, 以YAML格式输出launch文件中的所有参数

参考:roslaunch Commandline Tools


(五) 后端 pose_graph.lua 参数

Local SLAM生成一系列子图时,一个global优化(通常被称为“优化问题”或者“sparse pose adjustment”)在后台运行,其主要工作是找到回环约束。它是通过scan-matching的方法用节点中收集到的scans与子地图进行匹配。它用于重新整理子地图,以便他们可以内联成一个全局地图。比如改变当前建成的轨迹以适应于回环检测的子地图对齐(align submaps with regards to loop closures)

  • optimize_every_n_nodes: 一旦一定的trajectory nodes插入,就会分批执行优化,由你决定多么频繁的运行优化和调整大小。如果设置为0,是手动关闭全局SLAM,主要精力集中于局部SLAM。这是调试cartographer的第一件事情。 optimize_every_n_nodes里对应优化标志kRunOptimization,这个标志一共出现三次,还有FinishTrajectoryRunFinalOptimization。 前者的根源是node.FinishAllTrajectories();,     后者的根源在node.RunFinalOptimization();

全局SLAM是一种基于图优化的SLAM,本质上是位姿图优化,其是通过构建节点之间的约束,子地图之间的约束,然后优化产生的约束图。约束可以认为是一根连接所有节点的绳子。sparse pose adjustment加速这些绳子的结合。产生的网称为位姿图(Pose Graph)

约束可以在rviz中观察,这样调整global SLAM很方便

constraint_builder

1
2
3
4
5
6
7
8
9
10
POSE_GRAPH = {
optimize_every_n_nodes = 90, # 每几个节点执行一次优化,设为0会关闭后端优化
constraint_builder = {
sampling_ratio = 0.3,
max_constraint_distance = 15.,
min_score = 0.55,
global_localization_min_score = 0.6, # 阈值,低于该阈值的全局定位不受信任
loop_closure_translation_weight = 1.1e4, # 优化问题中的 回环约束 的 平移 的权重
loop_closure_rotation_weight = 1e5, # 优化问题中的 回环约束 的 旋转 的权重
log_matches = true, # 回环约束的日志
  • sampling_ratio: 就是个采样器,用于 MaybeAddConstraint,值越小, 计算约束的频率越小
  • max_constraint_distance: 非常重要 局部子图进行回环检测时,能成为约束的距离阈值,在 MaybeAddConstraint开头。如果设置过小,即使建图时走回同一个位置,也不会计算回环,函数里return。如果设置太大,计算量会增大很多,因为节点会和所有完成的子图匹配。

  • log_matches: 得到 constraints builder(回环约束)的日志,默认是true。 在ConstraintBuilder2D::ComputeConstraint

  • min_score: 局部子图进行回环检测时,扫描匹配分数的阈值,低于该阈值时不考虑匹配。 匹配得分不要太高,不然在有的地方不能回环。决定了哪些constraint添加到哪些节点间,这个会很大影响CPU。可以稍微增大到0.75 The histograms printed while Cartographer is running shows that you have a ton of loop closures constraints already, so lowering the score (which will raise the number of constraints) is probably not too useful. I’d rather ramp it up.

  • global_localization_min_score: 用于有多条轨迹的情况,比如纯定位。不能设置太小,否则会出现超出地图的约束;也不能太大,否则难以出现约束。一般设置为 0.6

非全局约束(也称为子地图内部约束)是在节点之间自动建立,这些节点是轨迹上相对较近的节点。直观上,这些非全局约束保持了轨迹的内连关系。

全局约束(也称为回环检测约束或者子地图之间的约束)通常是在一个新的子地图和先前的节点之间进行搜索,那些先前的节点在空间上是足够的近(部分是在某个搜索window)。直观上,这些全局约束在结构上引进了一个结(打结),固定把两股子地图靠拢。

以下几项均为constraint_builder的子项

fast_correlative_scan_matcher

分支定界

1
2
3
4
5
6
7
fast_correlative_scan_matcher = 
{
# 这里的window大小明显比前端 real_time_correlative_scan_matcher 的大
linear_search_window = 7., # 依靠“分支定界”机制在不同的网格分辨率下工作,并有效地消除不正确的匹配
angular_search_window = math.rad(30.), # 一旦找到足够好的分数(高于最低匹配分数),它(scan)就会被送入Ceres扫描匹配器以优化姿势。
branch_and_bound_depth = 7, # 至少为1,应当是值越大,后端的作用越强
},

branch_and_bound_depth必须大于3,否则相当于暴力搜索,没有效果。和分辨率也有关系,0.05就用6和7,也就是可以不改。

ceres_scan_matcher

闭环检测的第二步,优化位姿图

1
2
3
4
5
6
7
8
9
10
11
ceres_scan_matcher = 
{
occupied_space_weight = 20.,
translation_weight = 10.,
rotation_weight = 1.,
ceres_solver_options = {
use_nonmonotonic_steps = true,
max_num_iterations = 10,
num_threads = 1,
},
},

这里和前端的csm不同了,occupied_space_weight较大,位移权重较小,旋转权重更小。

use_nonmonotonic_steps:是否允许计算cost时,短暂增大。false会计算到局部最小; true则增加计算量,可越过局部最小。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
  matcher_translation_weight = 5e2,
matcher_rotation_weight = 1.6e3,
# 残差方程的参数配置
optimization_problem = {
# Huber损失函数的尺度因子,核函数,用于filter outliers。该值越大,
# (potential) outliers(潜在)异常值 的影响越大。
huber_scale = 1e1,
acceleration_weight = 1e3, # IMU加速度的权重
rotation_weight = 3e5, # IMU旋转项的权重
# 基于local SLAM的姿势在连续节点之间进行平移的权重
local_slam_pose_translation_weight = 1e5,
# 基于里程计的姿势在连续节点之间进行平移的权重
local_slam_pose_rotation_weight = 1e5,
odometry_translation_weight = 1e5,
odometry_rotation_weight = 1e5,

fixed_frame_pose_translation_weight = 1e1,
fixed_frame_pose_rotation_weight = 1e2,
# 可以记录Ceres全局优化的结果并用于改进您的外部校准
log_solver_summary = false,
# 作为IMU残差的一部分
use_online_imu_extrinsics_in_3d = true,
fix_z_in_3d = false,
ceres_solver_options = {
use_nonmonotonic_steps = false,
max_num_iterations = 50,
num_threads = 7,
},
},

max_num_final_iterations = 200, # 在建图结束之后会运行一个新的全局优化,不要求实时性,迭代次数多
global_sampling_ratio = 0.003,
log_residual_histograms = true,
global_constraint_search_after_n_seconds = 10.,
-- overlapping_submaps_trimmer_2d = {
-- fresh_submaps_count = 1,
-- min_covered_area = 2,
-- min_added_submaps_count = 5,
-- },
}

global_sampling_ratio只在PoseGraph2D::AddTrajectoryIfNeeded中的FixedRatioSampler机制使用

overlapping_submaps_trimmer_2d 机制

源码在PoseGraph2D的构造函数里,对应has_overlapping_submaps_trimmer_2d参数

Trimmer是一个删除子图的操作,其具体参数在cartographer/configuration_files/pose_graph.lua中

1
2
3
4
5
6
overlapping_submaps_trimmer_2d =
{
fresh_submaps_count = 1,
min_covered_area = 2,
min_added_submaps_count = 5,
}

这段被注释的部分,如果放开就会发现,建图时重复走一条路,submap会不连续,很多相似的被删除了。上述参数主要是调整参数某数submap是否达到被删除的阈值。具体实现在overlapping_submaps_trimmer_2d.cc,可以简单理解为,删除与最新的1个submaps覆盖后剩余栅格小于2个的子图submap。

全局优化中的里程计

如果local SLAM 使用了单独的里程计(use_odometry = true), 我们可以相应地调整全局SLAM

有四个参数允许我们在优化中调整局部SLAM和里程计的各个权重:

1
2
3
4
POSE_GRAPH.optimization_problem.local_slam_pose_translation_weight
POSE_GRAPH.optimization_problem.local_slam_pose_rotation_weight
POSE_GRAPH.optimization_problem.odometry_translation_weight
POSE_GRAPH.optimization_problem.odometry_rotation_weight

可以根据我们对本地SLAM或odometry的信任程度来设置这些权重。默认情况下,里程计被加权到类似于本地slam(扫描匹配)姿势的全局优化中。然而,来自车轮里程计的旋转通常具有很高的不确定性,因此,旋转权重可以减小,甚至降低到0

参考:后端测试报告


tf2的学习(一)

现在的ROS提倡使用tf2

tf2经过重新设计,只提供tf的关键功能,不涉及转换等函数。

tf_conversions.transformations.quaternion_from_euler(roll, pitch, yaw)

每个listener都有一个buffer储存所有tf广播发出的transforms,当广播发出transform时,需要花点时间(毫秒级)才会进入buffer,所以请求now的transform时,会有一小段时间差。

使用tf2_ros::BufferlookupTransform()函数可以获得tf树的指定时间的转换。常用的指定时间是ros::Time(0)ros::Time::now,前者是缓冲区中最新可用的转换,后者就是当前的时间。对于now,由于时间差,可能出现报警

有时会出现报警: Lookup would require extrapolation into the past

对于这个报警,我们有四种解决方法:

  1. 完善lookupTransform的参数,增加ros::Duration(sec),sec大于报警中的时间差即可
  2. 使用tf2_ros::Buffer的canTransform函数,有可用的变换了再获得
  3. 使用tf message filter
  4. 忽视这个报警,未成功获取的新transform会放弃

一个比较优雅的程序是这样的:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
// #include <ros/ros.h>
// #include <tf2_ros/transform_listener.h>
// #include <geometry_msgs/TransformStamped.h>

ros::init(argc, argv, "tf_node");
ros::NodeHandle nh;
tf2_ros::Buffer buff;
tf2_ros::TransformListener listener(buff);
ros::Publisher pub = nh.advertise<geometry_msgs::TransformStamped>("transform",10);
ros::Rate rate(400);
while(nh.ok())
{
geometry_msgs::TransformStamped trans;
try {
ros::Time now = ros::Time::now();
// if(buff.canTransform("base_footprint","imu",now,
// ros::Duration(0.03),NULL)
// 30毫秒应该足够了
trans = buff.lookupTransform("base_footprint",
"imu", now,
ros::Duration(0.03) );
// else
// ROS_WARN("no transform in buffer");
} catch (tf2::TransformException & ex) {
ROS_WARN("%s", ex.what());
ros::Duration(1.0).sleep();
continue;
}
pub.publish(trans);
rate.sleep();
}

创建listener后,会接受tf2 transformations,对其缓存10秒。TransformListener对象应当是persist,否则cache不能填充。常见方法是让TransformListener对象作为类的成员变量。

lookupTransform获取的是TransformStamped消息,最后发布出来。因为加了Duration,try catch可以去掉。

由于实际上加了Duration,所以得到的不是当前的,而是上一个“当前”。换句话说,想得到当前最新的transform其实是没有意义的,一般都用ros::Time(0),Wiki上也是这么说的

怎么才知道我们修改后的程序有效了?一个是看程序运行后是否报警,还有就是echo transform话题,结果可以看到头部

只看seq和时间,如果增长一直很流畅,那就是修改生效了。如果修改还有问题,比如Duration时间太短,seq在增长一会后会有停顿,然后继续增长,这就是buffer里面空了,tf数据还没有插入到里面

已知点在子坐标系中的坐标和父子坐标系的变换,求点在父坐标系的坐标

用tf::transformPose更方便
1
2
3
4
5
6
7
8
9
10
geometry_msgs::PointStamped point_in, point_out;
point_in.header.frame_id = "child";
point_in.header.seq = 0;
point_in.header.stamp = ros::Time(0);
point_in.point.x = 2;
point_in.point.y = 1;
point_in.point.z = 4;

// buff跟上面的使用一样, 返回的point_out是point_in在 parent坐标系 的坐标
point_out = buff.transform(point_in, point_out, "parent", ros::Duration(1));

使用这段程序前,必须在find_package里添加 tf2-geometry-msgs,否则编译不成功。如果没有,需要先安装这两个包:

1
2
3
# 依赖库,  即使目前有,也要安装,可能需要更新
sudo apt-get install ros-kinetic-orocos-kdl
sudo apt-get install ros-kinetic-tf2-geometry-msgs

手动实现 tf2_ros::Buffer::transform函数

也就是用程序实现上面的转换

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
ros::init(argc, argv, "test_tf");
ros::NodeHandle nh;

tf2_ros::Buffer buff;
tf2_ros::TransformListener listener(buff);
geometry_msgs::TransformStamped transform =
buff.lookupTransform("parent","child",ros::Time(0),ros::Duration(1));

ROS_INFO("transform from parent to child x: %f",transform.transform.translation.x);
ROS_INFO("transform from parent to child y: %f",transform.transform.translation.y);
ROS_INFO("transform from parent to child z: %f\n",transform.transform.translation.z);

geometry_msgs::PointStamped point_in, point_out;
point_in.header.frame_id = "child";
point_in.header.seq = 0;
point_in.header.stamp = ros::Time(0);
// 在 child 坐标系中的点
point_in.point.x = 2;
point_in.point.y = 1;
point_in.point.z = 4;

ROS_INFO("point in child: 2, 1, 4\n");
point_out = buff.transform(point_in, point_out, "parent", ros::Duration(1));

ROS_INFO("point int parent, x: %f",point_out.point.x);
ROS_INFO("point int parent, y: %f",point_out.point.y);
ROS_INFO("point int parent, z: %f\n",point_out.point.z);

cout<<fixed<<setprecision(2);

Eigen::Quaterniond quaternion(transform.transform.rotation.w,
transform.transform.rotation.x,
transform.transform.rotation.y,
transform.transform.rotation.z
);
Eigen::Matrix3d rotation = quaternion.matrix();
cout << "rotation matrix: " <<endl<< rotation <<endl<<endl;

Eigen::Matrix4d m;
m.block(0,0,3,3) = rotation;

Eigen::Vector4d Vcol, Vrow;
Vcol << transform.transform.translation.x,
transform.transform.translation.y,
transform.transform.translation.z, 1;
m.col(3) = Vcol;

Vrow << 0,0,0,1;
m.row(3) = Vrow.transpose();
cout << "transform matrix: "<<endl<< m<<endl<<endl;

Eigen::Vector4d point;
point << point_in.point.x,
point_in.point.y,
point_in.point.z, 1;

Eigen::Vector4d transformed_point = m * point;
cout << "transformed point: "<<endl<<transformed_point.head(3) << endl;

我们已知parent-child的变换,首先需要从位移和欧拉角获得齐次变换矩阵,把point_in变换为齐次坐标,然后左乘齐次矩阵,再取结果的前三个元素。 tf变换的本质就是左乘变换矩阵

常用函数

1
2
3
4
5
6
7
8
9
10
11
12
13
void tf2::Transform::setIdentity()
{
// Matrix3x3 m_basis;
m_basis.setIdentity(); // 单位矩阵
// Vector3 m_origin;
m_origin.setValue(tf2Scalar(0.0), tf2Scalar(0.0), tf2Scalar(0.0));
}

Transform::operator*(const Transform& t) const
{
return Transform(m_basis * t.m_basis,
(*this)(t.m_origin) );
}

参考:
tf2_ros::Buffer Class
tf2_ros::MessageFilter
tf2_ros::BufferInterface
using “tf2” to transform coordinates

古月学院:位置角度平移旋转,“乱七八糟”的坐标变换