假设我有一个行车记录仪的视频。我想用运动技术结构构建录制场景的点云。首先，我需要跟踪一些观点。
哪种算法可以产生更好的结果？通过使用稀疏光流（Kanade-Lucas-Tomasi跟踪器）或密集光流（Farneback）？我做了一些实验，但无法真正决定。他们每个人都有自己的优点和缺点。
最终目标是获得场景中记录的汽车的点云。通过使用稀疏光流，我可以跟踪汽车的有趣点。但这将是非常难以预测的。一种解决方案是在图像中制作某种网格，并强制跟踪器跟踪每个网格中的一个有趣点。但我认为这很难。
通过使用密集的流动，我可以得到每个像素的运动，但问题是，它无法真正检测到只有很少运动的汽车的运动。此外，我怀疑算法产生的每个像素的流量都是准确的。另外，有了这个，我相信我只能在两帧之间获得像素移动（不像使用稀疏光流，我可以在t时间获得同一个有趣点的多个坐标）
您的标题表示SFM，包括姿势估计，
跟踪只是第一步（匹配），如果你想要视频中的点云（非常艰巨的任务）我会想到的第一件事是捆绑调整，它也适用于MVE，
然而，对于视频我们可以做得更多，因为帧彼此太接近，我们可以使用更快的算法，如（光流），/比匹配SIFT /并从中提取F矩阵，然后：
E = 1 / K * F * K.
回到原来的问题，更好的是：
1）密集光流，或
2）稀疏的。
显然你是在离线工作，所以不重视速度，但我会推荐稀疏的，
更新
对于三维重建，密集可能看起来更有吸引力，但正如你所说它很少很强大，所以你可以使用稀疏但添加尽可能多的点，你想使它半密集，
我不能说出一些可以做到这一点的方法，比如单声道或者强力击球
最后更新
在我之前写的时候使用半密集，但SFM总是假设静态对象（没有移动）或它永远不会工作。
在实际中使用图像中的所有像素是从未用于三维重建的东西（不是直接方法），并且总是SIFT被称赞为特征检测和匹配的方式，最近所有像素都用于不同类型的校准，对于前者在类似的方法中：Direct Sparse odometry和LSD称为Direct方法