如何从数据系列中去除噪声

Question

我有一个包含潜在噪声的数据系列，其绘图是：

问题是消除噪声，留下高于较低水平的图案。下层是路面，突出的图案是金属制品，可以将它们视为排水沟盖或“沙井”。噪声也在一定程度上出现在图案中（见中间的）。 我不能指望路面噪音完全消失，沥青并不平坦，它有纹理（或者会像冰一样），但图案本质上是几何形状并且是定义的。

x 轴是距离（米），大约每毫米一个读数，y 轴是毫米。速度可以被认为是恒定的。

已尝试解决此问题。

萨维茨基-戈莱滤波器。这会降低信号的分辨率，使图案中的角变圆。图案被简化为一系列曲线。

signal.medfilt（中值滤波器）这不会降低模式分辨率，但增加内核大小也会圆角，同时在一定程度上消除噪声。

巴特沃斯低通或高通，这会使数据（图）变平，我需要测量最终过滤数据中的金属制品/图案。

尝试使用傅立叶变换方法让我完全困惑，因为示例的形式是“我们创建噪声数据，然后去掉我们创建的噪声”。我有嘈杂的数据，它只需要消失。大多数频率都很接近并且有点随机。

有没有一种方法可以消除噪音（它是路面和激光扫描的组合），留下金属制品的图像。

此后的最终要求是测量图案的高度（或幅度）以及峰之间的距离。

关于下一步探索何处的建议将不胜感激（纠正我的想法不是问题）。可以接受多个连续步骤来执行此操作。

Answer 1

这个系列有多大？如果超过 1000，您可以使用 ICA/PCA 等 ML 模型来减少噪声而不丢失数据。