Python Pandas数据帧减去累积列

Question

我有一些数据导入到Pandas数据帧中。此数据是“累积的”并在时间序列上编制索引，如下所示：

                        Raw data
2016-11-23 10:00:00     48.6 
2016-11-23 11:00:00     158.7 
2016-11-23 12:00:00     377.8 
2016-11-23 13:00:00     591.7 
2016-11-23 14:00:00     748.5 
2016-11-23 15:00:00     848.2 

数据每天更新，因此时间序列将每天向前移动一天。

我需要做的是获取此数据帧并创建一个新列，如下所示。第一行只是复制“原始数据”列中的数据。然后，每个后续行从“原始数据”列中获取数据，并减去在它之前出现的值，例如， 158.7 - 48.6 = 110.1,377.8 - 158.7 = 219.1等

有谁知道如何实现Python / Pandas中“过程数据”列中的内容？

                    Raw data    Processed data
23/11/2016 10:00    48.6        48.6
23/11/2016 11:00    158.7       110.1
23/11/2016 12:00    377.8       219.1
23/11/2016 13:00    591.7       213.9
23/11/2016 14:00    748.5       156.8
23/11/2016 15:00    848.2       99.7

Answer 1

您可以使用qazxsw poi减去subed列：

最后填写shift NaN的第一个值。

Raw data

Answer 2

我想你可以尝试这个，我发现很简单：将创建一个减去值的新列。

df['Processed data'] = df['Raw data'].sub(df['Raw data'].shift())
df['Processed data'].iloc[0] = df['Raw data'].iloc[0]
print (df)
                     Raw data  Processed data
2016-11-23 10:00:00      48.6            48.6
2016-11-23 11:00:00     158.7           110.1
2016-11-23 12:00:00     377.8           219.1
2016-11-23 13:00:00     591.7           213.9
2016-11-23 14:00:00     748.5           156.8
2016-11-23 15:00:00     848.2            99.7

Answer 3

您可以使用Pandas中的df['processed_data'] = df['Raw_data'].diff(1) 执行此操作，这样可以处理具有更多列的情况（这些列本身并不是唯一的）。

假设你有一个像DataFrame

timestep                fid        cumul_value
2016-11-23 10:00:00     1          48.6 
2016-11-23 11:00:00     1          158.7 
2016-11-23 12:00:00     1          377.8 
2016-11-23 13:00:00     1          591.7 
2016-11-23 14:00:00     1          748.5 
2016-11-23 15:00:00     1          848.2 
2016-11-23 10:00:00     2          88.6 
2016-11-23 11:00:00     2          758.7 
...
2016-11-23 12:00:00     5          577.8 
2016-11-23 13:00:00     5          691.7 
2016-11-23 14:00:00     5          348.5 
2016-11-23 15:00:00     5          148.2 

其中join代表另一个参数，其值fid变化。你想从列cumul_value获得一列value，使cumul_value为每个value(fid,timestep) = cumul_value(fid,timestep) - cumul_value(fid,timestep - 1)。

fid

通过处理可能是特殊情况的第一个时间步长结束（称之为

onestep = timedelta(hours=1)
df['prev_timestep'] = df['timestep'] - onestep
df_cumul = df[['id','fid','timestep','cumul_value']]
        .set_index(['timestep','fid'])
df_val = df.join(df_cumul,on=['prev_timestep','fid'],rsuffix='_prev')
df_val['value'] = df_val['cumul_value'] - df_val['cumul_value_prev']
df_val = df_val.drop(['prev_timestep','cumul_value_prev','cumul_value','id_prev'],axis=1)

）

t0