Pandas - 使用可变长度滚动窗口聚合值

Question

以下数据框用作输入：

import pandas as pd
import numpy as np

json_string = '{"datetime":{"0":1528955662000,"1":1528959255000,"2":1528965487000,"3":1528966204000,"4":1528966289000,"5":1528971637000,"6":1528974438000,"7":1528975251000,"8":1528982200000,"9":1528992569000,"10":1528994282000},"hit":{"0":1,"1":0,"2":0,"3":0,"4":0,"5":1,"6":1,"7":0,"8":1,"9":0,"10":1}}'
df = pd.read_json(json_string)

本练习要求您计算每个时刻 (

hit

) 的

datetime

列的平均值。但是，当前观察值不应包含在平均值中。例如，第一个观测值（索引 = 0）得到

np.NaN

，因为除了我们计算平均值的观测值之外没有其他观测值。第二个观测值（索引=1）得到 1，因为 1/1 = 1（不包括第二个观测值的 0）。第三个观察值（索引=2）得到 0.5，因为 (1+0)/2=0.5。

我的代码提供了正确的答案（就数字而言），但并不优雅。我想知道你是否可以用不同的东西来完成这个练习。是否可以使用

pandas.api.indexers.VariableOffsetWindowIndexer

或

pandas.api.indexers.BaseIndexer

然后

get_window_bounds()

方法？

我的解决方案：

def add_hr(df):
    """
    Generate a feature `mean_hr` which represents the average hit rate
    at the moment of making the offer (`datetime`).

    Parameters
    ----------
    df : pandas.DataFrame
        The `hit` column must be present. Ascending/descending order in the `datetime`
        column is not assumed.

        hit : int
        datetime : string (format='%Y-%m-%d %H:%M:%S')

    Returns
    ----------
    df_expanded : pandas.DataFrame
        A (deep) copy of the input pandas.DataFrame.
    """

    df_expanded = df.copy(deep=True)

    df_expanded.sort_values(by=['datetime'], ascending=True, inplace=True)

    df_expanded['mean_hr'] = df_expanded['hit'].expanding().mean()

    srs = df_expanded['mean_hr']

    srs = srs[:len(srs)-1]
    srs = pd.concat([pd.Series([np.nan]), srs])
    df_expanded['mean_hr'] = srs.tolist()

    return df_expanded

完全免责声明：该练习是一个月前招聘流程的一部分。招聘现已结束，我无法再提交代码了。

Answer 1

您想要实现的一个更简单的版本就是简单地移动扩展均值的索引，如下所示

df.sort_values(by=['datetime'], inplace=True)
df['mean_hit'] = df.expanding().mean().shift(1)

Answer 2

看来这个问题可以通过子类化

BaseIndexer

类来解决：

from pandas.api.indexers import BaseIndexer

class CustomIndexer(BaseIndexer):
    
    def get_window_bounds(self, num_values, min_periods, center, closed, step):
        
        end = np.arange(0, num_values, step, dtype='int64')
        start = np.zeros(len(end), dtype='int64')
                
        return start, end  
    
indexer = CustomIndexer(window_size=0)

df_expanded = df.copy(deep=True)

df_expanded = df_expanded.rolling(indexer).mean()