是否有现有函数可以从 Pandas 或 Statsmodels 估计固定效应(单向或双向)。
Statsmodels 中曾经有一个功能,但似乎已停止使用。在 Pandas 中,有一个名为
plm
的东西,但我无法导入它或使用 pd.plm()
运行它。
正如评论中所指出的,从 0.20.0 版本开始,PanelOLS 已从 Pandas 中删除。所以你真的有三个选择:
如果您使用Python 3,则可以使用最新答案中指定的
linearmodels
:https://stackoverflow.com/a/44836199/3435183只需在您的
statsmodels
规范中指定各种虚拟对象,例如使用 pd.get_dummies
。如果固定效应数量很大的话可能不可行。或者做一些基于groupby的贬义,然后使用
statsmodels
(如果您估计大量固定效应,这会起作用)。以下是您可以为单向固定效果执行的操作的简单版本:
import statsmodels.api as sm
import statsmodels.formula.api as smf
import patsy
def areg(formula,data=None,absorb=None,cluster=None):
y,X = patsy.dmatrices(formula,data,return_type='dataframe')
ybar = y.mean()
y = y - y.groupby(data[absorb]).transform('mean') + ybar
Xbar = X.mean()
X = X - X.groupby(data[absorb]).transform('mean') + Xbar
reg = sm.OLS(y,X)
# Account for df loss from FE transform
reg.df_resid -= (data[absorb].nunique() - 1)
return reg.fit(cov_type='cluster',cov_kwds={'groups':data[cluster].values})
例如,假设您有一组股票数据:几个月内每个月所有股票的股票收益和其他股票数据,并且您希望对具有日历月固定效应的滞后收益进行回归(其中日历月变量称为
caldt
),并且您还希望按日历月对标准误差进行聚类。您可以使用以下方法来估计这样的固定效应模型:
reg0 = areg('ret~retlag',data=df,absorb='caldt',cluster='caldt')
如果使用旧版本的
Pandas
,您可以执行以下操作:
使用 pandas
PanelOLS
(位于 plm 模块中)的时间固定效果示例。注意,导入PanelOLS
:
>>> from pandas.stats.plm import PanelOLS
>>> df
y x
date id
2012-01-01 1 0.1 0.2
2 0.3 0.5
3 0.4 0.8
4 0.0 0.2
2012-02-01 1 0.2 0.7
2 0.4 0.5
3 0.2 0.3
4 0.1 0.1
2012-03-01 1 0.6 0.9
2 0.7 0.5
3 0.9 0.6
4 0.4 0.5
注意,数据框必须具有多索引集;
panelOLS
根据索引确定time
和entity
效果:
>>> reg = PanelOLS(y=df['y'],x=df[['x']],time_effects=True)
>>> reg
-------------------------Summary of Regression Analysis-------------------------
Formula: Y ~ <x>
Number of Observations: 12
Number of Degrees of Freedom: 4
R-squared: 0.2729
Adj R-squared: 0.0002
Rmse: 0.1588
F-stat (1, 8): 1.0007, p-value: 0.3464
Degrees of Freedom: model 3, resid 8
-----------------------Summary of Estimated Coefficients------------------------
Variable Coef Std Err t-stat p-value CI 2.5% CI 97.5%
--------------------------------------------------------------------------------
x 0.3694 0.2132 1.73 0.1214 -0.0485 0.7872
---------------------------------End of Summary---------------------------------
文档字符串:
PanelOLS(self, y, x, weights = None, intercept = True, nw_lags = None,
entity_effects = False, time_effects = False, x_effects = None,
cluster = None, dropped_dummies = None, verbose = False,
nw_overlap = False)
Implements panel OLS.
See ols function docs
这是另一个功能(如
fama_macbeth
),我相信计划将此功能移至statsmodels
。
有一个名为
linearmodels
(https://pypi.org/project/linearmodels/) 的包,它具有相当完整的固定效应和随机效应实现,包括集群标准误差。它不使用高维 OLS 来消除影响,因此可以用于大型数据集。
# Outer is entity, inner is time
entity = list(map(chr,range(65,91)))
time = list(pd.date_range('1-1-2014',freq='A', periods=4))
index = pd.MultiIndex.from_product([entity, time])
df = pd.DataFrame(np.random.randn(26*4, 2),index=index, columns=['y','x'])
from linearmodels.panel import PanelOLS
mod = PanelOLS(df.y, df.x, entity_effects=True)
res = mod.fit(cov_type='clustered', cluster_entity=True)
print(res)
这会产生以下输出:
PanelOLS Estimation Summary
================================================================================
Dep. Variable: y R-squared: 0.0029
Estimator: PanelOLS R-squared (Between): -0.0109
No. Observations: 104 R-squared (Within): 0.0029
Date: Thu, Jun 29 2017 R-squared (Overall): -0.0007
Time: 23:52:28 Log-likelihood -125.69
Cov. Estimator: Clustered
F-statistic: 0.2256
Entities: 26 P-value 0.6362
Avg Obs: 4.0000 Distribution: F(1,77)
Min Obs: 4.0000
Max Obs: 4.0000 F-statistic (robust): 0.1784
P-value 0.6739
Time periods: 4 Distribution: F(1,77)
Avg Obs: 26.000
Min Obs: 26.000
Max Obs: 26.000
Parameter Estimates
==============================================================================
Parameter Std. Err. T-stat P-value Lower CI Upper CI
------------------------------------------------------------------------------
x 0.0573 0.1356 0.4224 0.6739 -0.2127 0.3273
==============================================================================
F-test for Poolability: 1.0903
P-value: 0.3739
Distribution: F(25,77)
Included effects: Entity
它还有一个类似于statsmodels的公式界面,
mod = PanelOLS.from_formula('y ~ x + EntityEffects', df)
我编写了一个新包PyFixest,它遵循 R 包fixest的语法创新,实现了高维固定效应回归的多个例程。
PyFixest
支持 OLS、IV 和泊松回归,具有您想要的尽可能多的固定效应以及一系列推理程序(iid、HC1-3、CRV1 和 CRV3 推理以及野生簇引导程序)。
这是一个小代码示例:
from pyfixest.estimation import feols
from pyfixest.utils import get_data
data = get_data()
# fit a model via OLS
fit = feols("Y ~ X1 | f1 + f2", data=data)
fit.summary()
# Estimation: OLS
# Dep. var.: Y, Fixed effects: f1+f2
# Inference: CRV1
# Observations: 997
#
# | Coefficient | Estimate | Std. Error | t value | Pr(>|t|) | 2.5 % # | 97.5 % |
# |:--------------|-----------:|-------------:|----------:|-----------:|--------:|---------:|
# | X1 | 0.292 | 0.040 | 7.256 | 0.000 | 0.210 | 0.374 |
# ---
# RMSE: 1.199 R2: 0.554 R2 Within: 0.037
根据我的基准测试,它几乎与
fixest
和 FixedEffectsModels.jl
一样快,就性能而言,它们是同类中最好的。