DID双重差分法：原理、Python实现与政策评估应用

双重差分法DID因果推断

于 2026-08-02 07:06:20 修改

·本内容遵循CC 4.0 BY-SA版权协议

1. DID双重差分法：因果推断的黄金标准

当我们需要评估某项政策或干预措施的真实效果时，简单比较干预前后的变化往往会受到其他混杂因素的干扰。双重差分法（Difference-in-Differences，简称DID）通过引入对照组，巧妙地剥离了时间趋势和其他外部因素的影响。这种方法在经济学、社会学和医学研究中广泛应用，比如评估最低工资政策对就业的影响，或者分析新药上市后的治疗效果。

DID的核心思想是构造一个"反事实"的对照组——假设没有受到干预的情况下，实验组会如何变化。通过比较实验组和对照组在干预前后的差异，我们能够得到更准确的因果效应估计。这种方法特别适合观测性研究（而非随机实验），因为现实中很多政策无法进行随机分配。

提示：DID方法成立的关键前提是"平行趋势假设"——在干预前，实验组和对照组的变化趋势应该是一致的。这个假设必须通过数据验证，否则结果可能产生偏差。

2. DID模型的数学原理与假设检验

2.1 基础模型构建

标准的DID模型可以用以下公式表示：

Y_it = α + β1Treat_i + β2Post_t + β3*(Treat_i×Post_t) + ε_it

其中：

Y_it 是第i个个体在时间t的结果变量
Treat_i 是分组虚拟变量（实验组=1，对照组=0）
Post_t 是时间虚拟变量（干预后=1，干预前=0）
β3 是我们关注的核心系数，代表干预的净效应

这个模型本质上是在比较两组在干预前后的变化差异。我们可以通过一个简单的例子来理解：

假设评估某教育政策对学生成绩的影响：

实验组（政策实施地区）平均成绩：
- 干预前：70分
- 干预后：80分
- 变化：+10分
对照组（未实施地区）平均成绩：
- 干预前：75分
- 干预后：82分
- 变化：+7分
DID估计值 = (80-70) - (82-75) = 3分

2.2 平行趋势检验

平行趋势假设是DID方法有效性的基石。检验方法通常包括：

事件研究法：将干预前多个时间点的系数可视化，观察趋势是否平行
placebo检验：在虚构的干预时间点进行检验，观察是否出现虚假效应
协变量平衡检验：比较两组在干预前的特征分布

在Python中，我们可以用linearmodels库的PanelOLS进行这些检验：

PYTHON

from linearmodels import PanelOLS

# 平行趋势检验

model = PanelOLS.from_formula(

'score ~ 1 + C(year) + C(year)*treated + EntityEffects',

data=df.set_index(['id', 'year'])

)

results = model.fit(cov_type='clustered', cluster_entity=True)

3. Python实现DID分析的完整流程

3.1 数据准备与清洗

典型的DID数据需要包含：

个体ID
时间变量
处理组标识
结果变量
可能的协变量

PYTHON

import pandas as pd

import numpy as np

# 生成模拟数据

np.random.seed(42)

n = 1000 # 总样本量

periods = 5 # 时间期数

df = pd.DataFrame({

'id': np.repeat(np.arange(n), periods),

'year': np.tile(np.arange(periods), n),

'treated': np.repeat(np.random.choice([0, 1], n, p=[0.7, 0.3]), periods),

'x1': np.random.normal(0, 1, n*periods),

'x2': np.random.binomial(1, 0.4, n*periods)

})

# 生成结果变量（含处理效应）

df['post'] = (df['year'] >= 2).astype(int)

df['y'] = 2 + 0.5*df['x1'] - 0.8*df['x2'] + 1.5*df['treated'] + 0.3*df['post'] + 0.7*(df['treated']*df['post']) + np.random.normal(0, 1, n*periods)

3.2 基础DID模型实现

使用statsmodels实现经典DID：

PYTHON

import statsmodels.formula.api as smf

# 经典DID回归

did_model = smf.ols('y ~ treated + post + treated*post', data=df).fit()

print(did_model.summary())

对于面板数据，建议使用更专业的linearmodels：

PYTHON

from linearmodels import PanelOLS

# 设置面板数据结构

df_panel = df.set_index(['id', 'year'])

# 双向固定效应模型

model = PanelOLS.from_formula(

'y ~ 1 + treated*post + EntityEffects + TimeEffects',

data=df_panel

)

results = model.fit(cov_type='clustered', cluster_entity=True)

print(results)

3.3 多期DID与事件研究法

当干预时间在不同个体间不一致时，需要使用多期DID方法：

PYTHON

# 创建相对时间变量

df['rel_time'] = df['year'] - df.groupby('id')['post'].transform('idxmax')

# 事件研究回归

event_study = smf.ols('y ~ C(rel_time) + C(treated):C(rel_time) + C(id) + C(year)', data=df).fit()

4. 高级应用与常见问题解决

4.1 异质性处理效应分析

有时处理效应在不同群体中存在差异，我们可以通过交互项来检验：

PYTHON

# 加入协变量交互项

hetero_model = smf.ols('y ~ treated*post + treated*post*x1 + treated*post*x2 + C(id) + C(year)', data=df).fit()

4.2 动态处理效应检验

检查处理效应是否随时间变化：

PYTHON

# 创建动态处理变量

df['time_since_treat'] = np.where(

df['treated'] == 1,

df['year'] - df.groupby('id')['post'].transform('idxmax'),

-1

)

# 动态效应模型

dynamic_model = smf.ols('y ~ C(time_since_treat) + C(id) + C(year)',

data=df[df['treated']==1]).fit()

4.3 常见错误与解决方案

自相关问题：在面板数据中，同一个体不同时期的误差项可能相关。解决方法：

PYTHON

# 使用聚类标准误

model.fit(cov_type='clustered', cluster_entity=True)
样本选择偏差：处理组和对照组在干预前就存在系统性差异。解决方法：
- 倾向得分匹配
- 双重稳健估计
溢出效应：处理组的行为影响到了对照组。解决方法：
- 重新定义对照组
- 空间计量方法

5. 实际案例：评估政策对就业的影响

让我们通过一个实际案例来巩固所学内容。假设我们要评估某地区最低工资政策对就业率的影响。

5.1 数据描述与预处理

PYTHON

# 加载就业数据

employment = pd.read_csv('employment_data.csv')

# 数据清洗

employment['post'] = (employment['year'] >= 2015).astype(int)

employment['treated'] = employment['state'].apply(lambda x: 1 if x in ['CA', 'NY'] else 0)

# 描述性统计

print(employment.groupby(['treated', 'post'])['employment_rate'].mean())

5.2 基础DID估计

PYTHON

# 基础DID模型

did_emp = smf.ols('employment_rate ~ treated + post + treated*post + C(state) + C(year)',

data=employment).fit(cov_type='cluster',

cov_kwds={'groups': employment['state']})

print(did_emp.summary())

5.3 平行趋势检验

PYTHON

# 创建事件时间变量

employment['event_time'] = employment['year'] - 2015

# 事件研究回归

event_emp = smf.ols('employment_rate ~ C(event_time) + C(event_time)*treated + C(state) + C(year)',

data=employment).fit()

5.4 稳健性检验

PYTHON

# 1. 安慰剂检验：虚构处理时间

employment['placebo_post'] = (employment['year'] >= 2013).astype(int)

placebo_model = smf.ols('employment_rate ~ treated + placebo_post + treated*placebo_post + C(state) + C(year)',

data=employment).fit()

# 2. 协变量平衡检验

from statsmodels.stats.weightstats import CompareMeans

pre_treated = employment[(employment['post']==0) & (employment['treated']==1)]

pre_control = employment[(employment['post']==0) & (employment['treated']==0)]

cm = CompareMeans.from_data(pre_treated['gdp_per_cap'], pre_control['gdp_per_cap'])

print(cm.summary())

6. DID方法的扩展与前沿应用

6.1 三重差分法（DDD）

当平行趋势假设不成立时，可以考虑三重差分法，引入第二个对照组：

PYTHON

# 假设我们有跨行业数据

ddd_model = smf.ols('y ~ treated*post*industry + C(state) + C(year) + C(industry)',

data=df).fit()

6.2 合成控制法

当对照组数量有限时，可以构造"合成对照组"：

PYTHON

from sklearn.linear_model import LassoCV

# 使用LASSO选择最优权重

controls = df[df['treated']==0].pivot(index='year', columns='state', values='y')

lasso = LassoCV(cv=5).fit(controls.dropna(), df[df['treated']==1].groupby('year')['y'].mean())

weights = lasso.coef_

6.3 机器学习与DID结合

将机器学习方法引入DID框架：

PYTHON

from sklearn.ensemble import RandomForestRegressor

# 使用随机森林估计倾向得分

X = df[df['post']==0].drop(['y', 'treated', 'post'], axis=1)

y = df[df['post']==0]['treated']

ps_model = RandomForestRegressor().fit(X, y)

df['ps_score'] = ps_model.predict(df.drop(['y', 'treated', 'post'], axis=1))

# 加权DID

weighted_did = smf.wls('y ~ treated + post + treated*post',

data=df,

weights=1/df['ps_score']).fit()

7. 实用建议与经验分享

在实际应用中，我发现以下几点特别值得注意：

数据可视化先行：在跑回归前，先画出实验组和对照组的时间趋势图。这能直观检查平行趋势假设，也能发现数据异常。

PYTHON

import seaborn as sns

import matplotlib.pyplot as plt

sns.lineplot(data=df, x='year', y='y', hue='treated', estimator='mean')

plt.axvline(x=2, color='r', linestyle='--') # 干预时间点

plt.show()

标准误的选择：根据数据结构选择合适的标准误计算方式：
- 个体层面聚类：适用于同一个体多次观测
- 时间层面聚类：适用于时间序列相关性
- 双重聚类：更保守的估计
样本量考量：DID方法需要足够的样本量，特别是当处理组比例较小时，估计可能不精确。一个经验法则是每组至少50-100个观测。
处理效应异质性：平均处理效应可能掩盖重要信息。建议：
- 分样本回归（如按地区、行业）
- 加入交互项
- 使用分位数回归
代码调试技巧：遇到模型不收敛或结果异常时：
- 检查虚拟变量设置是否正确
- 确认面板数据是否平衡
- 尝试简化模型逐步排查

注意：在Python中实现DID时，经常会遇到"_mainthread' object has no attribute 'isalive'"这类多线程错误。这通常是因为在Jupyter notebook中直接运行并行计算导致的。解决方法是在脚本最前面添加：

PYTHON

if __name__ == '__main__':

# 主代码放在这里

或者使用更简单的单线程模式。