Salah satu makalah favorit saya dalam beberapa tahun terakhir termasuk diagram ini. Ini menunjukkan dampak pengendalian untuk tiga jenis variabel yang berbeda: confounders, colliders, dan mediators. Dengan pengacau, kontrol itu baik. Dengan yang lain, Anda merusak hasil Anda dengan mengontrol.

Jika Anda memiliki variabel dengan kesalahan pengukuran, Anda dapat menemukan variabel bermasalah lainnya: proxy. Variabel proxy dapat membuat semua distorsi ini jauh lebih buruk dan jauh lebih sulit untuk ditangani.

Makalah ini membuat pengamatan sederhana ini: kontrol statistik membutuhkan pembenaran kausal. Itu sebenarnya judulnya. Mereka memberikan beberapa contoh berbasis DAG. Pertimbangkan yang ini: apakah edutainment adalah pengacau atau mediator? Haruskah Anda mengendalikannya, atau apakah itu akan memihak perkiraan Anda?

Ini selalu sesuatu yang harus Anda pertimbangkan, tetapi sejujurnya, luar biasa untuk berpikir secara kausal tentang kontrol statistik. Banyak makalah melakukan hal-hal seperti mengontrol variabel hilir yang tidak relevan (proxy), atau mereka secara tidak sengaja mengontrol mediator. Itu norma!

Artikel saya membahas lebih banyak masalah dengan penggunaan dan penyalahgunaan kontrol. Misalnya, mencatat bahwa dibutuhkan banyak data dan upaya untuk mendapatkan penilaian kecenderungan untuk mencocokkan eksperimen:

Ia mencatat bahwa temuan yang diberikan mungkin tidak berarti apa yang dikatakannya:

Dan itu menunjukkan bahwa bahkan standar emas inferensi kausal—RCT—perlu dilakukan dengan benar, atau Anda akan berakhir dalam situasi di mana perkiraan efek Anda meningkat dan kesimpulan Anda salah.