Einer meiner Lieblingsartikel der letzten Jahre enthielt dieses Diagramm. Es zeigt die Auswirkungen der Kontrolle von drei verschiedenen Arten von Variablen: Störfaktoren, Kollidatoren und Mediatoren. Bei Störfaktoren ist Kontrolle gut. Bei den anderen ruinierst du dein Ergebnis durch Kontrolle.

Wenn Sie Variablen mit Messfehlern haben, können Sie auf eine weitere problematische Variable stoßen: die Proxy-Variable. Proxy-Variablen können all diese Verzerrungen erheblich verschlimmern und viel schwieriger zu handhaben machen.

Das Papier macht diese einfache Beobachtung: Statistische Kontrolle erfordert eine kausale Rechtfertigung. Das ist tatsächlich der Titel. Sie gaben mehrere Beispiele auf Basis von DAGs. Betrachten Sie dieses: Ist Edutainment ein Störfaktor oder ein Mediator? Sollten Sie dafür kontrollieren, oder würde das Ihre Schätzung verzerren?

Das ist immer etwas, das man berücksichtigen muss, aber es ist, ehrlich gesagt, außergewöhnlich, kausal über statistische Kontrolle nachzudenken. Viele Arbeiten tun Dinge wie die Kontrolle für irrelevante nachgelagerte Variablen (Proxys) oder sie kontrollieren unbeabsichtigt für Mediatoren. Das ist die Norm!

Mein Artikel behandelt viele weitere Probleme im Zusammenhang mit der Verwendung und dem Missbrauch von Kontrollen. Zum Beispiel wird darauf hingewiesen, dass es viel Daten und Aufwand erfordern kann, um die Neigungspunktzahlen an Experimente anzupassen:

Es wird darauf hingewiesen, dass eine bestimmte Feststellung möglicherweise nicht das bedeutet, was sie zu sagen scheint:

Und es zeigt, dass selbst der Goldstandard der ursächlichen Inferenz – die RCT – richtig durchgeführt werden muss, sonst landet man in einer Situation, in der die Effektabschätzungen übertrieben sind und die Schlussfolgerungen falsch sind.