En av mina favoritartiklar under de senaste åren innehöll det här diagrammet. Den visar effekten av att kontrollera för tre olika typer av variabler: confounders, colliders och mediatorer. Med confounders är det bra med kontroll. Med de andra förstör du ditt resultat genom att kontrollera.

Om du har variabler med mätfel kan du stöta på en annan problematisk variabel: proxyn. Proxyvariabler kan göra alla dessa snedvridningar mycket värre och mycket svårare att hantera.

Uppsatsen gör denna enkla iakttagelse: statistisk kontroll kräver kausal rättfärdigande. Det är faktiskt titeln. De gav flera exempel baserade på inhemska rådgivande grupper. Tänk på den här: är edutainment en confounder eller en medlare? Bör du kontrollera för det, eller skulle det snedvrida din uppskattning?

Detta är alltid något man måste tänka på, men det är ärligt talat exceptionellt att tänka kausalt på statistisk kontroll. Många artiklar gör saker som att kontrollera för irrelevanta nedströmsvariabler (proxys), eller så kontrollerar de oavsiktligt för mediatorer. Det är normen!

Min artikel går igenom många fler problem med användning och missbruk av kontroller. Den noterar till exempel att det kan krävas mycket data och ansträngning för att få benägenhetsbedömning för att matcha experiment:

Den noterar att ett visst resultat inte behöver betyda vad det säger att det gör:

Och det visar att till och med den gyllene standarden för kausal inferens – RCT – måste göras rätt, annars kommer du att hamna i en situation där dina effektuppskattningar är uppblåsta och dina slutsatser är felaktiga.