Signifikansens tømmermænd

Nytårsforsætterne er allerede arkiveret. Men én dårlig vane hænger ved året rundt: Vores hjerne snyder os til at se sammenhænge, der reelt ikke findes. Både i organisationer og i privatlivet lider vi af en farlig trang til at tillægge vores egne handlinger alt for stor betydning.

Vores hjerne er programmeret til at reagere, hver gang græsset bevæger sig. På savannen var den paranoia en livsforsikring. I dag, hvor savannen er udskiftet med endeløse datastrømme, kan det være en kognitiv fælde, der får os til at jage spøgelser.

Når vi ser et udsving – et kriseramt projekt, der pludselig kommer i mål, eller sidste års hyldede Gazelle-virksomhed, der ikke genvinder prisen året efter – insisterer hjernen på at finde en årsag.

Uvished er ubehagelig, så vi griber ofte den nærmeste forklaring: "Det var min opsang til teamet, der vendte skuden" eller "Succesen er steget dem til hovedet – de har mistet sulten."

Vi bilder os ind, at vi har knækket koden. Men ofte har vi bare stirret ind i naturlige udsving og statistikkens tyngdelov – og ladet hjernen fylde hullerne ud.

Det usynlige isbjerg af "mislykkede" studier

I videnskabens verden er jagten på "signifikans" benhård. Men forskningen kæmper med en troværdighedskrise. Mange opsigtsvækkende resultater kan simpelthen ikke genskabes, når andre forsøger at gentage forsøget.

Problemet bunder i høj grad i incitamenter. En forskers karriere, bevillinger og anseelse afhænger af evnen til at publicere positive resultater. Ingen får Nobelprisen for at bevise, at ingenting skete.

Fordi systemet primært belønner "succes", kan det friste forskeren til – bevidst eller ubevidst – at designe sine forsøg eller massere sine data, indtil de viser det ønskede resultat. I nogle tilfælde ændres hypotesen først efter, data er indsamlet. Det svarer til at male skydeskiven, efter man har skudt.

Herudover støder vi på "skuffe-effekten" (publikationsbias).

Forestil dig, at 20 forskerhold undersøger den samme hypotese. De 19 hold finder ingen effekt – deres forsøg "mislykkes" i systemets øjne – og resultaterne ender i skrivebordsskuffen. Det 20. hold finder, måske ved et rent statistisk lykketræf, en positiv effekt og bliver publiceret.

Verden ser kun toppen af isbjerget: Det ene succesfulde studie. Vi konkluderer fejlagtigt, at metoden virker, fordi vi aldrig ser de 19 gange, den ikke gjorde.

Fra laboratoriet til din LinkedIn-feed

Skuffe-effekten rammer ikke kun forskning. Den rammer enhver af os, der forsøger at lære af erfaring.

For ligesom forskeren kun ser de publicerede succeser, ser du kun de metoder, der "virkede" – aldrig de hundrede gange, samme metode fejlede hos andre. Og værre endnu: Du ser heller ikke de gange, dine egne succeser skyldtes tilfælde.

Kast et blik på din digitale nyhedsstrøm – LinkedIn, YouTube, erhvervsmedierne. Her lever skuffe-effekten i bedste velgående, bare uden videnskabens filtre. Når eksperter deler deres seneste råd, belønner algoritmerne det nye, det opsigtsvækkende og det, der virker lige nu. De to metoder, der blev afprøvet i sidste uge og fejlede, høster ingen likes – derfor ser du dem aldrig.

Er det sat på spidsen? Ja.

Men vi er alle underlagt spillet om opmærksomhed, og netop derfor skal vi være ekstra kritiske over for de "sandheder", vi præsenteres for.

Den farlige cocktail: Statistik og selvbedrag

Nobelprismodtageren Daniel Kahneman beskriver i At tænke – hurtigt og langsomt en episode med israelske flyveinstruktører.

En erfaren instruktør var dybt uenig med Kahneman i, at guleroden virker bedre end pisken. Det talte imod alt hans erfaring: "Når jeg roser en kadet for en god manøvre, flyver han oftest dårligere næste gang. Når jeg skælder ud over en elendig manøvre, flyver han bedre næste gang."

Instruktøren havde ret i sin observation, men tog fejl af årsagen. Han overså regression mod gennemsnittet.

Præstationer svinger naturligt. En ekstremt god flyvning er en "outlier" og vil statistisk set næsten altid blive efterfulgt af en mere gennemsnitlig præstation – uanset om instruktøren roser eller tier stille. Det samme gælder den dårlige flyvning; den vil naturligt blive efterfulgt af en forbedring.

Tænk på det som en elastik: Jo længere en præstation strækkes væk fra det normale, desto stærkere trækker statistikken den tilbage. Instruktørens brøl var irrelevant for præstationsforbedringen. Det var ren matematik.

Men her opstår den giftige cocktail:

Skynd dig langsomt: Kunsten at navigere i støj

Vi ser kausale sammenhænge i støjfyldte data, fordi alternativet er udfordrende. Når verden også er påvirket af tilfældigheder, bliver det vanskeligere at drage entydige erfaringer. Derfor opfinder hjernen mønstre for at skabe orden i det uvisse.

Men i en verden oversvømmet af information er faren for at se spøgelser større end nogensinde. Vi risikerer at ende som kuglen i en pinball-maskine, der kastes forvirret rundt af tilfældige udsving og uhensigtsmæssig læring.

Hvis salget dykker en smule den ene måned, lægger vi kursen om den næste. Men udsving er forventelige – de er en præmis for virkeligheden. At handle på hvert eneste lille skvulp er langt mere skadeligt end at have de lange briller på. Vi glemmer ofte, at reelle forandringer tager tid, og at de beslutninger, vi træffer i dag, sjældent slår igennem på kurverne i morgen.

Og her støder vi på data-paradokset: Mange lever i den vildfarelse, at "mere data" automatisk giver bedre beslutninger. Det er forkert. Data er ikke født lige, og troværdigheden varierer. Hvis du i forvejen har meget data, vil det nytilføjede sandsynligvis være mere usikkert.

Statistik er et formidabelt værktøj, men det er ikke stærkere end det svageste led. Hvis du hælder usikre data ind i en avanceret model, får du bare avanceret vrøvl ud i den anden ende.

Faktisk har mængden af information en "diminishing return". Jo flere forskellige (og ofte modstridende) datatyper du forsøger at balancere, desto mere mudret bliver billedet – indtil det punkt, hvor mere data direkte skader din dømmekraft.

Svaret er ikke mere data. Det er bedre rammer for læring.