Wie man prüft, ob etwas stimmt: die wissenschaftliche Methode

Vom Eindruck zur Prüfung

Am Anfang steht fast immer eine Beobachtung: Nach dem Tee ging es besser, auf dem Beet mit Kompost wuchs mehr. Solche Eindrücke sind wertvoll. In dem Buch „Wo ist der Beweis?“, das Fachleute der evidenzbasierten Medizin für Laien geschrieben haben, heißt es, dass Beobachtungen von Patienten und Ärzten häufig der Ausgangspunkt für eine formale Prüfung sind. Als Grundlage für sichere Schlüsse reichen einzelne Beobachtungen aber nicht.

Daraus ergibt sich ein Ablauf in vier Schritten, den du auf fast jede praktische Frage anwenden kannst. Du beobachtest etwas. Du formulierst eine Vermutung, die sich als falsch herausstellen könnte – etwa „Asche erhöht den Ertrag meiner Bohnen“. Du planst einen Test, der diese Vermutung widerlegen kann. Und du wertest das Ergebnis aus, auch wenn es dir nicht gefällt.

Wichtig ist die Reihenfolge. Das Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) betont, dass eine Studie vor ihrem Beginn sorgfältig geplant werden muss: was genau untersucht wird, wie lange und wie das Ergebnis gemessen wird. Wer erst hinterher entscheidet, was als Erfolg zählt, findet fast immer einen.

Warum wir uns so leicht täuschen

Viele Beschwerden gehen von selbst vorbei. „Wo ist der Beweis?“ beschreibt, dass Halsschmerzen, Magenkrämpfe oder Hautausschläge häufig ohne Behandlung abklingen – und dass Menschen die Besserung dann dem Mittel zuschreiben, das sie zufällig gerade genommen haben. Wer nur dann etwas unternimmt, wenn es am schlimmsten ist, erlebt danach fast zwangsläufig eine Besserung.

Dazu kommen Denkfehler, die jeder hat. Wir halten ein Ereignis leicht für die Ursache des nächsten, sehen Muster, wo keine sind, und unterliegen dem Bestätigungsfehler: Wir sehen, was wir zu sehen erwarten, und übersehen, was unserer Meinung widerspricht. Das Buch nennt als Beispiele Münzwürfe, Aktienkurse und Korbwürfe beim Basketball.

Schließlich wirkt die Erwartung selbst. Menschen, die an eine Behandlung glauben, berichten laut „Wo ist der Beweis?“ auch dann von Besserung, wenn sie gar keinen Wirkstoff enthielt – nach einer Zuckertablette oder einer Wasserspritze. Das nennt man Placebo. Für dich heißt das: Dass es dir nach einem Hausmittel besser geht, beweist noch nicht, dass das Hausmittel wirkt.

Der faire Vergleich

Gegen all diese Täuschungen hilft ein einziges Werkzeug: der Vergleich mit einer Gruppe, die das Mittel nicht bekommt. Fair ist er nur, wenn Gleiches mit Gleichem verglichen wird – wenn also die Behandlung der einzige systematische Unterschied zwischen den Gruppen ist. So formuliert es „Wo ist der Beweis?“.

Das berühmteste Beispiel ist der Skorbut-Versuch von James Lind 1747, den der Artikel über Mangelkrankheiten erzählt. Lind wählte Kranke in einem vergleichbaren Stadium aus, gab allen dieselbe Kost und brachte sie unter ähnlichen Bedingungen unter. Hätte er das wirksame Mittel nur den Schwerkranken gegeben, wäre es schlechter weggekommen, obwohl es das bessere war.

Wer bekommt was? Am saubersten entscheidet das der Zufall. Das IQWiG erklärt, warum: Die zufällige Zuteilung verhindert, dass jemand bewusst oder unbewusst die aussichtsreichen Fälle in die Gruppe mit dem vielversprechenden Mittel steckt. Im Alltag reicht dafür ein Münzwurf oder ein gezogenes Los.

Noch besser ist es, wenn die Person, die das Ergebnis beurteilt, nicht weiß, wer was bekommen hat. Das IQWiG nennt das Verblindung. Im Garten heißt das: Lass jemand anderen die Ernte wiegen oder die Pflanzen bewerten, ohne ihm zu sagen, welches Beet gedüngt wurde.

• Nur einen Punkt verändern, alles andere gleich lassen
• Eine Vergleichsgruppe ohne das Mittel mitlaufen lassen
• Per Los oder Münze zuteilen, nicht nach Gefühl
• Vorher festlegen, was gemessen wird
• Möglichst von jemandem auswerten lassen, der die Zuteilung nicht kennt

Zufall und kleine Zahlen

Auch ein fairer Vergleich kann täuschen, wenn er zu klein ist. „Wo ist der Beweis?“ erinnert daran, dass beim Münzwurf nicht selten fünfmal oder öfter hintereinander dieselbe Seite fällt. Je öfter man wirft, desto näher kommen sich Kopf und Zahl.

Das Buch rechnet ein Beispiel vor: Sterben von je 10 Behandelten mit Mittel A 4 und mit Mittel B 6, kann das purer Zufall sein. In der nächsten kleinen Gruppe könnte es umgekehrt ausgehen oder 5 zu 5 stehen. Sterben dagegen von je 100 Behandelten 40 und 60, ist dasselbe Verhältnis viel weniger wahrscheinlich ein Zufall.

Für deine Versuche folgt daraus: Ein einzelner Topf, eine einzelne Pflanze, ein einziger Durchgang sagen wenig. Nimm so viele Samen, Pflanzen oder Beete, wie du dir leisten kannst, und sei misstrauisch gegenüber knappen Unterschieden. Ein großer, deutlicher Unterschied bei vielen Einzelfällen ist ein Ergebnis – ein kleiner bei wenigen ist bestenfalls ein Hinweis.

Zusammenhang ist nicht Ursache

Zwei Dinge können zusammen auftreten, ohne dass das eine das andere bewirkt. Das IQWiG gibt dafür ein Beispiel: Wenn Menschen, die viel rotes Fleisch essen, öfter an Darmkrebs erkranken, liegt der Verdacht nahe, dass das Fleisch schuld ist. Es könnte aber auch sein, dass dieselben Menschen häufiger rauchen, mehr Alkohol trinken oder öfter Übergewicht haben.

Verlässliche Aussagen über Ursache und Wirkung erlauben laut IQWiG nur Vergleiche mit zufällig zugeteilten Gruppen. Reine Beobachtung zeigt meist nur einen Zusammenhang, eine Korrelation.

Auf deinen Alltag übertragen: Das Beet mit dem meisten Kompost trägt am besten – aber vielleicht liegt es auch am sonnigsten, oder es wird öfter gegossen, weil es am Weg liegt. Bevor du eine Ursache annimmst, frag dich, was sonst noch anders ist. Den Rest klärt der faire Vergleich.

Drei Versuche für die Lage danach

Keimprobe beim Saatgut: Die Bayerische Gartenakademie empfiehlt für älteres Saatgut eine Probeaussaat mit genau abgezählten Körnern. Das lohnt sich nur, wenn weit mehr als zehn Samen vorhanden sind. Keimen in den folgenden zwei bis drei Wochen nur wenige, säst du dichter aus oder nimmst neues Saatgut. Die Haltbarkeit ist sehr verschieden: Tomatensamen bleiben laut Gartenakademie oft länger als fünf Jahre keimfähig, Pastinakensamen kauft man am besten jedes Jahr neu. Zähle die gekeimten Samen und schreibe den Anteil auf – dann weißt du im nächsten Jahr, wie dicht du säen musst.

Düngerversuch mit zwei Beeten: Zwei Beete sind zwei Einzelfälle, und Boden, Sonne oder Wasser können sich unterscheiden. Besser ist es, eine Fläche in mehrere gleich große Streifen zu teilen und per Münzwurf zu bestimmen, welche Streifen gedüngt werden. Gleiche Sorte, gleicher Saattag, gleiches Gießen. Gewogen wird am Ende jeder Streifen für sich – möglichst von jemandem, der nicht weiß, welcher gedüngt war. Das ist eine Übertragung der oben beschriebenen Regeln, keine amtliche Anleitung.

Wasserfilter vergleichen: Hier hat der Selbstversuch eine harte Grenze. Durchfluss, Handhabung und wie klar das Wasser wird, kannst du nebeneinander messen. Ob Krankheitserreger entfernt werden, siehst du nicht – dafür braucht es ein Labor. Klares Wasser ist deshalb kein Beleg für sicheres Wasser. Wie du Trinkwasser zuverlässig aufbereitest, steht im Artikel „Wasser aufbereiten im Notfall“.

Aufschreiben, wiederholen, Quellen prüfen

Das Gedächtnis ist kein Messgerät. Es behält die Treffer und vergisst die Fehlschläge – genau das ist der Bestätigungsfehler. Wer vorher aufschreibt, was er erwartet, und nachher, was passiert ist, kann sich später nicht mehr selbst etwas vormachen.

Ein Ergebnis wird glaubwürdig, wenn es sich wiederholen lässt: im nächsten Jahr, auf einem anderen Beet, bei den Nachbarn. Das Rechenbeispiel aus „Wo ist der Beweis?“ zeigt, warum: Eine zweite kleine Gruppe kann das Ergebnis der ersten umdrehen. Hält es mehreren Wiederholungen stand, darfst du ihm trauen.

Die meisten Aussagen kannst du nicht selbst testen. Dann prüfst du die Quelle. Die Bundeszentrale für politische Bildung stellt dafür den Vertrauenscheck des gemeinnützigen Vereins codetekt vor. Eine vertrauenswürdige Nachricht gibt Auskunft über ihre Quellen, macht nachvollziehbar, woher die Informationen stammen, und zeigt, dass entsprechende Fachkenntnis vorliegt. Zitate sind klar zuordenbar, der Inhalt ist sachlich statt übertrieben emotional, und eine verantwortliche Person ist benannt. Die bpb weist offen darauf hin, dass wissenschaftliche Studien zur Wirksamkeit dieses Checks noch ausstehen.

Auf diesem Grundsatz beruht auch diese Wissensdatenbank: Jede Zahl steht an einer Quelle, die du selbst nachlesen kannst. Die kürzeste Form der Methode sind zwei Fragen, die du jeder Behauptung stellen kannst – auch dieser Seite: Wer sagt das? Und woher weiß er es?