Selbsttest: was ein einzelner Versuch über Wirkung sagt

Ein einzelner Selbsttest zeigt dir, was bei diesem einen Mal passiert ist, und das ist ein guter Anfang. Ob es an der geprüften Sache lag, am Zufall oder an deiner Erwartung, kann ein Versuch allein noch nicht auseinanderhalten. Dafür braucht er einen Vergleich, ein paar Wiederholungen und, wo es geht, eine Verblindung, und das alles lässt sich auch zu Hause einrichten. Wie viel diese Bauteile ausmachen, zeigt die Forschung mit klaren Zahlen. Eine Auswertung von 130 klinischen Studien aus dem Jahr 2001 fand, dass kleine Versuche mehr Effekt zeigen als große, und ein Selbsttest mit n = 1 ist der kleinste Versuch überhaupt. Bei 100 wiederholten psychologischen Experimenten waren 97 Prozent der Originalarbeiten statistisch signifikant, bei den Wiederholungen waren es 36 Prozent. Wer Wirkung beurteilen will, schaut deshalb auf die Kontrollbedingung, auf unabhängige Wiederholungen, auf ein anerkanntes Messverfahren und auf den Signifikanztest.

Was ein Selbsttest mit einer einzigen Messung zeigt

Ein Selbsttest ist eine einzelne Beobachtung an einem einzelnen Gegenstand, meist ohne Vergleichsgruppe und ohne Wiederholung. In der Statistik heißt diese Lage n = 1.

Das Ergebnis kann ja trotzdem stimmen. Es hat nur ein rechnerisches Problem: Bei einer Stichprobe der Größe 1 gibt es keine Streuung, die sich schätzen ließe. Jede Messung schwankt, auch dieselbe Messung am selben Gegenstand an zwei Tagen. Wie groß diese Schwankung ist, sieht man erst mit einer zweiten Messung, und erst dann lässt sich ein echter Unterschied vom zufälligen Auf und Ab trennen.

Dazu kommt die Auswahl. Wer sich selbst testet, entscheidet allein, wann er misst, was er als Ergebnis wertet und wann er aufhört. Oft fallen diese Entscheidungen nach dem Blick auf die Daten, ganz ohne Absicht. Genau dagegen helfen die Bauteile einer ordentlichen Untersuchung.

Deshalb ist der Schritt von 1 auf 2 oder 3 so groß. Aus einer einzigen Beobachtung wird eine Hypothese, also eine gute Frage an die nächste Messung. Zu Daten wird eine Anekdote, wenn Vergleich und Wiederholung dazukommen, und die Wiederholung ist der einfachste Schritt dorthin.

Warum eine Kontrollbedingung über das Ergebnis entscheidet

Eine Kontrollbedingung ist der zweite, gleich behandelte Arm eines Versuchs, in dem allein die geprüfte Sache fehlt. Gegen diesen Vergleichswert wird ein Effekt gerechnet.

Wie viel das ausmacht, haben Asbjørn Hróbjartsson und Peter Gøtzsche 2001 an 130 klinischen Studien untersucht. Darin erhielten Teilnehmende zufällig entweder ein Scheinmittel oder gar keine Behandlung. Ausgewertet wurden 32 Studien mit binären Endpunkten an 3795 Patientinnen und Patienten sowie 82 Studien mit stetigen Endpunkten an 4730 Personen.

„As compared with no treatment, placebo had no significant effect on binary outcomes (pooled relative risk of an unwanted outcome with placebo, 0.95; 95 percent confidence interval, 0.88 to 1.02), regardless of whether these outcomes were subjective or objective."

Sinngemäß: Verglichen mit gar keiner Behandlung hatte das Scheinmittel keinen bedeutsamen Einfluss auf Ja-Nein-Endpunkte, unabhängig davon, ob diese subjektiv oder objektiv erhoben wurden. — Hróbjartsson A, Gøtzsche PC, Is the placebo powerless? An analysis of clinical trials comparing placebo with no treatment, New England Journal of Medicine 344(21), 2001, Seiten 1594–1602, DOI 10.1056/NEJM200105243442106

Spannend wird es bei den stetigen Endpunkten. Dort fand sich sehr wohl ein Vorteil des Scheinmittels, die standardisierte mittlere Differenz lag bei −0,28. Je größer die Studien waren, desto kleiner wurde dieser Vorteil. Kleine Versuche zeigen also systematisch mehr Effekt als große, und ein Selbsttest ist der kleinstmögliche Versuch.

Für die eigene Beobachtung heißt das ganz praktisch: zuerst fragen, womit man vergleicht, und danach, wie groß der Unterschied ist.

Was Erwartung im Versuch bewirkt

Der Nocebo-Effekt ist eine Verschlechterung des Befindens, die aus der Erwartung eines Menschen entsteht, unabhängig von dem Reiz, den er vermutet. Sein Gegenstück, der Placebo-Effekt, wirkt in die andere Richtung.

Zu elektromagnetischen Feldern gibt es dazu eine ungewöhnlich klare Datenlage. Ein Team um James Rubin am King's College London hat 2010 alle verfügbaren verblindeten Provokationsversuche zusammengetragen. Darin wurden Menschen, die sich selbst als elektrosensibel beschreiben, echten oder vorgetäuschten Feldern ausgesetzt.

„Including studies reported in our earlier review, 46 blind or double-blind provocation studies in all, involving 1175 IEI-EMF volunteers, have tested whether exposure to electromagnetic fields is responsible for triggering symptoms in IEI-EMF. No robust evidence could be found to support this theory."

Sinngemäß: Zusammen mit den Arbeiten aus der früheren Übersicht haben insgesamt 46 einfach oder doppelt verblindete Provokationsstudien mit 1175 Freiwilligen geprüft, ob die Einwirkung elektromagnetischer Felder die berichteten Beschwerden auslöst. Ein robuster Beleg dafür ließ sich nicht finden. — Rubin GJ, Nieto-Hernandez R, Wessely S, Idiopathic environmental intolerance attributed to electromagnetic fields: An updated systematic review of provocation studies, Bioelectromagnetics 31(1), 2010, Seiten 1–11, DOI 10.1002/bem.20536

Dieselbe Übersicht stützt die Rolle des Nocebo-Effekts beim Auslösen akuter Beschwerden. Die Menschen in diesen Versuchen haben ihre Beschwerden wirklich gespürt. Ob gerade ein Feld an war, konnten sie aber nicht besser sagen als durch Raten.

Für einen eigenen Versuch ist das eine nützliche Erkenntnis. Sobald du weißt, wann die geprüfte Sache da ist, spielt deine Erwartung mit, in die eine wie in die andere Richtung.

So wird dein eigener Versuch aussagekräftig

Du willst es selbst ausprobieren? Das ist ein guter Weg, und mit ein paar Handgriffen holst du viel mehr aus deinem Versuch heraus. Ein guter Selbsttest ist ein kleiner Versuch mit denselben Bauteilen, mit denen auch Forschende arbeiten.

• Vorher festlegen, worauf du achtest. Schreib auf, was du beobachten willst, etwa wie du geschlafen hast oder wie wach du dich am Nachmittag fühlst, und wie lange der Versuch läuft. Dann entscheidest du das nicht erst beim Blick auf die Ergebnisse.
• Mit Vergleichstagen arbeiten. Wechsle Tage mit und Tage ohne ab, damit Wetter, Stress oder ein langer Arbeitstag beide Seiten gleich treffen.
• Wiederholen. Ein einzelner Abend ist ein Einzelereignis. Über mehrere Wochen siehst du, wie stark dein Befinden ohnehin schwankt.
• Die Erwartung herausnehmen. Wo es sich einrichten lässt, entscheidet jemand anderes, an welchem Tag was dran ist, und du erfährst es erst am Ende.
• Aufschreiben. Ein kurzer Eintrag am Morgen, gleich neben dem Wecker auf dem Nachttisch, ist genauer als die Erinnerung ein paar Wochen später.

So wird aus einem Eindruck eine Beobachtung, mit der du wirklich etwas anfangen kannst.

Woran eine belastbare Studie zu erkennen ist

Eine belastbare Studie ist eine Untersuchung, die ihr Ergebnis gegen Zufall, Erwartung und Verzerrung absichert. Dafür hat die Forschung feste Bauteile, und jedes davon erkennt man schon beim Lesen.

Bauteil	Wogegen es schützt	Woran es erkennbar ist
Definiertes Modell	unklarer Gegenstand	Zelllinie, Tierart oder Personengruppe wird benannt
Kontrollgruppe	Verwechslung von Effekt und Ausgangslage	zweiter Arm ohne die geprüfte Sache
Verblindung	Erwartung von Teilnehmenden und Prüfenden	niemand weiß während der Messung, wer was bekam
Unabhängige Wiederholungen	Zufallstreffer	Anzahl der Versuchsreihen wird genannt, etwa n = 3
Signifikanztest	Überschätzung kleiner Unterschiede	p-Wert oder Konfidenzintervall steht am Ergebnis

Wie wichtig gerade die Wiederholung ist, zeigt die Replikationsstudie der Open Science Collaboration von 2015. Ein Verbund aus 270 Forschenden wiederholte 100 veröffentlichte Experimente aus drei psychologischen Fachzeitschriften, mit größeren Stichproben und, wo möglich, mit dem Originalmaterial.

„Ninety-seven percent of original studies had statistically significant results. Thirty-six percent of replications had statistically significant results."

Sinngemäß: 97 Prozent der Originalarbeiten hatten statistisch bedeutsame Ergebnisse. Bei den Wiederholungen waren es 36 Prozent. — Open Science Collaboration, Estimating the reproducibility of psychological science, Science 349(6251), 2015, aac4716, DOI 10.1126/science.aac4716

Die wiederholten Effekte fielen im Mittel halb so groß aus wie die ursprünglichen. John Ioannidis hatte diese Lage zehn Jahre zuvor hergeleitet. Er kam zu dem Schluss, dass eine Forschungsbehauptung bei den meisten Studienanlagen eher falsch als richtig sei (DOI 10.1371/journal.pmed.0020124). Forschung lebt deshalb von der Wiederholung, und ein Befund gewinnt an Gewicht, wenn er sich in weiteren Versuchen zeigt.

Was die Zellstudie zum QiOne 2 Pro misst

Zum QiOne 2 Pro gibt es einen Laborversuch an menschlichen Immunzellen der Linie HL-60, in unserem Auftrag und veröffentlicht am 30. April 2021 im Japan Journal of Medicine. Eine In-vitro-Studie ist ein Versuch an Zellen in Kultur, also außerhalb eines lebenden Körpers, unter genau festgelegten Bedingungen.

Untersucht wurde die Radikalbildung der Abwehrzellen unter Mobilfunkeinwirkung, in drei unabhängigen Experimenten und mit dem WST-1-Verfahren.

Bedingung	Radikalbildung, Anteil der unbelasteten Kontrolle
Mobilfunkeinwirkung ohne Schutz	60,5 ± 3,9 Prozent
Mobilfunkeinwirkung mit QiOne 2 Pro	84,7 ± 7,0 Prozent

Der Unterschied ist mit p ≤ 0,01 abgesichert. Die Arbeit benennt ihr Modell, vergleicht mit einer Kontrolle, wiederholt den Versuch dreimal und rechnet einen Signifikanztest. Durchgeführt hat die Versuche die Dartsch Scientific GmbH, mit Geräten, die wir dafür gestellt haben, und aus diesem Labor stammen alle vier unserer Zellstudien.

Was du selbst im Alltag erlebst, findest du am besten mit einem eigenen Versuch heraus: mit Vergleichstagen, ein paar Wiederholungen und so blind, wie es sich einrichten lässt.

Die Originalarbeiten stehen vollständig auf der Studienseite von Qi Blanco. Mit der physikalischen Erklärung dahinter beschäftigt sich der Beitrag zu kohärentem Wasser.

Welche Angaben sich selbst nachprüfen lassen

Eine nachprüfbare Angabe ist eine Aussage, die ihre Messgröße, ihre Messbedingung und ihre Quelle gleich mitnennt. Dann kann jemand anderes sie nachrechnen, ganz ohne Hilfe des Absenders.

Ein gutes Beispiel steckt in deiner Hosentasche. Für Handys nennt das Bundesamt für Strahlenschutz einen Höchstwert der spezifischen Absorptionsrate von 2 Watt pro Kilogramm. Gemittelt wird über sechs Minuten Einwirkdauer und über zehn Gramm Gewebe (Bundesamt für Strahlenschutz, SAR-Werte von Handys). Den Messwert und den Prüfabstand deines eigenen Geräts hinterlegt der Hersteller im Handy selbst, beim iPhone unter den rechtlichen Hinweisen in den Einstellungen. Die Angabe kommt also vom Hersteller, und man kann trotzdem gut mit ihr arbeiten, weil Messgröße, Bedingung und Prüfnorm offenliegen.

Mit diesen Fragen ordnest du eine Wirkungsangabe ein, auch die aus deinem eigenen Versuch:

1. Woran wurde gemessen, und wie oft?
2. Womit wurde verglichen?
3. Wie groß ist die Streuung, und steht ein p-Wert oder ein Konfidenzintervall daneben?

Bleibt eine Frage offen, ist die Angabe eine Hypothese, und damit ein guter Ausgangspunkt für die nächste Messung. Wie das bei einem Begriff wie strukturiertem Wasser aussieht, erzählt unser Beitrag dazu.

Häufige Fragen zum Selbsttest

Beweist ein gelungener Selbsttest gar nichts?

Er zeigt dir, dass das Ergebnis bei dieser einen Gelegenheit eingetreten ist. Ob Wirkung, Zufall oder Erwartung dahintersteckt, kann er allein noch nicht trennen, weil ihm Vergleich und Wiederholung fehlen. Als Anfang taugt er sehr wohl, und mit Vergleichstagen und ein paar Wiederholungen wird eine kleine Untersuchung daraus.

Warum reicht ein Vorher-Nachher-Vergleich nicht?

Weil sich zwischen vorher und nachher mehr ändert als die geprüfte Sache, etwa Schlaf, Wetter, Tagesform und die Erwartung an das Ergebnis. Ein Vorher-Nachher-Vergleich misst den Unterschied zwischen zwei Zeitpunkten. Aussagekräftiger ist der Vergleich zweier Bedingungen, zum Beispiel Tage mit und Tage ohne im Wechsel.

Was bedeutet p ≤ 0,01 in einer Studie?

Der p-Wert gibt an, wie wahrscheinlich ein mindestens so großer Unterschied wäre, wenn es in Wahrheit keinen gäbe. Bei p ≤ 0,01 liegt diese Wahrscheinlichkeit bei höchstens 1 Prozent. Wie groß der Unterschied ist, steht im Messwert selbst, bei der HL-60-Studie etwa 84,7 gegenüber 60,5 Prozent.

Was bringt eine Studie an Zellen für den Alltag?

Eine Zellstudie zeigt, ob ein Effekt unter kontrollierten Bedingungen überhaupt auftritt, und damit beginnt die Forschung an einer Frage. Beim QiOne 2 Pro ist das ein Laborversuch an menschlichen Immunzellen. Wie es dir im Alltag damit geht, findest du am besten mit einem eigenen, gut gemachten Versuch heraus.

Woran erkenne ich, ob eine Wirkungsangabe etwas taugt?

Achte darauf, ob eine Vergleichsbedingung genannt ist, wie oft gemessen wurde und ob neben dem Mittelwert eine Streuung steht. Stehen diese Angaben da, kannst du die Aussage gut selbst einordnen.

Kernaussagen auf einen Blick

• Ein Selbsttest mit n = 1 zeigt ein Einzelereignis und liefert eine Hypothese für die nächste Messung.
• Vergleichstage, Wiederholung und Verblindung machen auch einen Versuch zu Hause aussagekräftig.
• Erst die Kontrollbedingung trennt einen Effekt rechnerisch vom Zufall.
• 46 verblindete Provokationsstudien mit 1175 Teilnehmenden zeigen, wie stark die Erwartung das Befinden prägt (Nocebo-Effekt).
• Von 100 wiederholten Experimenten blieben 36 Prozent statistisch bedeutsam, gegenüber 97 Prozent der Originalarbeiten.
• Im Laborversuch an menschlichen Immunzellen (HL-60) lag die Radikalbildung mit QiOne 2 Pro bei 84,7 Prozent der unbelasteten Kontrolle, ohne Schutz bei 60,5 Prozent.
• Dieser Unterschied ist in drei unabhängigen Experimenten mit p ≤ 0,01 abgesichert.
• Woran gemessen, womit verglichen, mit welcher Streuung: Mit diesen Fragen ordnest du jede Wirkungsangabe ein.

Quellen und Belege

• Hróbjartsson A, Gøtzsche PC, Is the placebo powerless? An analysis of clinical trials comparing placebo with no treatment, New England Journal of Medicine 344(21), 2001, 1594–1602. https://doi.org/10.1056/NEJM200105243442106 · Nachweis: https://pubmed.ncbi.nlm.nih.gov/11372012/
• Rubin GJ, Nieto-Hernandez R, Wessely S, Idiopathic environmental intolerance attributed to electromagnetic fields: An updated systematic review of provocation studies, Bioelectromagnetics 31(1), 2010, 1–11. https://doi.org/10.1002/bem.20536 · Nachweis: https://pubmed.ncbi.nlm.nih.gov/19681059/
• Open Science Collaboration, Estimating the reproducibility of psychological science, Science 349(6251), 2015, aac4716. https://doi.org/10.1126/science.aac4716 · Nachweis: https://pubmed.ncbi.nlm.nih.gov/26315443/
• Ioannidis JPA, Why Most Published Research Findings Are False, PLoS Medicine 2(8), 2005, e124. https://doi.org/10.1371/journal.pmed.0020124
• Bundesamt für Strahlenschutz, SAR-Werte von Handys. https://www.bfs.de/DE/themen/emf/mobilfunk/vorsorge/sar-handy/sar-handy_node.html
• Dartsch PC, Immunzellstudie HL-60 zum QiOne 2 Pro, Japan Journal of Medicine, 30.04.2021. Volltext auf der Studienseite: https://qiblanco.com/pages/studien