Hypothesentests: sichere Schlussfolgerungen

Hypothesentests bestimmen, ob Daten eine bestimmte Hypothese stützen. TableTorch unterstützt die folgenden Tests:

Der F-Test der Varianzanalyse (ANOVA) vergleicht Varianzen über Gruppen hinweg, um signifikante Unterschiede aufzudecken.
Der Studentsche t-Test bewertet, ob sich die Mittelwerte zweier Gruppen signifikant unterscheiden, und unterstützt so die Entscheidungsfindung auf Basis statistischer Evidenz.

In diesem Artikel betrachten wir mögliche Anwendungsfälle von Hypothesentests und analysieren UI-Experimentdaten mit der Hypothesentest-Funktion von TableTorch.

Hauptfunktionen
Beispiele für die Anwendung von Hypothesentests
Berechnung statistischer Tests für UI-Experimentdaten: eine Kurzanleitung

Hauptfunktionen

Mehrere Gruppen: Wählen Sie Datenspalten für die Analyse aus, wobei eine als Kontrollgruppe dient.
Statistische Tests:
- Einfaktorieller ANOVA-F-Test: Vergleicht Varianzen über mehrere Gruppen hinweg, um festzustellen, ob wesentliche Unterschiede bestehen.
- Ein-Stichproben-t-Test: Testet, ob sich der Stichprobenmittelwert von einem bekannten Populationsmittelwert (μ0) unterscheidet. Ideal für Hypothesentests gegen einen bestimmten Referenzwert.
- Abhängiger (gepaarter) t-Test: Vergleicht Mittelwerte aus zwei verbundenen Gruppen. Perfekt für Vorher-Nachher-Studien.
- Unabhängiger Zwei-Stichproben-t-Test: Bewertet, ob sich die Mittelwerte zweier unabhängiger Gruppen signifikant unterscheiden. Nützlich für den Vergleich zweier verschiedener Gruppen.
Einstellung von μ0 (Populationsmittelwert): Setzen Sie μ0 wahlweise auf den Mittelwert der ausgewählten Gruppen oder auf den der Kontrollgruppe.
Die Tabelle selbst ist die Oberfläche: Berechnungsergebnisse werden in einem neuen Blatt dargestellt, das Folgendes enthält:
- Teststatistiken und p-Werte für die ausgewählten Tests.
- Gängige Maße (Durchschnitt, Median, 25. und 75. Perzentil, Standardabweichung), dargestellt als Tabelle und Diagramm.

Beispiele für die Anwendung von Hypothesentests

Marketing-Effektivität: Bestimmen Sie die Wirkung von Marketingkampagnen durch Vergleich von Konversionsraten.
Prozessänderungen: Bewerten Sie die Auswirkungen von Prozessänderungen auf die Produktivität.
Kundenzufriedenheit: Evaluieren Sie Zufriedenheitsniveaus vor und nach Serviceänderungen.
Qualitätskontrolle: Identifizieren Sie signifikante Unterschiede bei Produktdefekten über verschiedene Produktionschargen hinweg.
Datengestützte Entscheidungen, A/B-Tests: Helfen Sie Unternehmen dabei, Annahmen zu prüfen und die betriebliche Effizienz zu verbessern.
Akademische Forschung: Testen Sie Hypothesen und validieren Sie Theorien in Sozial-, Natur- und Geisteswissenschaften.
Bildungsbewertungen: Vergleichen Sie die Leistung von Schülern vor und nach der Einführung neuer Lehrmethoden oder Lehrpläne.

Berechnung statistischer Tests für UI-Experimentdaten: eine Kurzanleitung

Um die Hypothesentest-Funktion von TableTorch besser zu verstehen, betrachten wir ein ausgearbeitetes Experimentbeispiel.

Experimentübersicht

Ein großes Unternehmen möchte die Benutzeroberfläche seines ERP-Systems vereinfachen, um Mitarbeitern zu helfen, Inventar schneller zu finden. Vor einer vollständigen Einführung führten sie ein Experiment mit drei Mitarbeitergruppen durch:

Control: Keine UI-Änderungen; dient als Vergleichsbasis.
Distraction: Kleinere visuelle Änderungen, um zu prüfen, ob ein Effekt auf den Neuheitseffekt zurückzuführen ist.
New design: Signifikante UI-Änderungen zur Verkürzung der Suchvorgänge.

Das Experiment soll feststellen, ob das neue Design die Effizienz verbessert und ob weitere Investitionen gerechtfertigt sind.

Experimentmethode

Der Experimentator sollte diese Schritte befolgen:

Rekrutieren Sie 150 Mitarbeiter für das Experiment und holen Sie von jedem die Zustimmung zur Teilnahme ein. Weisen Sie sie zufällig drei gleich großen Gruppen zu.
Beobachten und erfassen Sie die durchschnittliche Suchzeit für Inventar mit der aktuellen UI über einen Tag hinweg. Extrahieren Sie die Daten aus dem ERP-System.
Führen Sie einen ANOVA-F-Test durch, um zu prüfen, ob die Varianz der Suchzeiten zwischen den Gruppen auf zufällige Variation zurückzuführen ist.
- Wenn der p-Wert größer als 0,05 ist, nehmen Sie an, dass die Varianz zufällig ist.
- Falls nicht, weisen Sie die Teilnehmer neu zu und führen Sie die Berechnung erneut durch, bis der p-Wert hoch ist.
Setzen Sie die UI-Änderungen um und erfassen Sie die durchschnittliche Suchzeit wie in Schritt 2.
Führen Sie einen unabhängigen Studentschen t-Test zwischen den Control-, Distraction- und New design-Gruppen durch.
- Prüfen Sie, ob der New design-Mittelwert mindestens 5 % niedriger ist als der Control-Mittelwert.
- Wenn die Zeitänderung der New design-Gruppe negativ und statistisch signifikant ist, dies für die Distraction-Gruppe jedoch nicht zutrifft, betrachten Sie die Hypothese als bestätigt.
- Andernfalls beenden Sie das Experiment und nehmen die Nullhypothese an.
Führen Sie einen abhängigen Studentschen t-Test für die New design-Gruppe vor und nach der Änderung durch.
- Prüfen Sie, ob die mittlere Suchzeit mindestens 5 % niedriger ist.
- Wenn der p-Wert über 0,05 liegt, brechen Sie das Experiment ab und nehmen die Nullhypothese an.
Bei Erfolg präsentieren Sie die Analyse dem Management und zeigen auf, dass die Daten eine Produktivitätssteigerung belegen.

Bevor wir den Datensatz und die statistischen Tests besprechen, vergewissern Sie sich bitte, dass Sie das TableTorch-Add-on installiert haben. Die folgenden Anweisungen zeigen, wie.

Erste Schritte mit TableTorch

Installieren Sie TableTorch für Google Tabellen über den Google Workspace Marketplace. Weitere Informationen zur Ersteinrichtung.
Klicken Sie auf das TableTorch-Symbol im rechten Seitenbereich von Google Tabellen.

Schritte 1–3: Vor der Änderung

Schritt 1: Rekrutierung von 150 Mitarbeitern für das Experiment

150 Mitarbeiter wurden rekrutiert und jeder gab eine schriftliche Zustimmung zur Teilnahme am Experiment.

Schritt 2: Erfassung eines Blatts mit Daten vor der Designänderung

Dieses Blatt zeigt die durchschnittliche Zeit (in Sekunden), die Mitarbeiter benötigten, um einen Inventarartikel am ersten Tag des Experiments zu finden, bevor UI-Änderungen vorgenommen wurden. Jede Spalte repräsentiert eine andere Gruppe im Experiment.

A	B	C
Control	Distraction	New Design
9.7	13.4	9.7
10.0	9.3	13.9
11.1	11.5	10.9
10.7	13.3	12.4
14.1	12.3	11.5
10.8	11.0	13.8
10.8	14.1	11.6
12.3	12.0	12.5
9.5	11.7	13.6
12.4	13.2	12.5
14.4	15.7	12.7
13.0	11.0	12.3
13.3	12.5	13.6
12.8	12.7	11.4
10.8	14.1	14.6
13.9	11.1	12.1
10.9	12.1	8.9
9.1	11.1	12.5
12.1	11.9	11.8
13.4	11.9	12.4
12.4	12.2	15.0
9.3	12.1	12.0
11.0	11.7	11.9
12.5	12.0	12.4
12.9	11.7	8.3
12.4	10.3	11.5
12.3	13.7	13.0
12.2	11.5	12.5
13.4	10.5	10.4
14.9	10.4	13.9
11.3	12.1	11.6
10.4	11.9	7.7
11.4	13.4	9.8
12.4	12.7	15.5
14.5	14.7	11.2
10.4	13.3	13.2
11.5	9.4	11.3
10.3	13.4	10.4
12.5	11.2	13.1
10.8	10.6	13.8
10.3	9.6	10.4
11.5	10.8	13.5
12.6	14.3	13.5
13.1	9.5	13.7
14.2	12.4	13.2
9.3	10.3	11.8
11.1	13.7	13.1
10.8	11.8	12.5
12.7	14.1	13.7
12.0	12.6	12.5

Schritt 3: Zuordnung der Varianz zum Zufall

Die durchschnittliche Zeit (in Sekunden) über alle Gruppen hinweg beträgt 12,04, aber es gibt einen leichten Unterschied zwischen den Gruppen:

Control: 11,8 Sekunden
Distraction: 12,1 Sekunden
New Design: 12,2 Sekunden

Um eine faire Gruppenverteilung sicherzustellen und Verzerrungen zu vermeiden, führen wir einen ANOVA-F-Test sowie einen Ein-Stichproben-Studentschen t-Test durch und untersuchen die zugehörigen p-Werte. Wenn ein p-Wert unter 0,05 liegt, sind die Unterschiede wahrscheinlich signifikant und nicht auf Zufall zurückzuführen.

➡️ Wählen Sie die erste Zelle der Datentabelle auf dem Blatt aus, öffnen Sie TableTorch und klicken Sie auf das Menüpunkt Hypothesentests im Hauptmenü.

➡️ Aktivieren Sie Einfaktorieller ANOVA-F-Test und T-Test: eine Stichprobe, geben Sie 12,04 für μ0 ein und klicken Sie auf Compute tests.

HINWEIS: Die Kontrollgruppe spielt bei dieser Berechnung keine Rolle, da keine der Zwei-Stichproben-T-Test-Optionen ausgewählt wurde.

➡️ Untersuchen Sie das eingefügte Blatt mit den Ergebnissen:

Folgendes sehen wir auf dem Blatt:

Die gängigen Maße, sowohl in Tabellenform als auch im zugehörigen Diagramm, zeigen einen vernachlässigbaren Unterschied zwischen den Gruppen.
Der p-Wert des F-Tests von 0,43 signalisiert deutlich, dass die Unterschiede in der Varianz zwischen den Gruppen nicht statistisch signifikant sind.
Die Ein-Stichproben-t-Tests aller Gruppen liefern zweiseitige p-Werte, die deutlich größer als 0,05 sind. Das bestätigt, dass die Unterschiede der Mittelwerte zwischen den Gruppen ebenfalls nicht statistisch signifikant sind.

Erfreulicherweise zeigten weder der ANOVA-F-Test noch die Ein-Stichproben-t-Tests statistisch signifikante Unterschiede zwischen den Gruppen. Damit ist sichergestellt, dass wir das Experiment wie geplant fortsetzen können und nicht befürchten müssen, dass die Zuteilung der Teilnehmer zu den Gruppen ungleich oder verzerrt war.

Schritte 4–6: Nach der Änderung

Schritt 4: Implementierung der Änderung und Erfassung neuer Daten

Nachdem die Designänderungen auf die Distraction- und New Design-Gruppen angewendet wurden, wurden neue Daten erfasst. Drei neue Blätter wurden der Tabelle hinzugefügt:

After Change: drei Spalten mit den Gruppendaten in der gleichen Anordnung wie das Blatt aus Schritt 2.
Before/After: Distraction: Blatt mit zwei Spalten: Die erste enthält die Werte der Distraction-Teilnehmer vor den UI-Änderungen, die zweite die Werte derselben Teilnehmer nach Einführung der Änderungen.
Before/After: New Design: Blatt mit zwei Spalten zur New Design-Gruppe der Experimentteilnehmer.

Schritt 4.1: After Change-Blatt

Dieses Blatt wurde nach dem gleichen Verfahren wie der ursprüngliche Datensatz erstellt, jedoch nach Einführung der Designänderungen.

A	B	C
Control	Distraction	New Design
10.3	13.0	8.1
9.2	7.1	13.2
11.1	7.7	9.2
10.6	14.1	9.6
12.9	11.7	10.6
10.7	10.4	12.1
10.4	12.4	9.7
11.8	11.4	10.3
10.2	11.0	11.8
11.7	13.7	11.8
15.0	15.8	11.3
12.6	10.0	10.9
12.4	14.5	12.3
12.3	11.3	9.7
11.4	15.1	12.7
13.8	12.0	9.9
10.5	13.5	8.1
9.7	9.2	10.4
11.8	12.5	11.4
13.5	12.6	10.7
12.4	13.7	13.8
9.3	11.7	10.9
10.4	10.7	10.7
13.0	12.1	10.5
13.4	12.8	6.8
11.8	10.9	10.0
13.1	15.1	10.9
12.2	11.2	10.8
13.9	9.0	8.9
15.4	9.8	12.2
10.1	11.4	11.0
10.8	10.6	6.4
12.6	14.9	8.4
12.6	14.0	14.5
13.3	13.0	9.1
10.2	11.8	11.5
10.9	7.7	10.0
9.7	13.8	8.5
12.1	11.0	12.6
10.9	10.2	12.1
10.2	8.6	8.5
11.1	9.3	11.8
11.9	14.9	12.3
12.8	11.6	11.6
14.2	12.5	11.3
8.9	10.0	10.9
10.6	14.3	11.7
10.6	11.4	11.8
12.7	14.2	11.9
11.4	9.7	11.6

Schritt 4.2: Before/After: Distraction-Blatt

In diesem Blatt repräsentiert jede Zeile die durchschnittliche Zeit (in Sekunden), die ein bestimmter Teilnehmer der Distraction-Gruppe benötigte, um einen Inventarartikel vor und nach Einführung der UI-Änderungen zu finden.

A	B
Distraction: Before	Distraction: After
13.4	13.0
9.3	7.1
11.5	7.7
13.3	14.1
12.3	11.7
11.0	10.4
14.1	12.4
12.0	11.4
11.7	11.0
13.2	13.7
15.7	15.8
11.0	10.0
12.5	14.5
12.7	11.3
14.1	15.1
11.1	12.0
12.1	13.5
11.1	9.2
11.9	12.5
11.9	12.6
12.2	13.7
12.1	11.7
11.7	10.7
12.0	12.1
11.7	12.8
10.3	10.9
13.7	15.1
11.5	11.2
10.5	9.0
10.4	9.8
12.1	11.4
11.9	10.6
13.4	14.9
12.7	14.0
14.7	13.0
13.3	11.8
9.4	7.7
13.4	13.8
11.2	11.0
10.6	10.2
9.6	8.6
10.8	9.3
14.3	14.9
9.5	11.6
12.4	12.5
10.3	10.0
13.7	14.3
11.8	11.4
14.1	14.2
12.6	9.7

Schritt 4.3: Before/After: New Design-Blatt

Jede Zeile repräsentiert die mittlere Zeit (in Sekunden) für einen bestimmten Teilnehmer der New Design-Gruppe vor und nach der Neugestaltung.

A	B
New Design: Before	New Design: After
9.7	8.1
13.9	13.2
10.9	9.2
12.4	9.6
11.5	10.6
13.8	12.1
11.6	9.7
12.5	10.3
13.6	11.8
12.5	11.8
12.7	11.3
12.3	10.9
13.6	12.3
11.4	9.7
14.6	12.7
12.1	9.9
8.9	8.1
12.5	10.4
11.8	11.4
12.4	10.7
15.0	13.8
12.0	10.9
11.9	10.7
12.4	10.5
8.3	6.8
11.5	10.0
13.0	10.9
12.5	10.8
10.4	8.9
13.9	12.2
11.6	11.0
7.7	6.4
9.8	8.4
15.5	14.5
11.2	9.1
13.2	11.5
11.3	10.0
10.4	8.5
13.1	12.6
13.8	12.1
10.4	8.5
13.5	11.8
13.5	12.3
13.7	11.6
13.2	11.3
11.8	10.9
13.1	11.7
12.5	11.8
13.7	11.9
12.5	11.6

Schritt 5: Unabhängiger Studentscher t-Test

➡️ Öffnen Sie das After Change-Blatt, wählen Sie die erste Zelle der Datentabelle aus, öffnen Sie TableTorch und klicken Sie auf das Menüpunkt Hypothesentests.
Wählen Sie die Spalte Control im Dropdown Control group aus (sie wird wahrscheinlich bereits standardmäßig vorhanden sein).
Wählen Sie die zu berechnenden Tests aus:
- Einfaktorieller ANOVA-F-Test
- T-Test: eine Stichprobe
- T-Test: unabhängige zwei Stichproben
Geben Sie 12,04 für μ0 (population mean) ein.
Klicken Sie auf Compute tests.

Konfiguration:

Resultierendes Blatt:

Zusammenfassung:

Das Diagramm der gängigen Maße zeigt deutlich, dass die Teilnehmer der New Design-Gruppe die notwendigen Inventarartikel etwas schneller fanden (die durchschnittliche Zeit liegt 0,9 Sekunden bzw. etwa 8 % unter der der Control-Gruppe), egal ob Durchschnitt, Median, 25. oder 75. Perzentil verglichen wird.
Der p-Wert des F-Tests von 0,005 zeigt, dass der Unterschied in der Varianz zwischen den Gruppen höchst unwahrscheinlich nur auf Zufall zurückzuführen ist.
Ein-Stichproben-t-Tests:
- Die zweiseitigen p-Werte liegen sowohl für die Control- als auch für die Distraction-Gruppe über 0,05. Das bedeutet, dass die Abweichung dieser Gruppen vom Populationsdurchschnitt, der in den anfänglichen Daten erfasst wurde, nicht statistisch signifikant ist.
- Der einseitige p-Wert der New Design-Gruppe liegt deutlich unter 0,05, was bestätigt, dass der Unterschied statistisch signifikant ist.
Unabhängige Zwei-Stichproben-t-Tests:
- Der Unterschied im Mittelwert für die Distraction-Gruppe ist nicht statistisch signifikant.
- Die Änderung der benötigten Zeit für die New Design-Gruppe ist statistisch signifikant.

Diese Ergebnisse allein genügen, um sie dem Management zu präsentieren und dafür zu argumentieren, den Roll-out des neuen Designs auf das gesamte Inventarsystem auszuweiten und es schließlich für alle ERP-Nutzer zu aktivieren.

Der Vollständigkeit halber berechnen wir jedoch auch die abhängigen Zwei-Stichproben-t-Tests.

Schritt 6: Abhängige (gepaarte) Studentsche t-Tests

Im vorherigen Abschnitt verwendeten wir unabhängige Studentsche t-Tests, um die Distraction- und New Design-Gruppen mit der Control-Gruppe zu vergleichen. In diesem Kontext sind einzelne Zeilen weniger bedeutsam, da jede Zelle die Zeit eines anderen Teilnehmers wiedergibt.

Mit den Daten aus den Before/After: Distraction- und Before/After: New Design-Blättern, in denen jede Zeile einen einzelnen Teilnehmer repräsentiert und die Spalten die Zeiten vor bzw. nach den UI-Änderungen zeigen, lassen sich vermutlich aussagekräftigere gepaarte (abhängige) t-Tests durchführen.

Schritt 6.1: Gepaarter t-Test für die Distraction-Gruppe

➡️ Öffnen Sie das Before/After: Distraction-Blatt, wählen Sie eine beliebige Zelle der Datentabelle aus, öffnen Sie TableTorch und klicken Sie auf das Menüpunkt Hypothesentests.
Wählen Sie die Spalte Distraction: Before im Dropdown Control group aus (sie ist höchstwahrscheinlich der Standardwert).
Aktivieren Sie nur den Test T-Test: abhängige (gepaarte) zwei Stichproben zur Berechnung.
Klicken Sie auf Compute tests.

Konfiguration:

Resultierendes Blatt:

Zusammenfassung:

Die im Diagramm dargestellten gängigen Maße zeigen, dass die Zeiten im Durchschnitt etwas niedriger sind, ebenso beim 25. Perzentil und sogar beim Median. Beim 75. Perzentil sind sie jedoch höher, was darauf hindeutet, dass der Unterschied möglicherweise durch die größere Streuung infolge des Neuheitseffekts erklärt werden kann.
Der zugehörige zweiseitige p-Wert von 0,14 zeigt, dass der Unterschied nicht statistisch signifikant ist.

Schritt 6.2: Gepaarter t-Test für die New Design-Gruppe

➡️ Öffnen Sie das Before/After: New Design-Blatt, wählen Sie eine beliebige Zelle der Datentabelle aus, öffnen Sie TableTorch und klicken Sie auf das Menüpunkt Hypothesentests.
Wählen Sie die Spalte New Design: Before im Dropdown Control group aus (sie ist höchstwahrscheinlich der Standardwert).
Aktivieren Sie nur den Test T-Test: abhängige (gepaarte) zwei Stichproben zur Berechnung.
Klicken Sie auf Compute tests.

Konfiguration:

Resultierendes Blatt:

Zusammenfassung:

Alle gängigen Maße (Mittelwert, Median, 25. und 75. Perzentil) zeigen niedrigere Zeiten nach der Neugestaltung.
Der zugehörige einseitige p-Wert des gepaarten t-Tests ist viel niedriger als 0,05, was anzeigt, dass die Änderung statistisch signifikant ist.

Schritt 7: Schlussfolgerungen ziehen

Für ein einfaches Experiment wie dieses könnte allein das Betrachten der Diagramme ausreichen, damit das Management eine angemessene Entscheidung trifft. TableTorch kann jedoch schnell statistische Tests wie den ANOVA-F-Test und den Studentschen t-Test berechnen und so die Argumentation für die Fortsetzung der UI-Neugestaltung untermauern, indem gezeigt wird, dass die Produktivitätssteigerung greifbar und statistisch signifikant ist. Darüber hinaus sind die Zahlen oft komplexer, als sie erscheinen, und sich ausschließlich auf Durchschnittswerte und Diagramme zu verlassen, kann einen Beobachter manchmal in die Irre führen.

Hinweis zu einseitigen und zweiseitigen p-Werten

TableTorch berechnet sowohl die einseitigen als auch die zweiseitigen zugehörigen p-Werte für den ANOVA-F-Test und die Studentschen t-Tests. Es ist wichtig, dass Sie im Voraus entscheiden, welchen Sie verwenden, um die statistische Signifikanz zu bestimmen.

Einseitiger p-Wert: Testet die Hypothese, dass es einen signifikanten Effekt in eine bestimmte Richtung gibt (entweder eine Zunahme oder Abnahme). Verwenden Sie ihn, wenn die Richtung des Effekts bekannt ist.
Zweiseitiger p-Wert: Testet die Hypothese, dass es einen signifikanten Effekt in beide Richtungen gibt (sowohl Zunahme als auch Abnahme). Er wird verwendet, wenn es keine vorherige Annahme über die Richtung des Effekts gibt.

Google, Google Tabellen, Google Workspace und YouTube sind Marken von Google LLC. Gaujasoft TableTorch ist nicht mit Google verbunden und wird nicht von Google unterstützt.

Ihr Feedback ist uns wichtig!

Vielen Dank, dass Sie TableTorch verwenden oder in Betracht ziehen!

Beschreibt diese Seite die Funktion korrekt und verständlich? Funktioniert sie tatsächlich so, wie hier beschrieben, oder gibt es ein Problem? Haben Sie Verbesserungsvorschläge?

Bei Fragen können Sie sich jederzeit gerne an uns wenden.