Wie man mit Statistik schlecht informiert: Praktiken der Ergebnisdarstellung bei Experimenten im Software-Engineering (Diplomarbeit)

Zusammenfassug

In dieser Arbeit wurden die Praktiken der Ergebnisdarstellung für eine Menge von kontrollierten Experimenten aus Artiklen zweier Software Engineering Zeitschriften und einer Konferenz ermittelt. Dabei wurden drei Aspekte berücksichtigt. Es wurden (1) die Verwendung beschreibender Statistiken und grafischer Darstellungen, (2) Art und Umfang der Darstellung statistischer Auswertungsverfahren sowie (3) Präsenz und Zustand von Rohdaten untersucht.

Insgesamt werden mit 7% der untersuchten Artikel wenig kontrollierte Experimente berichtet. Beschreibende Statistiken sind auf ein Minimum beschränkt (Mittelwerte und Standardabweichungen werden zu ca. 50% berichtet). Grafiken zur Beschreibung der aus den Experimenten gewonnenen Daten sind in ein von zwei Fällen vorhanden. Die Ergebnisse statistischer Auswertungsverfahren sind von gerigem Detail. Oft wird lediglich berichtet, ob der Test ein signifikantes Ergebnis liefert. Ansonsten werden p-Werte und teilweise Signifikanzniveaus berichtet. Effektgrößen und Konfidenzintervalle sind häufig nicht vorhanden. Daher kann auch nur schwer der praktische Nutzen diskutiert werden. Die gemessenen Daten der Experimente werden nur selten berichtet. Anfragen waren zur Hälfte erfolgreich. Die Qualität der gesendeten Rohdaten ist sehr unterschiedlich.

Anschauungsbeispiele zeigen, wie bestimmte Aspekte zum Verständnis beitragen, bzw. die Schlussfolgerungen beeinflussen können.

Fortschritt