V+Ü Empirische Bewertung in der Informatik SS2004

09 Aug 2023 - 17:03 | Version 6 | UnknownUser

Dies ist die Veranstaltungsseite zur Vorlesung und Übung "Empirische Bewertung in der Informatik".

Beschreibung
Organisatorisches
Inhalt
(Kommentare)

Beschreibung

Die Informatik entwickelt als Ingenieurwissenschaft ständig neue Artefakte wie beispielsweise Methoden, Sprachen/Notationen oder konkrete Softwaresysteme. Die Funktionstüchtigkeit und Wirksamkeit dieser Lösungen für den angepeilten Zweck ist in aller Regel nicht offensichtlich -- schon gar nicht im Vergleich zu anderen, schon vorhandenen Lösungen für den selben oder einen ähnlichen Zweck.

Aus diesem Grund zählen Methoden zur Bewertung der Tauglichkeit solcher Lösungen zum wichtigen Grundinstrumentarium der Informatik -- eine Tatsache die sich leider erst allmählich in den Köpfen festsetzt. Bewertung wird benötigt bei den Schöpfern neuer Lösungen (also in der Forschung und Entwicklung) aber ebenso bei den Anwendern, denn diese müssen den zu erwartenden Nutzen spezifisch für ihre Situation abschätzen. Solche Bewertungen müssen fast immer empirisch (also auf Beobachtung basierend) durchgeführt werden, denn für analytisches (also auf reinem Nachdenken basierendes) Vorgehen sind die Fragestellungen fast immer viel zu kompliziert.

Diese Veranstaltung stellt die wichtigsten Arten empirischer Bewertungsverfahren vor und erklärt wo diese eingesetzt wurden (beispielhaft) und eingesetzt werden sollten, wie man sie einsetzt und was dabei zu beachten ist.

Organisatorisches

Veranstalter

Lutz Prechelt (Vorlesung und Übung)

Voraussetzungen/Zielgruppe, Einordnung, Leistungpunkte etc.

Siehe den Eintrag im KVV.

Anmeldung

Alle Teilnehmer müssen Mitglied in der Mailingliste SE_V_EMPIR sein. (Dort bitte auch den vollen Vor- und Nachnamen angeben.) Über diese Liste werden wichtige Informationen und Ankündigungen versendet. Jede/r bitte selbst dort eintragen.

Termine

Die Vorlesung ist Dienstags 10-12 Uhr, die Übung direkt anschließend um 12-14 Uhr; beides im Seminarraum 055 in der Takustr. 9.

Prüfungsmodalitäten

Die notwendigen Kriterien für die Vergabe des Leistungsnachweises zu dieser Veranstaltung sind

aktive Teilnahme an den Übungen

Inhalt

Stoffplan

Set D = http://www.inf.fu-berlin.de/inst/ag-se/teaching/V-EMPIR-2004

Die Vorlesung besteht aus drei Abschnitten:

Einführung (3 Wochen): Stellt das grundsätzliche Gedankengebäude der Empirie vor und diskutiert die Qualitätsmerkmale für empirische Untersuchungen (Vorlesungen 1 bis 3)
Methoden (7 Wochen): Stellt die grundlegenden Aspekte der Vorgehensweise für die verschiedenen empirischen Methoden vor und illustriert sie an konkreten Beispielen aus der Literatur.
Datenanalyse (2 Wochen): Empirische Untersuchungen bringen zunächst immer Rohdaten hervor, die zum Teil qualitativer und zum Teil quantitativer Natur sein können. Die Untersuchungsergebnisse ergeben sich erst aus der Analyse und Interpretation dieser Daten. Die Analyse quantiativer Daten ist ein Thema, über das allein man ein komplettes Studium absolvieren kann (nämlich Statistik).
Dieser Abschnitt gibt die allererste Einführung in die Analyse quantiativer Daten. (Die völlig andersartige Analyse qualitativer Daten sprengt den Rahmen dieser Vorlesung und wird nicht behandelt.)

Die einzelnen Vorlesungen:

Einführung - Die Rolle der Empirie:
- Begriff "Empirische Bewertung"; Theorie, Konstruktion, Empirie; Status der Empirie in der Informatik
- Hypothetische Anwendungsbeispiele
- Qualitätskriterien: Glaubwürdigkeit, Relevanz
- Hinweis: Skalentypen
- Vorbereitung für die Übung: Installation von R ( Version 1.8.0 für Windows, Linux-Version 1.9.0 ggf. selbst besorgen bei r-project.org)
Die wissenschaftliche Methode:
- Wissenschaft und Erkenntnismethoden; Einordnung der Informatik
- Die wissenschaftliche Methode; Variablen, Hypothesen, Kontrolle; Interne und externe Gültigkeit; Gültigkeit, Glaubwürdigkeit, Relevanz
- Übung: Datenauswertungs-Software "R" kennen lernen (PDF, R_intro_session.txt)
Wie man mit Statistik lügt:
- Was ist überhaupt gemeint? Was genau? Wie können die das wissen? Was wird nicht gesagt?
- Verzerrt das Maß, die bildlische Darstellung oder die Stichprobenauswahl das Ergebnis? etc.
- (Buch zum Thema)
- Übung: R üben, Teil 1 (PDF, Daten)
Vorgehen bei Empirie:
- Schritte: Ziel und Frage formulieren; Methode auswählen und Studie entwerfen; Beobachtungssituation herstellen; Daten sammeln; Beobachtungen auswerten; Ergebnisse interpretieren.
- Beispiel: N-Versions-Programmierung (Artikel, interessanter Nachklapp)
- Übung: R üben, Teil 2 (PDF)
Umfrage:
- Beispiel: Relevanz der Informatik-Ausbildung (Artikel)
- Methode: Auswahl der Ziele; Auswahl der zu befragenden Personengruppe; Entwurf und Validierung des Fragebogens; Durchführung der Befragung; Auswertung; Interpretation
- Übung: Umfrage entwerfen (PDF)
Kontrolliertes Experiment:
- Beispiel 1: Flussdiagramme versus Pseudocode (Artikel, kritisierte frühere Arbeit)
- Methode: Kontrolle und Konstanz; Probleme beim Erreichen von Konstanz; Techniken zum Erreichen von Konstanz
- Beispiel 2: Nutzen von Entwurfsmuster-Dokumentation (Artikel)
- Übung: Fragebogen begutachten und Feedback geben; Fragebogen überarbeiten (PDF)
Quasiexperiment:
- Beispiel 1: Vergleich von 7 Programmiersprachen (Artikel, detaillierter technischer Bericht)
- Methode: wie kontrolliertes Experiment, aber mit unvollständiger Kontrolle (meist: keine Randomisierung)
- Beispiel 2: Wirkung von Arbeitsplatzbedingungen auf die Produktivität (Artikel)
- Übung: Umfrageteilnehmer finden/anwerben (PDF)
Grundbegriffe der Datenanalyse:
- Schritte: Daten verfügbar machen; Daten validieren; Daten erkunden; Daten analysieren (messen, modellieren oder vergleichen). Einige Visualisierungstechniken.
- Beispieldatensatz (TPC tpmC): Rohdaten (Originalform), Rohdaten (handaufbereitet), Einleseprozedur mit Umkodierung
- Übung: Umfrage durchführen und verfolgen (PDF)
Techniken der Datenanalyse:
- Stichproben und Grundgesamtheiten; Mittelwert; Variabilität; Vergleich von Stichproben: Signifikanztest, Vertrauensbereich; Bootstrap; Beziehungen zwischen Variablen: Plots, lineare Modelle, Korrelation, lokale Modelle (loess)
- Übung: Umfrage auswerten (PDF)
Benchmarking:
- Beispiel 1: SPEC CPU2000 (Artikel)
- Benchmark = Maß + Aufgabe + Vergleich; Probleme (Kosten, Aufgabenauswahl, Überanpassung); Qualitätsmerkmale (Zugänglichkeit, Aufwand, Klarheit, Portierbarkeit, Skalierbarkeit, Relevanz) (Artikel)
- Beispiel 2: TREC (Artikel)
- Übung: Umfrage auswerten (Fortsetzung)
Fallstudie:
- Beispiel 1: Eingewöhnung in ein Software-Team (Artikel)
- Methode: Eigenarten von Fallstudien; Was ist der 'Fall'?; Nutzung vieler Datenarten; Triangulierung; Gültigkeitsdimensionen
- Beispiel 2: Ein unkonventionelles Verfahren für Anforderungs-Inspektionen (Artikel)
- Übung: Umfrage entwerfen (PDF)
- Übung: Umfrageergebnisse präsentieren (PDF)
Sonstige Methoden:
- Die Methodenlandschaft; Simulation; Software-Archäologie (Studien auf Basis existierender Datenbestände); Literaturstudie;
- Beispiel Simulation: Skalierung von P2P-File-Sharing (Artikel)
- Beispiel Software-Archäologie: Code-Verfall (Artikel)
- Beispiel Literaturstudie: Ein Modell der Effektivität von Durchsichten (Artikel)
- Übung: Umfrageergebnisse präsentieren (Fortsetzung)
Zusammenfassung und Tipps:
- Rolle der Empirie; Qualitätskriterien; Generische Methode; Vor- und Nachteile der Methoden; Praktische Hinweise (zur Datenanalyse; zum Schlussfolgern; zur Präsentation); Ausblick

Ziele der Übung

Übungen 1 bis 3 (zu R)
- Die Fähigkeiten einer frei verfügbaren, umfangreichen, modernen Statistiksoftware andeutungsweise kennen lernen und Grundfertigkeiten im Umfang damit erwerben.
- Eine neue Denkweise für das Programmieren kennen lernen ("Programmieren mit Daten") und etwas einüben.
- Erkennen, wie erhellend manchmal eine Datenanalyse sein kann und wie nutzlos in anderen Fällen.
Übungen 4 bis 9 (Projekt: Umfrage)
- Einmal selbst die Entwurfsüberlegungen zu einer empirischen Studie durchlaufen haben und erkennen, wie viele Aspekte es zu balancieren gilt.
- Erleben, wie viele gute Einfälle man haben kann. Und wie viele andere eventuell trotzdem noch fehlen.
- Erkennen, wie wichtig ein sorgfältiges Arbeiten ist (weil die nachträgliche Korrektur von Fehlern oft unmöglich ist und andernfalls in der Regel enorm viel Mehrarbeit verursacht).
- Einmal das Aha-Erlebnis gehabt haben, Daten zu analyisieren, die sonst noch niemand auf der Welt gesehen hat.

Stärken und Schwächen derzeit

Stärken Vorlesung: Anschaulicher und sehr breiter Überblick über zahlreiche Methoden plus Einführung in diverse damit erzielte Forschungsergebnisse
Schwächen Vorlesung: Theoretisches Fundament nicht sehr weit sichtbar; geringe Tiefe
Stärken Übung: Projektformat. Erwerb echter praktischer Erfahrungen und entsprechender Einsichten. Hoher eigener Gestaltungsspielraum und entsprechend hohe Motivation.
Schwächen Übung: Durch den Projektcharakter kommt nur eine Methode vor.
Der Übungsdatensatz lpq ist inhaltlich nur mäßig ergiebig. Insbesondere die durchgehend niedigen Mediane sind für die Aussagekraft der Boxplots und Dichteplots hinderlich.