Die Erfahrungen der letzten Jahre im Bereich Data Science zeigen immer deutlicher, dass es ein Umdenken bei der Ausbildung bedarf, da die sozialen Nuancen in Daten nicht erfasst oder ethische Kriterien bei der Entwicklung datengetriebener Software zu selten berücksichtigt werden. Diese Lücke soll mit dem Ansatz der Human-Centered Data Science geschlossen werden. Im Rahmen einer Lehrveranstaltung mit Informatikstudierenden haben wir daher diesen Ansatz umgesetzt. Die Ergebnisse einer im Anschluss durchgeführten Interviewstudie zeigen, dass Studierende ein gesteigertes Bewusstsein für die gesellschaftlichen Auswirkungen von Data Science haben. Nichtsdestotrotz hatten wir jedoch den Eindruck, dass sie nicht über eine „Toolbox“ verfügen, die es ihnen erlaubt, diese Einsicht nachhaltig in ihren Datenpraktiken zu verankern. Infolgedessen schlagen wir einen konzeptionellen Rahmen für die Förderung einer kritisch-reflexiven Praxis in der Data Science-Ausbildung vor, den wir in diesem Artikel näher vorstellen. Anhand einer beispielhaften Umsetzung erläutern wir jede der vier aufeinander aufbauenden Phasen, die in zukünftiger Forschung evaluiert werden.