Sie wurde unmittelbar (1478 bis 1482) nach der Universitätsgründung als Studentenwohnhaus und -lehranstalt errichtet. Hier lehrte der Humanist und Reformator Philipp Melanchthon bis zu seiner Berufung nach Wittenberg 1518 (Gedenktafel).
1803 bis 1805 wurde das Gebäude im Stil des Klassizismus zum ersten Tübinger Klinikum umgebaut. Einer der ersten Patienten war Friedrich Hölderlin, der nach einer 231 Tage dauernden Behandlung am 3. Mai 1807 als unheilbar entlassen wurde.
Mit dem Fortschreiten der medizinischen Entwicklungen erwies sich die Klinik jedoch bald als zu klein. So kehrten 1972, nach einer gründlichen Renovierung des Gebäudes, Studierende und Lehrende der Philosophie und der Kunstgeschichte an diesen Ort der "freien Künste" zurück.