In Nachbarschaft des Heiligenbergs befindet sich auf dem Heidelberger Michelsberg die Klosterruine St. Stephan aus dem 11. Jahrhundert. Das Kloster wurde im Jahr 1090 von dem Benediktiner Arnold gegründet und umfasste eine Klause und sowie eine Kapelle auf dem vorderen Gipfel des Aberinsberges. Später folgten im 12. Jahrhundert im Auftrag von Zundebold, Propst im Michaelskloster, eine Klosterkirche im gotischen Stil. Nachdem im 16. Jahrhundert nach der Reformation das Kloster aufgelöst wurde, gab der neue Eigentümer, die Heidelberger Universität, die Ruine als Steinbruch frei. Zwischen 1885 und 1886 wurde aus den verbliebenen Klostersteinen der Aussichtsturm auf Schloss und Neckartal gebaut.
