Die Ulrichshöhle ist nach Herzog Ulrich von Württemberg benannt, der sich auf seiner Flucht vor dem Schwäbischen Bund im Frühjahr 1519 für zwei bis drei Wochen tagsüber in der Höhle versteckt gehalten haben soll. Nachts, so wird berichtet, habe er auf dem nahegelegenen Schloss Lichtenstein mit dem Ruf „Der Mann ist da!“ Einlass begehrt und erhalten. Besondere Bekanntheit erlangte die Sage um Herzog Ulrich durch Wilhelm Hauffs Roman „Lichtenstein“ von 1826, in der der Dichter den Herzog in der Höhle Zuflucht nehmen lässt.

Der Roman von Wilhelm Hauff begeisterte in den Jahrzehnten nach seinem Erscheinen derart, dass in den 1840er Jahren das Jagdhaus, das an der Stelle des heutigen Schlosses und auf den Grundmauern einer alten Burg stand, abgerissen und an seiner statt das Schloss Lichtenstein, wie wir es heute kennen, erbaut wurde.