Der Ursprung des Jagdschlosses sowie der Gemeinde Hövelhof ist eng mit dem „Hövelhof“ verbunden, der als Hövelhofer
Urhof mindestens auf das Jahr 1000 zurückgeht. Das Hofhaus stand in der heutigen Wichmannallee.

Erstmals erwähnt wurde der „Hövelhof“ in einer Steuerliste im Jahre 1446. Der Hof brannte 1903 ab. Als damaliger Besitzer
des „Hövelhofs“ errichtete Fürstbischof Dietrich Adolph von der Recke im Jahr 1661 auf dem Gebiet des Hofes ein Jagdhaus.
Etwa vier Morgen wurden aus den Ländereien des „Hövelhofs“ für diese fürstliche Anlage herausgeschnitten.

Das ehemalige Jagdschloss ist denkmalgeschützt
und dient oft als Hövelhofer Wahrzeichen für verschiedene Publikationen und ist eine beliebte Fotokulisse.