Etwa zwei Kilometer östlich von Merzalben steht auf einem Felsplateau in 447 Meter ü. NN die Burgruine Gräfenstein, vielfach auch als "Merzalber Schloß" bekannt. Staufische Buckelquader aus heimischem Buntsandstein mit deutlichen Zangenlöchern zum Hochhieven der schweren Bauteile lassen auf eine Bauzeit im 12. und 13. Jahrhundert schließen. Genaue Daten über Erbauer und Bauzeit fehlen, da erstens oft mehrere Generationen an einem solchen Bauwerk gearbeitet haben, und weil zweitens auch die Fertigstellung nie völlig abgeschlossen war.