Die Burg, die mit ihren Giebeln und Zinnen steil über der Altstadt steht, bestimmt die Silhouette von Diez. Obwohl sie dem Himmel so nah ist, wirkt sie schwermütig und melancholisch. Ob es noch an den ehemaligen Bewohnern liegt? Das Grafenschloß war im Zeitalter von Eisenkugeln und Ketten schon einmal Zuchthaus.
Heute ist es Jugendherberge, die Räume sind leider nicht zu besichtigen.
Das Grafenschloss erreicht man über die Schlosstreppe in der Altstadt bzw. über die Straße „Schloßberg“.