Historische Überlieferungen und Legenden ranken sich um den Turm auf einer kleinen Rheininsel vor Bingen. Tatsache ist wohl, dass schon die Römer hier eine kleine Befestigungsanlage bauten. In der Herrschaftszeit der Franken verfiel diese aber mehr und mehr. Erst als Hatto II 968 die Führung im Erzbistum Mainz übernimmt und Souverän über Bingen wird, taucht der Inselturm aus dem historischen Tiefschlaf wieder auf. War Bingen bis dahin de facto eine reichsfreie Stadt, erzwingt nun die harte Regentschaft erhebliche Mehrabgaben und strenge Unterordnung der Bevölkerung.
Der Legende nach setzt Hatto den Inselturm wieder instand und hält sich bei Besuchen der Stadt gelegentlich in vermeintlicher Sicherheit dort auf. Eines Tages zwingt ihn eine plötzliche Erkrankung, auf der Insel zu bleiben; er wird - so die Sage - von Tausenden von Mäusen angefallen und stirbt kurz darauf 970 in Bingen.

Seitdem spricht man vom Mäuseturm.

1298 wird der Turm in das Zoll-Sperrsystem der Burg Ehrenfels einbezogen. 1689 zerstören französische Truppen das Bauwerk. Erst 1855 erinnert man sich wieder seiner Bedeutung. Die Preußen errichten auf der Insel einen Signalturm für die Schifffahrt, wie er heute noch zu sehen ist.