Eines ist jedoch sicher, die strategische Lage dieses Ortes wurde schon in entferntester Vergangenheit geschätzt, was durch zahlreiche archäologische Fundstücke aus der Eisenzeit belegt ist, die am Fuße des Turms gefunden wurden und sich heute im Archäologischen Museum von Como befinden. In spätrömischer Zeit kontrollierte man von hier aus den Verbindungsweg zwischen Bellano und dem Esino-Tal. Aus dieser Zeit stammen auch zahlreiche dokumentierte, jedoch leider verloren gegangene archäologische Funde.

Der ca. 20 m hohe Turm, umgeben von einer starken Mauer, geht auf die Zeit der Comuni zurück. Nach Aussage des Historikers Paolo Giovio wurde er von den, von der Isola Comacina kommenden Flüchtlingen erbaut, die auch Varenna gründeten (1169). In jener Zeit war die Burg mittels zweier parallelen Mauern, die jeweils am See mit einem heute nicht mehr erhaltenen Turm abschlossen, mit dem darunter befindlichen Dorf Varenna verbunden.

Im Jahr 1700 befanden sich die Burg und das umliegende Land im Besitz der Kirche, danach gehörten sie der reichen und mächtigen Familie Sfondrati von Bellagio, später der ebenso mächtigen Familie Serbelloni. Die Burg, die sich heute noch in Privatbesitz befindet, wurde erst kürzlich renoviert. Sie ist dem Publikum zugänglich und dient auch als Veranstaltungsort kultureller Anlässe