Bien évidemment, la position stratégique du lieu fut exploitée il y a fort longtemps, comme le démontrent par ailleurs les nombreuses pièces archéologiques remontant à l’ère du fer, retrouvées au pied de la tour et désormais conservées au Musée Archéologique de Côme. À l’époque romaine tardive, le lieu fut exploité pour protéger des voies de communication entre Bellano et la Vallée dell'Esino.

De nombreuses pièces archéologiques de cette époque furent retrouvées, et sont documentées mais elles ont malheureusement disparu. La tour, d’une hauteur d’environ 20 mètres et entourée de murs massifs, est datable à l’époque des Communes. L’historien Paolo Giovio affirme qu’elle fut construite par les réfugiés provenant de l’Île Comacina qui fondèrent Varenna (1169).

À cette époque, le château était relié au village sous-jacent de Varenna par le biais de deux hauts murs parallèles qui se terminaient au lac avec une tour chacun dont il n’existe plus aucune trace. Au XVIIIe siècle, le château et le territoire environnant appartenaient à l’Église qui les céda en propriété à la famille riche et puissante Sfondrati de Bellagio ; ils passèrent ensuite à la famille Serbelloni, tout aussi puissante. Le château, qui est encore aujourd’hui une propriété privée, a été restauré récemment et est ouvert au public, accueillant notamment des manifestations culturelles.