Di certo, la posizione strategica del luogo fu sfruttata fin dai tempi più remoti, come peraltro dimostrano i numerosi reperti archeologici risalenti all'età del ferro, rinvenuti ai piedi della torre e ora custoditi nel Museo Archeologico di Como.

In epoca tarda romana, il luogo fu sfruttato per proteggere delle vie di comunicazione tra Bellano e la Valle dell'Esino. Di quell'epoca furono ritrovati numerosi reperti archeologici, che risultano documentati ma, purtroppo, dispersi.

La torre, alta circa 20 metri e circondata da massicce mura, è databile all'epoca dei Comuni. Lo storico Paolo Giovio afferma che fu costruita dai profughi provenienti dall'Isola Comacina che fondarono Varenna (1169). In quell'epoca il castello era collegato al sottostante villaggio di Varenna tramite due alte mura parallele che terminavano a lago ognuna con una torre delle quali non esiste più traccia.

Nel 1700 il castello e il territorio circostante appartenevano alla Chiesa che li cedette in proprietà alla ricca e potente famiglia Sfondrati di Bellagio, per poi passare all'altrettanto potente famiglia Serbelloni. Il castello, tuttora di proprietà privata, è stato recentemente restaurato e aperto al pubblico anche come sede di manifestazioni culturali.