Il Castello Visconti di San Vito la cui antichissima origine pare risalga al IX secolo, è citato in un testamento rogato a Gallarate il 22 giugno 1251 dal notaio Marcellino de Angleria. Testimonianza della presenza viscontea, attestata in Somma fin dal 1250, nacque come rocca di difesa ai confini del Ducato di Milano. Lo sviluppo della fortezza viscontea in più vaste proporzioni abitabili e con funzioni di residenza, lo si ebbe a partire dall'anno 1448 quando i fratelli Francesco e Guido Visconti, per sfuggire ai contrasti con la Repubblica Ambrosiana, succeduta in Milano alla signoria viscontea, si rifugiarono nella loro antica proprietà di Somma. In pochi anni la nobile dimora venne quindi in gran parte ricostruita, ampliata e contornata da fossati. L'antica rocca di difesa assunse così il ruolo di castello fortificato eletto a stabile dimora dei Visconti. Nell'anno 1473 i dissapori emersi tra i due fratelli Visconti culminarono nella divisione tra i due dei loro beni. al fratello maggiore, Francesco, da cui discenderanno i Visconti di San Vito, spettò la parte rinnovata del Castello e quindi la parte nord del borgo; a Guido, da cui discenderanno i Visconti di Modrone, la parte più antica del castello così come la parte bassa di Somma. Solo in epoca successiva al castello più antico fu aggiunto un terzo edificio. Oggi il castello, riunito negli anni '50 dal marchese don Alberto Visconti di San Vito sotto un'unica proprietà, si presenta come un grande quadrilatero al cui interno sono racchiusi tre castelli sviluppati intorno a tre ampi cortili ingentiliti da porticati e ciascuno con ingresso indipendente.