Le mura della base di questa torre, come di molte altre costruzioni dell’antico paese fortificato dalle caratteristiche analoghe, avevano uno spessore molto ampio, fino a due metri. Durante la seconda guerra mondiale questi ambienti erano usati sia come rifugi antiaerei sia come ricovero per gli sfollati dei dintorni. Molti furono i bombardamenti perché la vicina Passignano era un obiettivo bellico in quanto sede della SAI, che costruiva areoplani caccia monoposto, e sede di una famosa scuola di piloti aereonautici.
Il “Palazzaccio”, che è l’edificio storico a destra della torre, era l’abitazione signorile dei conti Guerrieri, una delle due famiglie nobili di possidenti terrieri di Castel Rigone. Questa era di fede antipapalina, mentre l’altra famiglia, i marchesi Bichi, era di fede papalina. “Il Palazzaccio” deve questo soprannome cupo al fatto che probabilmente fu l’edificio dove si amministrava la Giustizia, quando Castel Rigone era una comunità autonoma. Soprannome che si trova spesso in Italia per edifici adibiti a tale scopo.