L’attuale Torre dell’Orologio, situata al centro del paese, appartiene al secondo nucleo di fortificazione del Castello di Passignano, risalente al X-XI sec. Molto probabilmente, questa nuova torre rivestiva la funzione di mastio, ossia di ultima difesa in caso di attacco, che si caratterizzava per la maggiore altezza della torre rispetto alle altre (anche se nel caso di Passignano la sua preminenza era in parte inficiata dal trovarsi in posizione inferiore rispetto alla Rocca) e per non essere munito di un accesso diretto.
Pur non essendo progettato come residenza stabile, poteva essere abitato in caso di necessità.

La torre si raggiunge a piedi attraverso il percorso delle scalette di San Bernardino, e da lì si può godere di un’incantevole vista sul borgo medioevale sottostante e sul lago.