L’imponente bastione, originariamente in uno con il castello, è quanto rimane del complesso sistema difensivo della città medioevale. Adattato a pubblico orologio nel 1833 e visitabile dal pubblico, offre alla sommità uno straordinario colpo d’occhio sulla costa adriatica e sulle alture della Murgia.
Con la conquista normanna, Terlizzi diventa terra feudale e nel 1073 rientra nella sfera d’influenza di Giovinazzo, sotto il dominio del conte normanno Amico.
Il castello con tre torri di Terlizzi, che ha dato origine sia allo stemma cittadino sia al toponimo latino di Turricium, passa così da locus a castellum e poi nel 1133 a civitas.
Al giorno d’oggi di questo castello rimane ben poco, se non la torre e l’insieme delle strutture che ne delimitano ancora la forma originale. Al massimo del suo splendore il castello arrivò a superare per dimensioni quelli dei paesi limitrofi, ospitando lo stesso conte Amico, Federico II di Svevia, Ferdinando I di Aragona, diventando così punto di incontro per mercanti e viaggiatori Dalla seconda metà del XVII alla prima metà del XX secolo il sontuoso Palazzo adiacente alla Torre, costruito sui resti del Castello, fu di proprietà del ramo cadetto dei Baroni de Gemmis. Il Palazzo è oggi sede di abitazioni.