L'imperatore Carlo V, dal quale il castello ha preso il nome, ordinò all'architetto salentino Gian Giacomo dell'Acaja di costruire una fortificazione lì dove già sorgeva una struttura castellare dell'epoca di re Tancredi.
Per consentire la realizzazione del nuovo complesso vennero demoliti il monastero celestino di S. Croce e la cappella della S.S. Trinità, a cui furono intitolati due dei quattro bastioni per preservarne la memoria.
La parte più esterna fu realizzata tra il 1539 e il 1549, ed è caratterizzata dalle mura bastionate. Si accede all'interno da due ingressi: orientato a nord-ovest, quello principale, sormontato dallo stemma lapideo della di Carlo V, era rivolto verso la città.
La seconda porta si trova sul lato opposto, e quindi si apriva verso la campagna, entrambe protette da un ponte levatoio. Ogni parte del Castello è ricca di elementi architettonici decorativi.
All'interno, da notare, il portale cinquecentesco da cui si accede ad un ampio salone del braccio sud-ovest del corpo centrale decorato da capitelli scolpiti con raffinati decori della cornice che si affaccia sul cortile centrale.
Nel piano superiore si trova una grandiosa sala con volte ogivali di raffinata fattura, sostenute da colonne addossate ai quattro angoli. Dopo aver funzionato a lungo come distretto militare, è attualmente adibito a mostre d'arte e altre iniziative culturali.




