Il primo nucleo del castello risale al 780, quando i Bizantini avviarono la costruzione della "Rocca" a protezione dagli attacchi dei Saraceni e della Repubblica di Venezia.
Nel 1481 fu realizzato un primo canale navigabile, più stretto dell'attuale e con sponde irregolari, per consentire il passaggio di piccole imbarcazioni e migliorare la difendibilità del castello.
Nel 1486, Ferdinando I di Napoli incaricò l'architetto e ingegnere militare Francesco di Giorgio Martini di ampliare il castello e di conferirgli l'attuale struttura
Nel 1491 fu aggiunto sul lato rivolto al mar Grande il rivellino di forma triangolare tra la torre della Bandiera e la torre San Cristoforo.
Il castello fu ultimato nel 1492, come risulta dall'incisione di una lapide murata sulla "Porta Paterna" insieme allo stemma degli Aragonesi inquartato con l'arma dei d'Angiò tripartita. Con gli Spagnoli, le difese furono rafforzate allargando il fossato e costruendo una nuova fortificazione con tre torri.
Con l'arrivo degli Asburgo nel 1707, il castello perse la sua importanza come opera militare divenendo una dura prigione, ma con Napoleone Bonaparte ritornò alla sua funzione originaria. Nel 1883, una delle cinque torri che univano la cortina muraria, fu demolita per fare posto all'attuale canale navigabile e al ponte girevole. I lavori furono ultimati nel 1887, anno in cui il castello diventa una sede della Regia Marina.