Si erge sulla parte più alta del paese, una rupe dalla quale si osserva il Bradano. A forma di parallelogramma è circondato nella sua imponenza da sette torri sia a forma quadrata che circolare. Composto da due livelli ed un ballatoio esterno è stato ristrutturato nel 1600; della sua originalità mantiene la Sala della Stella, detta anche degli Spiriti, proprio dove avvenne la famosa congiura. Al suo interno ci sono nicchie che custodiscono tesori e nella sua anticamera veniva consumato lo ius primae noctis.