Il castello della città si pensa fosse stato costruito nel 1470 ma recenti ritrovamenti dimostrano che probabilmente una prima fortificazione venne insediata in epoca normanna o forse angioina. Venne commissionato da Bernardino de Bernaudo, da cui il nome della città. Il castello ha una caratteristica forma quadrangolare con tre torri, tipica proprio del 400. Di tutto il castello quello che ne rimane è solo una parte in quanto nel corso dei secoli, per via dei vari rimaneggiamenti, alcune parti sono state ridotte. La caratteristica del castello risiede nei cunicoli seminterrati, tra i quali c’è una lunga via di fuga che porta direttamente alla valle del Basento.