Il castello è situato sul più antico quartiere del paese, il Pianello e vi si arriva attraverso un sentiero stretto e tortuoso, quasi fiabesco. Si presenta come una struttura molto imponente che troneggia sulla parte più alta del borgo. Vi sono due torri, una chiamata “torrione” è la più antica, la seconda invece è più recente e si trova a nord a pianta circolare. Il perimetro di tutto il castello è irregolare per seguire l’irregolarità stessa della rupe su cui sorge. Fu abitato dagli Orsini e da Carlo I d’Angiò e la regina del regno di Napoli, Giovanna I fu assassinata al suo interno.