Parece ser que en el lugar donde se ubica el castillo, hubo un fuerte romano, Interamnium Flavium, ocupado por los suevos tras las invasiones bárbaras y más tarde destruido por los visigodos. En las excavaciones realizadas en el patio central, han aparecido restos de edificaciones de hace 2500 años pero los que se pueden ver son de la época medieval. En el siglo XII, la población se concentraba en el montículo, donde se construyó el castillo, con una leve muralla que lo rodeaba.
