En la parte más elevada del casco urbano de la población, al oeste de la misma, se localizan los restos del castillo, sobre una meseta de forma ovalada de unos 100 m de eje suroeste-noreste por unos 50 m noroeste-sureste, delimitada por un banco de arenisca cuyas paredes, verticales, debieron ser cortadas artificialmente en gran parte. En algunos puntos de su perímetro se observan además vestigios de lo que sería la muralla de sillares de arenisca a tizón, como es la norma entre las fortificaciones andalusíes de la Hoya de Huesca. Esta meseta sería seguramente el solar de la población primitiva de Bespén en la Alta Edad Media, de la que formaría parte la iglesia parroquial románica, ubicada en el extremo noreste del recinto fortificado. El núcleo defensivo del conjunto estaba compuesto por un reducto, ubicado en la cumbre al sur de la meseta, del que solo se aprecian en superficie dos mogotes de arenisca de tamaños desiguales e intensamente trabajados, que en origen contarían con muros cuyos materiales serían seguramente expoliados. En el pitón de arenisca de mayor tamaño, de unos  13 por 10 m de ejes y ubicado al sur, se aprecian los restos de una escalera de acceso tallada en la cara sureste, así como otros mechinales y huecos labrados en la roca. Se trataría de una fortificación de origen andalusí que por los paralelos estudiados en la región podemos datar en el siglo X.