El castillo marca el límite de las murallas de la villa y es uno de los lados menores de la Plaza Mayor (rectangular y parcialmente porticada).
Es una edificación producto de tres épocas muy distintas: en primer lugar, observamos tres torreones pertenecientes a la muralla árabe del siglo X que formaba parte, al mismo tiempo, del castillo-palacio; por otro lado, en los paños de la muralla, se abren dos balconadas pertenecientes a la casa de los González de Sepúlveda, edificio del siglo XVI, y cuyos muros vieron nacer al conocido escritor Don Francisco de Cossío; en el siglo XVIII, al castillo se le adosó una fachada barroca acompañada de una espadaña situada en el torreón central y formada por dos campanas, una de las cuales, la “zángana”, toca cada día el tradicional “Toque de Queda”, 33 campanadas que anunciaban el cierre de las puertas de la muralla y que hoy forman parte de la cultura inmaterial de la localidad.
Este edificio, que fue ayuntamiento un tiempo, pero que, sobre todo, es conocido por el nombre de “El Registro”, ya que era el lugar donde se registraban las materias primas que venían a venderse en Sepúlveda y donde se pagaban los impuestos, alberga el balcón desde el que las autoridades presidían los actos públicos. En la actualidad, en el castillo se realizan exposiciones culturales y desde su balconada se lanza el “chupinazo” anunciador del inicio de la Fiestas de los Toros.
Es posible seguir el trazado de la muralla en algunas zonas, como en el tramo llamado Trascastillo y en la zona de El Postiguillo. También se conservan algunas de sus Siete Puertas: en la entrada de la calle que lleva al Santuario de Ntra. Sra. de la Virgen de la Peña se encuentra la llamada Puerta del Azogue o del Ecce Homo; a las afueras, camino del Parque Natural de las Hoces del río Duratón, se observan los restos de la Puerta de la Fuerza, de la que parte una calzada romana que desemboca en el Puente de Picazos; y en el barrio de San Esteban se encuentra la Puerta del Río, junto a la hornacina de la Virgen de las Pucherillas.