El convento del agustinos se fundó en esta ciudad durante el reinado de Enrique III, fue Rui López Dávalos, condestable de Castilla, quien cedió en 1407 el antiguo palacio de Catalina de Lancaster (esposa de Enrique III) a los agustinos, después de que en 1398 se había hecho con aquella propiedad por donación de la reina. Su época de esplendor fue a partir del siglo XVI, cuando se construyó la iglesia, única parte que se conserva y aún parcialmente, ya que el conjunto fue víctima de la guerra de la Independencia y después de la desamortización. En 1606 Juan de Tassis adquirió el patronazgo de la capilla mayor que destinó a panteón familiar y, además, la dotó con rentas. A partir de 1835, una vez el lugar quedó abandonado, tuvo diversos usos, entre ellos el de prisión, actualmente la iglesia es la sede del Archivo Histórico Municipal.