De un antiguo monasterio cuyo origen está allá por el siglo XVI, acabó convirtiéndose, por los avatares de la historia, en el penal de El Puerto de Santa María.
Aquel gran convento edificado por quienes en aquella época eran los señores de la villa, los duques de Medinaceli, apenas quedan dos edificios. El resto del complejo fue demolido, dejando atrás la oscura historia de una prisión.
Según las fuentes que aún se conservan, el edificio acabó de construirse en el año 1517, siendo fundado por Juan de la Cerda, entregado a la Orden de los mínimos de San Francisco, que lo mantuvieron durante tres siglos y medio.
Emplazado en la zona extramuros de la ciudad medieval, se edificó al lado de un pequeño caño conocido con el nombre del Molino. A su alrededor se dispuso tierras de labor que fueron atendidas por los propios monjes que residían allí.
La secularización del conjunto conventual trajo como consecuencia la desaparición de su patrimonio. Vino después la época del penal, en la cual, la iglesia fue utilizada a modo de talleres. Sin embargo, el paulatino deterioro del templo obligó a su abandono.
A nuestros días, ha llegado la iglesia y parte del claustro tras un proceso de restauración necesario para garantizar la conservación de este patrimonio histórico portuense.
Actualmente, se dedica el edificio a albergar eventos culturales y oficiales de la ciudad.