En 1921, Javier de Winthuysen, el más genial trazador de jardines español de la historia y también conocido pintor, recibió el encargo de diseñar un jardín junto a la muralla de Ávila. 

​

Winthuysen presentó el plano en 1922 y en él trazó uno de sus jardines más exquisitos y refinados, en el que predominan las rosas, los lirios y los lirios junto a los setos de boj, con un conjunto de espacios enlazados con ligeros cambios de nivel, que son regados con el agua de un manantial y un pozo que surte de agua a una gran alberca, para posteriormente con un sistema de canales de inspiración árabe se produce el llenado de los diversos estanques, muros y canales. 

​

En las décadas posteriores el segundo marqués de Santo Domingo, coleccionista de arte antiguo, llevó al jardín relieves renacentistas y piezas medievales y prerromanas. Destaca en el jardín la mayor colección privada de toros de la cultura celtibérica vetona, emplazados en diferentes lugares.

 

El jardín ha sido lugar de visita y de encuentro de personajes ilustres como Jacqueline Kennedy, Mario Vargas Llosa, y diversos miembros de la realeza y aristocracia.