Algunos historiadores como Jerónimo de la Quintana, nos cuenta, sin fundamento alguno, que Carlos I compra la Casa del Campo de los Vargas, este hecho, que jamás se produjo, se fabuló y aún se mantuvo por falta de investigación de algunos historiadores.

Hay que decir en su defensa que con la democratización de los archivos y demás documentos Reales, hoy se tiene mejor acceso a la información que en su época (1576-1644), además lo que pretende contar Quintana, más parece una crónica social que otra cosa. Pudo servir de error para Quintana el hecho de la relación que Carlos I tuvo con Francisco de Vargas y Medina a cuyos herederos compró Felipe II la finca.

Sabemos que Carlos I estuvo alojado en la Casa del Campo de los Vargas. Fue con motivo de la muerte de Isabel de Portugal su esposa, el 1 de mayo de 1539. Recién muerta de parto Isabel, no sabemos el motivo por el que Carlo I se desentendió de los actos funerarios, que los delega en su hijo Felipe y desde Toledo, se retira al Monasterio de Santa María de la Sisla cerca de Toledo hasta el 27 de junio de ese año. Desde allí emprende un viaje hacia Madrid haciendo una escala en Illescas. Por motivos que podemos atribuir al duelo, no va directamente al Alcázar, sino que se aloja en la Casa del Campo de los Vargas, allí estará desde el sábado 28 de junio, al domingo 13 de julio de 1539, día en el que hará su entrada en Madrid. Durante este tiempo el Rey siguió despachando desde la Casa de Campo.

Así queda reflejado en el trabajo de Manuel de Foronda y Aguilera del año 1914 “Estancias y viajes del Emperador Carlos V”:
28 – Junio de 1539 – en la Casa de Campo (Madrid).—-Sábado.—S. M. se partió solo para esta villa, y no ha entrado en ella porque está aposentado en la casa del Licenciado Vargas”.
Carta de D. Martín de Salinas al rey D. Fernando, fecha en Madrid á 11 de Julio de 1539. Boletín de la Real Academia de la Historia. Tomo XLVI, pág. 200.
29 – 30 – Junio – en la Casa de Campo (Madrid).—Domingo 29 y Lunes 30.—S. M. en la Casa de Campo hasta el 13 de Julio.
D’Herbays: «Description des voyagesfaiets et victoires de Charles Quint.»—Real Academia de la Historia, 11-1-6. Legajo 4.
1 -12 – Julio – en la Casa de Campo (Madrid).—Del Martes 1 al Sábado 12.—El Emperador en la Casa de Campo.
Archivo general de Indias. -139-1-9.-Tomo XIX, fol. 45.
13 – 31 – Julio – en Madrid.—Del Domingo 13 al Jueves 31.—El 13 de Julio S. M. entró en la villa…
D’Herbays: «Description des voyagesfaiets et victoires de Charles Quint.»—Real Academia de la Historia, 11-1-6. Legajo 4.

Se dice que Carlos I estuvo durante ese tiempo cazando en la Casa de Campo y lo más llamativo es que ponen el trabajo de Manuel Foronda como fuente. No hay ninguna referencia a ello en los escritos de su diario. No era la Casa de los Vargas un lugar idóneo para la caza, ni lo fue, cuando unos años después la adquirió Felipe II. A poca distancia estaba El Pardo, cuya finalidad era esa, y a pesar de que en esas fechas 1539 aún no se había construido el Palacio de El Pardo, ya existía un castillo para alojamiento real. El Palacio se comenzó a construir en 1547 con Carlos I y lo terminó Felipe II.

Cuando se profundiza en los documentos de la época, no hay constancia de ninguna cacería ni en la Casa de Campo ni en sus proximidades.

Poco más podemos decir de la relación de Carlos I con la Casa de Campo.