Historia 

El origen del nombre no es seguro, aunque se habla de un asentamiento judío en la zona en tiempos romanos llamado "Cadalfarum" del que habría derivado el término de Cadalso.

Construido en un cruce natural de caminos castellanos, su nombre, Cadalso significaba en su origen "lugar en alto" desde donde se podía dominar las tierras circundantes y advertir la presencia del enemigo. 

El añadido "de los Vidrios" hace mención a la industria vidriera que dio fama al pueblo a partir del siglo XV. El vidrio fabricado alcanzó su mayor prestigio en los siglos XVI y XVII (gran parte de la cristalería de la Real Botica del Monasterio de El Escorial fue fabricada en Cadalso). Estos hornos estuvieron operativos hasta principios del siglo XX, cuando fueron cerrados definitivamente.

Aunque no hay restos arqueológicos que lo demuestren se supone el establecimiento de poblaciones íberas y celtíberas, llamadas carpetanas, siendo más probable que el primer asentamiento se formara durante la época romana. Marco Fluvio ocupó Cadalso durante la conquista de Toledo en el año 193 a. C. transformándose en un importante lugar debido al frecuente paso de las legiones camino de esa ciudad. 

Durante la época visigoda y sus correspondientes reyes, Cadalso, conocido en esa época como Las Ventas de Santa Ana, dependía de Escalona del Alberche y ambos a su vez de Toledo. Estuvo gobernado por éstos hasta la llegada de los musulmanes a la península en el año 711. Abderramán I ocupó este enclave, que permaneció en poder musulmán durante más de tres siglos, convirtiéndose en plaza defensiva de Toledo gracias al pico de Peña Muñana que fue utilizado como observatorio de la comarca. Los musulmanes dejaron huella arquitectónica a su paso: una muralla, una mezquita de planta cuadrangular (transformada después por los cristianos en iglesia) y numerosas cuevas con bóveda de medio cañón. En el año 982 el municipio fue devastado por Almanzor.

Alfonso VI reconquistó y reconstruyó esta localidad en el año 1082, otorgándola el título de Villa Muy Noble y Muy Leal y diversos fueros para ser repoblada, estableciendo la convivencia entre judíos, árabes y cristianos. Pero los musulmanes que habían vivido en Cadalso no se quisieron someter y se refugiaron en Peña Muñana. Cuenta la tradición que los cadalseños, cansados de los ataques y saqueos por parte de aquéllos y siendo imposible someterlos o hacerlos frente, llevaron un rebaño de cabras a las inmediaciones de la Peña, en cuyos cuernos colocaron antorchas de resina encendidas, las cabras asustadas subieron monte arriba e incendiaron el recinto musulmán, viéndose así obligados a rendirse.

Las gentes de Cadalso combatieron en la batalla de las Navas de Tolosa. Durante los siglos XII, XIII y XIV, esta villa se vio favorecida por la concesión de sucesivos privilegios reales, uno de ellos de Juan I, confirmando a Cadalso como Villa eximida y libre de Escalona en 1389.

Cadalso aparece en las crónicas históricas desde su fundación hasta nuestros días, pero hay algunos hechos relevantes en la historia de este municipio: la proclamación de Isabel La Católica como heredera de la corona de Castilla, el 19 de septiembre de 1468 junto a los Toros de Guisando, que finalizó con la marcha a Cadalso de la princesa Isabel y su hermano Enrique IV junto a la nobleza y jerarquías eclesiásticas asistentes al acto; también tuvo lugar, en Cadalso, el nacimiento de Luis María de Borbón, hijo del infante don Luis de Borbón y nieto del rey Felipe V, el día 22 de mayo de 1777 en el palacio de Villena.

Cadalso fue paso obligado de la artillería francesa en su marcha desde Ávila a tierras toledanas, en la guerra de la Independencia durante el año 1811.

En 1833 se integró en la provincia de Madrid, pasando su anejo Navahondilla, con la inclusión de Majadillas (hoy despoblado), a la provincia de Ávila.