En 1273 Alfonso X crea el Honrado Concejo de la Mesta, que daba carácter de ley a los acuerdos pactados entre ganaderos y suponía apoyo Real a la trashumancia, a cambio de cobrar el montazgo, impuesto que grababa el paso de los rebaños. Esta organización, que agrupaba a todos los ganaderos de Castilla, tenía como misión principal organizar las rutas de la ganadería trashumante y vigilar las cañadas (por las proximidades de Fresnedillas pasa la Cañada Real Leonesa).

Uno de los primeros testimonios escritos que se refieren a la zona de Fresnedillas es el Libro de Montería de Alfonso XI (1330-1350).

No obstante, la pequeña aldea de Fresnedillas ya existía desde finales del siglo XV como resultado del traslado de la población desde la cercana aldea de San Bartolomé, la cual tuvo que deshabitarse poco después de 1350 cuando los efectos de la peste negra aconsejaron la búsqueda de un lugar más al norte que reuniese mejores condiciones, encontrándolo en una pequeña elevación sobre una vaguada protegida de los vientos dominada por los altos de los cerros de La Cabezuela, Los Caramochuelos, Roblazos, Peña Gorda y Longuera, y abierta al sur por donde discurren las aguas del Arroyo de Valdovín, también llamado del Teniente. A este mismo sitio, cubierto de fresnos y con abundantes puntos de agua, debieron dirigirse también los habitantes de la Casa de la Povedilla, despoblada por los mismos motivos.

Llegamos al siglo XVI, en el cual se produjo el Levantamiento Comunero de 1520 que tuvo gran repercusión en Fresnedillas, ya que el pueblo fue uno de los sublevados; por éste y otros motivos (malas condiciones sanitarias, decaimiento de la actividad económica…) la población de Fresnedillas comienza a descender en la segunda mitad de siglo. Así, en 1591 contaba con 53 vecinos, cifra que se redujo a 40 en 1637. Esta caída demográfica continuará durante gran parte del siglo XVIII (en 1752 hay 43 vecinos). La población activa del municipio estaba formada en su mayor parte por labradores y ganaderos, pero además existía un escribano, un cura, un sacristán, un maestro, un cirujano, un tejedor, un herrero y 28 transportistas de madera, carbón y leña. También un mesonero, un tabernero, un abacero y un pobre de solemnidad que era socorrido por el poder público.

El pueblo tenía dos alcaldes: uno que representaba a los vecinos exentos de impuestos y otro a los pecheros (que pagaban impuestos), así como un regidor y el ya citado escribano.

Todas estas tierras pertenecían a la Corona y por tanto eran de carácter real. Robledo de Chavela pronto tomó el título de Villa y en 1640 se convirtió en Señorío, agrupando las poblaciones de Santa María, Zarzalejo, Peralejo y Fresnedillas. Las posesiones pasaron de la familia Strata a la de Canzano hasta que en 1740, bajo el reinado de Felipe V, se inició un proceso disgregador del dominio; fue entonces cuando Fresnedillas alcanzó la condición de Villa y posteriormente, en 1769, en época de Carlos III, se le reconoció jurisdicción con alcaldes propios. A pesar de todo ello el pueblo continuó perteneciendo a los territorios segovianos hasta que en 1833 se creó la provincia de Madrid, a la cual pertenecemos desde entonces.

En 1833 entra en vigor la nueva división territorial del país y Fresnedillas de la Oliva, al igual que el resto de los pueblos vecinos, deja de pertenecer a Segovia y pasa a formar parte de la provincia de Madrid. En un principio estuvo incluido en el partido judicial de Navalcarnero, pero desde finales del siglo XIX forma parte del de San Lorenzo de El Escorial.