Fresnedillas de la Oliva está ubicado en el piedemonte de la sierra de Guadarrama. Esta rampa está constituida en toda su extensión por materiales graníticos y rocas metamórficas. Está jalonado de gran número de cerros que los procesos erosivos han exhumado al estar formados por granitoides leucocátricos, más resistentes a la erosión formando extensos berrocales graníticos. Los hay de grandes dimensiones, como las Machotas, medianos como los Morros o menores como la Derrotura.
Cuenta con un clima mediterráneo característico templado húmedo, con una temperatura media anual en torno a los 11º. Esto hace de Fresnedillas un lugar ideal para el paseo, dado que la climatología lo permite durante muchos días al año.
Los arroyos que atraviesan el municipio son estacionales y vierten sus aguas al río Perales, afluente del Alberche. El arroyo de la Moraleja es el más representativo. Tiene mucho arraigo entre los vecinos de Fresnedillas, ya que hasta hace relativamente pocos años regaban con él los huertos familiares que se explotaban en las inmediaciones de su ribera, mediante regueras, canales y pozos. Destaca el lugar denominado La Puente, con un pequeño puente formado por lanchas de piedra.
Otros arroyos son de La Yunta, San Bartolomé, Canalizo, Chorreras y del Teniente, que en los años con un alto índice de pluviosidad mantienen remansos con agua hasta bien entrado el verano.
Todo el municipio presenta un ecosistema típico de encinar, modificado en parte por la antigua tradición ganadera de la zona, por lo que los pastos destinados a este fin son muy abundantes. Los otros ecosistemas significativos son la dehesa y el bosque de ribera.
Los arbustos más característicos son la jara, la retama de escoba, el cantueso, el tomillo, la retama negra y la zarzamora. La vegetación de ribera está constituida por fresnos, sauces y rosáceas como el rosal silvestre. El enebro está presente en casi todo el término municipal.