Con una superficie de 28.2 km2, Fresnedillas de la Oliva está situada en la zona suroeste de la Comunidad de Madrid, al pie de la sierra de la Almenara. Ofrece unas vistas inmejorables de la sierra madrileña.
La mayor parte del territorio lo constituyen encinares adehesados, praderas de pastos y alguna zona con fresnos, existiendo algunos alcornoques y enebros. Destacan en el paisaje las peculiares formaciones graníticas de bolos y berrocales.
La cota más alta es la Peña Caballera con 972m., y la más baja se sitúa en torno a 700m.
Todo su territorio se considera espacio protegido de gran valor ecológico.
El término municipal de Fresnedillas de la Oliva limita con los de Robledo de Chavela, Colmenar del Arroyo y Navalagamella.