Los primeros pobladores de la región fueron los Vetones, pueblo perteneciente a la cultura celta, tal como lo demuestra los berracos y las cañadas para el ganado, que después fueron aprovechadas por los romanos para sus calzadas. A partir de aquí se fueron sucediendo una serie de culturas de las cuales, la árabe es la que ha influido en las costumbres, los ritos y el vocabulario lagarterano.

Los primeros documentos conocidos de Lagartera como pueblo se remontan a principios del siglo XII cuando, una vez conquistado Toledo por Alfonso VI, los mozárabes empezaron a repoblar el territorio. Lagartera inicialmente fue pues, un asentamiento mozárabe.

Toledillo, el nucleo más primitivo  de la población, su nombre no viene de Toledo. Pues queda documentado en los libros de Marcial que los Muzárabes que poblaron en Lagartera eran de Córdaba no de Toledo, y que Toledillo se denomino al barrio por el promontorio, ya que todos los toledillos peninsulares significan “lugar alto y peñascoso” (Jiménez de Gregorio), que en el caso de lagartera se le dio por lo accidentado del terreno, la red viaria y el arroyo. Tenía iglesia de culto cristiano (hoy desaparecida) que por pertenecer la localidad a la Comunidad de Villa y Tierra de Ávila pagaba tributo a la catedral de Ávila, de cuya diócesis dependió hasta 1955 y que se considera la iglesia más antigua de la zona.

En el siglo XIV, el rey Enrique II concedió a D. García Álvarez de Toledo la villa de Oropesa y sus aldeas, entre las que se encontraba Lagartera, como recompensa por la entrega de Toledo.

En (1512) el segundo conde de Oropesa, D. Francisco Álvarez de Toledo y Pacheco, mandó construir los pórticos norte y sur de la iglesia actual.

En (1642) el séptimo Conde de Oropesa, D. Duarte Fernando Álvarez de Toledo, cuyas arcas pasaban por dificultades económicas, y apremiado por el rey Felipe IV (al cual debía 180 000 ducados), concede, a cambio de una gran suma de dinero, la independencia a Lagartera, dándole rango de Villa y dotándole de jurisdicción y justicia propias.

A mediados del siglo XIX tenía 498 casas y el presupuesto municipal ascendía a 25 636 reales, de los cuales 3300 eran para pagar al secretario.

 
El municipio se encuentra situado «á la falda N. de un cerrito o berrocal bastante pendiente, escabroso, muy estendido y desigual.».2 Pertenece a la comarca de la Campana de Oropesa y linda con los términos municipales de Candeleda y Poyales del Hoyo al norte en la provincia de Ávila, Oropesa al este y sur, Torrico al sur, y Herreruela de Oropesa, Calzada de Oropesa y la dehesa de Villalba, término segregado de Oropesa, al oeste, en la de Toledo.

Le baña el Tiétar que divide su término por el norte y en dirección de este a oeste.

 
 
  El término "Lagartera" se deriva del latín lacertus, lagarto, con el sufijo -aria, indicativo de abundancia1

Para algunos historiadores el pueblo surge en un molino que había en el arroyo de la Chorrera, junto al “Puente Chico”, cuyo dueño se llamaba “tío Gartera”. Curiosamente la gente mayor a los habitantes del pueblo les ha llamado siempre “garteranos” porque en un principio el pueblo era “Gartera” o “la Gartera”.