Linaje de origen Castellano, tienen por tronco al conde Per Illán, que vivió en la primera mitad del s. XIII, y que pertenecía a a la Casa de los Emperadores de Grecia; su nieto, Esteban Illán, fue el primero que se llamó de Toledo por haber arrebatado esta ciudad a los moros, entregándosela al rey Don Alfonso "el Noble".

Don Juan II dio el Señorío de la villa de Alba de Tormes (Salamanca) a Don Gutierre de Toledo, arzobispo de Toledo, concediendo a su sobrino Don Hernán Álvarez de Toledo, Señor de Valdecorneja, en 1439, el título de conde de Alba de Tormes, dignidad elevada a ducado por Enrique IV en 1465, en favor de su hijo Don García Álvarez de Toledo, marqués de Coria.

Enlazó posteriormente este linaje con los duques de Berwick y de Liria, con los condes de Lemos, con los condes-duques de Olivares, marqueses del Carpio y condes de Monterrey.