A palabra pazo deriva da expresión latina “palatium”. É unha casa noble de carácter suntuario. A cultura dos pazos está basada nas formas de propiedade da terra. A alta nobreza e a igrexa eran donos de extensísimas posesións. A través da figura dos foros, cesión do uso da terra a cambio dunha renda, obtiñan grandes beneficios. Para o cobro das rendas confiábase nuns fidalgos intermediarios que quedaban cunha parte e rápidamente facían fortuna. Para a súa residencia no lugar en que señoreaban construían un pazo.
Miguel Pérez de Deza foi administrador das terras do Conde de Lemos e señor da xurisdicción de Deza. A súa filla Asunción, casou con Pedro Antonio Quiroga. O segundo dos seus fillos, José Quiroga, casou con dona Emilia Pardo Bazán no ano 1868, condesa e escritora, autora, entre outras, da novela Los Pazos de Ulloa, dicíndose que algún dos seus capítulos foi escrito no pazo de Quiroga. A fraga de Quiroga era unha das moitas propiedades da familia e os castiñeiros que alí medraban estarían destinados a ser as longas trabes dalgún pazo.