O pazo foi construído no ano 1511 pola familia Díaz Varela no enclave de Rosende. Un dos descendentes da saga, Carlos Recarey Díaz Varela, rexentou o Virreinato de Méjico, retornando máis tarde á súa terra para ocupar distintos cargos públicos (como os de recadador real e gobernador de Lugo). Foi el quen se encargaría de ampliar a edificación inicial a finais do século XVIII. Desta época é a decoración da capela e salóns por medio de singulares frescos executados por Juan Bernardo de Castinandi, pintor galego formado en Roma, que dan un especial carácter palaciego e cortesán a este Pazo. A familia Díaz Varela tivo unha significada presenza no mundo da cultura a ambos os dous lados do Atlántico. Entre os últimos moradores da casa é de destacar a Roberto Díaz Varela, director do xornal da Mariña na Habana; Dalmiro da Válgoma e Díaz Varela, historiador de Monforte e secretario perpetuo da Academia Nacional de Historia; ou Elena Quiroga, unha das grandes escritoras de Galicia e académica da lingua. A Casa das Señoritas, así se coñece o Pazo na comarca debido ás irmás que o habitaron a mediados do século pasado, sendo os últimos Díaz Varela que viviron nela.
Desde principios dos anos 50 ata mediados dos 60 Manuel Vieitez, actual propietario, pasaba cos seus irmáns os longos veráns de xuño a setembro na aldea de Rosende, onde vivía a súa avoa Vicenta; esta época enraíza o amor pola súa terra e a fascinación pola Casa Grande de Rosende, antiga orixe do pobo ao que dá nome.
Ao final dos anos 70 o destino tráeo de novo ao pobo coincidindo co falecemento da señorita Lala, a última dos Díaz Varela que habitaron a casa. A familia Vieitez compra a fragmentada herdanza e inicia o longo camiño para devolver o esplendor á decrépita casa Grande de Rosende decidindo destinala a turismo rural ao final da década dos 90.
En 2005 o Pazo sofre un aparatoso incendio que destruíu gran parte da casa, tras reunirnos toda a familia, decidimos reconstruíla e darlle un novo esplendor con todo o mimo e co máximo respecto á arquitectura orixinal, recuperando a atmosfera “paciega” que celosamente mantiveron os últimos Díaz Varela.
