El pazo fue construido en el año 1511 por la familia Díaz Varela en el enclave de Rosende. Uno de los descendientes de la saga, Carlos Recarey Díaz Varela, regentó el Virreinato de Méjico, retornando más tarde a su tierra para ocupar distintos cargos públicos (como los de recaudador real y gobernador de Lugo). Fue él quien se encargaría de ampliar la edificación inicial a finales del siglo XVIII. De esta época es la decoración de la capilla y salones por medio de singulares frescos ejecutados por Juan Bernardo de Castinandi, pintor gallego formado en Roma, que dan un especial carácter palaciego y cortesano a este Pazo. La familia Díaz Varela ha tenido una significada presencia en el mundo de la cultura a ambos lados del Atlántico. Entre los últimos moradores de la casa es de destacar a Roberto Díaz Varela, director del periódico de La Marina en La Habana; Dalmiro de la Válgoma y Díaz Varela, historiador de Monforte y secretario perpetuo de la Academia Nacional de Historia; o Elena Quiroga, una de las grandes escritoras de Galicia y académica de la lengua. La Casa de las Señoritas, así se conoce el Pazo en la comarca debido a las hermanas que lo habitaron a mediados del siglo pasado, siendo los últimos Díaz Varela que vivieron en ella.
Desde principios de los años 50 hasta mediados de los 60 Manuel Vieitez, actual propietario, pasaba con sus hermanos los largos veranos de junio a septiembre en la aldea de Rosende, donde vivía su abuela Vicenta; esta época enraíza el amor por su tierra y la fascinación por la Casa Grande de Rosende, antiguo origen del pueblo al que da nombre.
Al final de los años 70 el destino lo trae de nuevo al pueblo coincidiendo con el fallecimiento de la señorita Lala, la última de los Díaz Varela que habitaron la casa. La familia Vieitez compra la fragmentada herencia e inicia el largo camino para devolver el esplendor a la decrépita casa Grande de Rosende decidiendo destinarla a turismo rural al final de la década de los 90.
En 2005 el Pazo sufre un aparatoso incendio que destruyó gran parte de la casa, tras reunirnos toda la familia, decidimos reconstruirla y darle un nuevo esplendor con todo el mimo y con el máximo respeto a la arquitectura original, recuperando la atmósfera “paciega” que celosamente mantuvieron los últimos Díaz Varela.