百余年来，历经水灾和为适应教育事业发展的需要，几经拆改，部分房屋已拆除改建为楼房，朝门已改造，昔日的花园亦不复存，正厅、右厢房及书房等主要建筑物保存完好。现存房屋总建筑面积为2700平方米，朝门外两侧各植一株金桂树，今虽已枯死，但树干犹存。

　　在蓬安利溪，伍氏是望族，清代晚期以来，文人学士和朝廷命官迭出。如：

　　伍联芳：字级庵，清道光五年（1825）拔贡，以州判署江西，再佐南安府总捕水利同、丰城知县。

　　伍德全，贡生，贵西观察。

　　伍桂芳，附生。

　　伍兰芳，禀生，候选训导。

　　伍云深，湖南零陵县丞。

　　伍蓉，同治九年（1870）拔贡，以同知衔任湖北知县。

　　伍宗汉，光绪十一年（1885）拔贡；

　　伍联珠，光绪二十三年（1897）岁贡。

　　伍彝超（1871—1923），字辟尘，在家乡创立蚕桑学社，于青衣山和利溪场新建蚕房两所，置有天棚地楼，开创蓬安新法育蚕之先河，四川总督锡良赐赠“树艺可风”黑漆镏金匾额悬挂于住地万桑园以资嘉奖。

　　伍彝章（1873—1951），字玉雯，光绪二十三年（1897）禀生，后就读于四川省高等学校，毕业后任西昌县教谕、蓬州劝学所视学兼学务总董，民国元年（1912)任四川省临时省议会议员，民国十年（1913）任蓬安县议会议长及川北师范学校校长。从民国十七年（1928）起，先后任国民党四川陆军第五师秘书、蓬溪县知事、开江县县长、二十一军教育处长、四川省政府秘书、蓬安县修志局局长等职，新中国成立后，以特邀代表身分出席蓬安县首届各界人士代表会议。

　　伍鹤，字群一，肄业于南京中央大学，民国初年任蓬安县政府教育科科长。

　　伍剑禅，毕业于北平中大、日本东京高地大，回国后，曾任多所大学教授，后任四川省文史馆研究员。

　　伍非百（1890—1965）字程骥，光绪二十九年（1903）秀才，同盟会会员，曾任成都大学、南京中央大学、四川大学、华西大学教授，并在南充西山创办西山书院和川北文学院，系中国著名的墨学家，著有《中国古家名言》传世，中华人民共和国成立后，先后任川北人民行政公署委员、川北大学校务委员会副委员、四川省图书馆馆长、省人民委员会委员、省人大代表、省政协委员、中国国民党革命委员会四川省常委委员、省文史馆研究员等职。

　　伍极中（1896—1984）字正统，民国期间历任小学校校长、交通部航政司航务科科长和副司长、军事委员会航运统制局少将专员、佛光轮船公司经理、强华轮船公司秘书主任等职。新中国成立后，任公私合营江华轮船公司董事会秘书。

　　伍应，抗美援朝烈士。

　　伍善甫任贵州省黎平府古州厅同知时，见苗族人民衣服褴褛、无食者多羸于苦役，慨然曰：“此独非吾赤子乎！”于是，他先购入红花种子，教苗人播种，改变苗人不事生产的习俗，使苗人销售红花后获利非小，改善了生活，从而也积极从事农业生产；继而修文庙，置学田，建榕山书院，让民子入学学文化、礼仪教育，土习巨变。时民患多夭，厅无良医，伍善甫精医术，亲自为民看病送药，使患者得到及时治疗，病多痊愈，众欢呼曰:“伍公活我，活我！”于是署知镇宁州施秉县。时贵州大饥，伍善甫请宪平粜，开米厂、创冬生局，使饥民全活者五千余人，人皆善之。朝廷因伍善甫之功，诰赠其祖伍德全、生父伍桂芳，养父伍兰芳等三人为朝议大夫，一时利溪伍代荣耀非凡。于是伍善甫父子（伍彝超、伍彝章系伍善甫之子）及其族洼洼轪，合力修建“大夫第”以作伍代宗祠，同治年间始建，光绪年间峻工。历经百余年，多次改作他用，现存正左、右厢房、书房等主体建筑保存完好。作为研究清代晚期官宦门第、宗祠建设的实物建材，也是抚今追昔，考察相如县故城遗址和双休日、节假日游览的好去处。