老宅是两百多年前的1811年建造的，是彭姓先祖由广东迁徙到大汾定居的四五十年后，由于经营木材生意发家、积累财富新建的。特别有趣的是当年新建房屋立柱按梁时，飞来一大群的乌鸦落在按好的房梁上，当年乌鸦寓之吉祥，且鸦与雅同音，先辈说今后彭氏后人文人雅客居多。故彭氏辉斗公祠也有人称为乌鸦洛阳（落梁）大屋。