吴氏祠建在卓王山下南面，与陡山村的谢家垸毗邻，倒水河与陡山村隔山相望，其中有一条小溪正好在祠堂门口流过。

红安倒水河与麻城柏子山之畔的举水河之间(柏举即柏子山与举水河的合称），即是二千五百年前吴王阖闾携伍子胥孙武带三万军士与楚军相战的柏举之战的发生地。近年来，在举水河床上陆续被人们发现的石器、陶井、箭镞、青铜玺和大量古钱币，特别是在两河之间(举水、倒水)出土的一批批古代武士墓群，更能证明这里曾经发生过惨烈战争。
（总称为柏举之战的吴国破楚之战，经过吴国军队在汉水施诱敌之战、撤至柏举，爆发柏举之战、一举击溃楚军，之后是清发水追击战、雍澨败援战、入郢之战。经过这五次战斗，吴国军队终于攻占了楚国的都城---郢）

吴氏祠原是红安八里湾镇陡山村吴姓人的家族宗祠，现为国家文物保护单位，国家物质遗产

据吴氏家谱记载，此祠始建于清乾隆廿八年（1763年），同治十年（1871年）重修，现吴氏祠为光绪廿八年（1902年）新建，历时两年。

整个吴氏祠为砖木结构，共三幢，依次为观乐楼、正殿、寝殿。在观乐楼与正殿之间为前院，中有一棵两人合抱的桂花树，为清同治年间栽种，今已一百好几十年了，月桂飘香时，方圆十里都能闻到清香。

吴氏祠建造上的木雕艺术是弥足珍贵的，均为当年“黄孝帮”的杰作。

吴氏祠堂其建筑艺术，特别是雕刻艺术湖北罕见，被誉为古武汉的活化石和鄂东第一祠（祠堂有古代武汉的市景图浮雕）

吴氏祠门楼上“家承赐书”相传与朱元璋的关。1354年，朱元璋在陡山村附近遭到敌军突袭，逃亡中遇到吴家读书人吴琳（吴氏三世祖），吴让他藏到自家阴沟，并在阴沟入口处布上蜘蛛网，这样朱就躲过敌军搜捕。朱元璋在吴家暂时落脚时，一日雪后初霁，吴琳信口吟道：“雪压竹枝低，虽低不惹泥。”朱元璋忍不住接吟：“有朝红日起，依旧与天齐。”吴琳由此断定此人非等闲之辈，遂帮他收集散兵，重整旗鼓。朱元璋即位后，召吴琳入仕，官至吏部尚书。朱元璋还亲笔题写“开国天官里”的字样赐予吴琳，让他在家乡建立牌坊。

据传，抗战中，一群日军曾欲将此祠烧毁，当他们举着火把闯进祠中时，却被祠内的富丽堂皇震住了，纷纷熄灭火把，向吴氏祖宗牌位磕头。