四个月后，房秩五不得已回到安徽，许世英保其担任芜湖道道尹。围绕贿选，安徽各方斗争激烈。有一天，倪道唆使旅长史俊玉闯入省长办公室，持枪威逼许世英立即承认贿选议员，召集会议。许绕桌而走，拔出随身短刀，愤对史俊玉曰：“再前一步，我即自杀！”房秩五急起夺去史的手枪，厉声呵斥，史乃鼠窜。选举诉讼案终由法院判决贿选无效，省长公署同时公布依法改选。但直到年底，许世英辞职，吕调元继任，安徽仍是旧议员取消新议员难产的局面。房秩五因与吕调元同学，不好言去。民国十二年(1923)11月，吕调元辞职，房秩五便告退回到老家浮山。

　　结束了十二年的无聊政治生活，房秩五决心启迪民智，振兴国家，在浮山办学。但是，没有地，也没有钱。

　　学校计划依托旧华严寺兴建，开工时遭吴姓农民聚众阻止，说吴姓是浮山的山主，华严寺是吴家的地皮。房秩五请来吴姓族长吴正卿，并让学校备办酒席招待吴氏子丁。吴正卿本属开明，与房秩五私交甚厚，他对吴姓族人说：“房秩老办学校为了乡里造福，是善举。他看准的地皮，早晚都是他的，不给行吗？不如做个顺手人情，写个‘送帖’送给他好了！”酒席上，吴正卿又宣布：“今天的酒席，算是我们吴家请房秩老诸位的，不劳各位破费了。”

　　浮山学校从最初的小学，发展到后来的高中，无疑益于房秩五政界与实业界的广泛影响———不菲的办学经费，多数都由房秩五向外方劝募，其中就包括许世英给予的两万元。浮山高中的办学资格，没有房秩五的反复运作，官方的一纸文书也不会发给。

　　浮山地区的社会环境，当时极为复杂。房秩五基于对民国政府的失望，对共产党深为同情。时任安徽省委书记王步文，后来的国务院副总理柯庆施、全国政协副主席朱蕴山、文化部长黄镇，孙炳文妻子及三子一女，皆因房秩五之故曾在浮山工作或隐避。风声传到安徽省长王某耳中，王问房秩五：“有人说浮山成了‘匪巢’。”房答曰：“你们说浮山是‘匪巢’，那我不是‘匪首’吗?”省长知道房秩五的能量，自己手上也并无铁证，一笑而罢：“哪个晓得你在浮山哟！”

　　但是，地方显然比官方更难对付———这时的桐城东乡，既有民国政府武装，亦有地方民团及共产党武装，土匪、盗贼更是出没无常。鉴于房秩五的声望，各方势力均对其敬畏有加，浮山学校得以安宁，更多的还是得到陶二甩势力的保护。但这种钢丝上的游走，很难万无一失。

　　陶二甩读书出生，人尚正气，乱世中拉起一支民团队伍，口号即称：“万贯家财我有份，条牛石种开门困，没日子过的跟老子混！”陶平时找富家要钱，对平民则多有接济，因而成为桐城东乡最有实力的两大民团之一。房秩五任芜湖道尹时，陶二甩在皖南被捕，受朋友之托，房秩五出面将其保出。感于房秩五的救命之恩，陶二甩尊其为师，社会则传言“房秩五是陶二甩的师爷”，或“土匪师爷”。原太平县保安大队长丁文林，战败后逃回老家也拉起一支队伍，欲与陶二甩争夺地盘。丁的实力最弱，便找另一支民团团长张子如。张部与共产党关联密切，与唐生智部关系亦密。丁、张二人联手，杀了陶二甩。民国十八年(1929)的农历小年夜，房秩五得到密信，丁文林带人前来谋害。真假莫辨，房秩五举家夜奔，房的轿夫也吓得数次摔倒雪地。

　　民国十九年(1930)的春间，房秩五又遇脑病大发，例在秦皇岛海滨长期养疴。民国二十二年(1933)，房秩五身体康复，因有家难回，便决定重操实业，做了柳江煤矿公司副经理，但未来同样未知：尽管在中国的土地上，日本人的气焰比中国人还高，时常勾结匪徒寻衅滋事，敲诈勒索。后来，竟以武力强占柳江矿场及运输轻便轨道。民国二十六年(1937)，日人给价六十六万元，“买”了价值五百余万的柳江煤矿，房秩五的五年实业生涯就这样结束了。

　　回乡后的房秩五，心志中唯一能做的一件事，就是继续打理浮山学校，直到新政权建立。在浮山，房秩五除了办成了知名的浮山中学，还挽救过危难中的鞠隐小学。这所小学堂，吴芝瑛创办于光绪三十二年(1906)。吴芝瑛系吴汝纶侄女，其父吴康之宦游二十余年，置有家业。但吴康之故去时仅有一女，族人意欲争夺其家产。吴芝瑛秉父命捐家资办学，族人多方阻挠，纠纷更层出不穷。吴汝纶于房秩五有知遇之恩，房秩五便亲任鞠隐小学校董，使这所学堂薪火传承……

　　最终的房秩五，以“教育家”与“社会活动家”获得新政权的礼遇，先后担任安徽省人民政府委员、省政协副主席和省文史研究馆馆员等职。1951年10月，房秩五作为特邀代表参加全国政协一届三次会议，周恩来、朱德亲往看望。周恩来还曾数次与人谈起房秩五创办的浮山中学，朱德后来视察安徽，亦特约见房秩五先生———1922年，房秩五之子房师亮与朱德、孙炳文、章伯钧等人赴德国留学，并由朱德、孙炳文介绍入党；周恩来养女孙维世一家避难浮山，房秩五在复杂的环境中倾力照料。急人所难，房氏本无图报之心。

　　从来就没有既定的人生，一切皆缘于时事的使然。房秩五一生政海宦游，早作烟云散尽；一生的实业生涯，只是将四个弟弟培养成“地主”———惯看秋月春风的老人，80高龄时亲编《浮渡山房诗存》，将自己一生的400余诗，遴选了301首。砥砺追求的雨打飘萍，信笔由缰的留与千秋。所谓《诗三百》，房先生执意会在一个文人面目。他在晚年的自述中记曰：“我平生有不满现状的个性。在前清，我不满清室；在民国初年，我不满袁世凯；在民国十二年后，我尤不满蒋介石。但是不满现状，就应该推翻现状，改造现状，我不能这样做，这是我知道做不到的懦弱表现。”

　　似言犹未尽，又似言不由衷……

章宪法