1922年，吴佩孚利用“法统重光”名义恢复旧国会，随后准备推举曹锟为大总统。胡启东与吴江籍议员王绍鏊等人，坚持先定宪法，后举总统，并共同组织宪社，以示决心。曹锟唆使军警，逼走大总统黎元洪，旋以5000银圆一票的代价收买国会议员。在部分议员屈从于威逼利诱的情形下，胡启东愤然离开北京。然而，当他抵达南京火车站时，又遭直系军阀、江苏督军齐燮元部下的恐吓。面对特务亮出的匕首，胡启东不为所动，绝裾而去。终于，他因痛恶官场黑暗而告别宦途。
辗转返回盐城后，胡启东潜心致力于家乡的教育、水利及社会公益事业。1929年至1936年，胡启东在家乡主纂《续修盐城县志稿》14卷（人称《胡志》）。该志不仅在体例、内容上较前志有所创新，而且属文繁简适度，语言通俗流畅；一事之出，一典之来，必力求翔实，对人物的臧否尤为郑重，表现出编纂者严谨的治学态度。其结构形式及许多篇章内容，深得方志学者的赏识。
胡乔木自幼能文善诗、才华出众，并且潜心好学、勤于思考，后又热衷于传统的地方文史和地方史志，这与父亲醉心文史、严谨修志的熏陶和影响不无关系。胡乔木的中学同窗乐怡然曾这样评说过胡启东、胡乔木父子：“胡老先生的道德文章和爱乡爱国的正气风范向为县人所敬佩。乔木幼承他父亲的训教与熏陶，养成了潜心读书的良好习惯，奠定了比较好的文史知识基础，并具有较强的组织文字的写作能力。乔木一生爱好诗文，富有‘杜甫式的’诗人气质和中国传统文人的优秀品德，当也是从他父亲那里一脉相承而成为自己的特色。”
