1984年，姚连蔚因在“文化大革命”中犯有严重错误，被开除党籍。
姚连蔚说，他对当官并无兴趣，只想回到生活了几十年的工厂继续开车床，但这个愿望已经不可能实现了。后来多次调整工资，同姚连蔚一起进厂的师傅们的月工资已提到130多元，姚连蔚的妻子也升为110元，而姚连蔚仍旧是58元多。昆化机械厂党委的一位负责人说，姚连蔚多年没有上班，发那么多钱已经算照顾了。姚连蔚在54岁时已申请退休。厂长则认为，对历史问题应放得宽松一些。两位厂领导人对姚连蔚的妻子都有极好的评价：处事不惊，贤妻良母。她并不因丈夫的显赫而不可一世，也不因丈夫锒铛入狱而万念俱灰。她叫王桂兰，是山西汾阳人，比姚连蔚小4岁，与姚连蔚曾在一个车间、班组工作，又是同一天加入中国共产党。姚连蔚说，他能够活下来，多亏了贤惠的妻子。
出狱后，姚连蔚成为家庭管理员、采购员、炊事员、学习辅导员。他的大儿子是火车司机，二儿子是炼钢工人，三儿子正在技工学校读书，可以说是个工人之家。姚连蔚说：“艰难时期已经过去，我没有什么可忧虑的了。”
姚连蔚在老家长安还有两间平房，他不时回去看看乡亲，种花养草，爬山钓鱼，寻求晚年之乐。尽管他的一只眼睛得了中心网膜炎，盲而不瞎，只能看大物体。但他每天还是孜孜不倦地读书，主要是读中医书。他学医起先的动机，是因为不能报销医疗费。
谈到中医学，他滔滔不绝地说起阴阳辩证，五行相克相生。对王叔和脉学的一些章节背诵如流。东汉张仲景的《伤寒论》、明代李时珍的《本草纲目》、金元四大家、清代的《医家金鉴》等经典都通读了。
最后，姚连蔚说：“我可不愿意迎合读者的好奇心，做人们茶余饭后的谈话资料。我已是失意落魄、无欲无求的闲人，惟愿在无声中消失。”
历史就是这样喜欢开玩笑，本该无声过去的，却让他上天入地走了一遭；本该医人的，却让他去医国。
