2001至2002年间，余刚也曾在广东江门下辖县级市鹤山市挂职副市长。之后，余刚回京。
据余刚多位亲友回忆，大约从2005年起，他开始担任一位已退休的中央领导秘书，此后一路相随。
整整27年后，余刚46岁的时候，他出现在中央纪委的通报名单里。余刚用了46年的时间，为自己的命运画下一条抛物线。
十八大之后，与余刚、冀文林一样正在接受组织调查的官员还包括中石油天然气集团公司原副总经理李华林、四川省委原常委郭永祥以及已经失去联系的中石油国际事业有限公司党委书记沈定成。
这五个人有一个共同的特征：他们均担任过上述已退休中央领导不同时期的秘书，因而也被媒体称为“秘书五人组”。也有媒体算上曾经的警卫秘书谈红，称为“秘书六人组”。
前后相隔一年，这六位曾追随过同一中央领导，并先后都擢升至副部或正局级高位的“首长秘书”，命运的抛物线急剧坠落，共同演绎了“一荣俱荣、一损俱损”的现实故事。 做了“首长秘书”之后，余刚回家的次数越来越少，余刚的家人、邻居、同学和老师都表示，甚至过年过节也很少见他。
对于余刚的工作，家里人也从未知道一点信息。大家知道的，只有给某位领导做秘书，这个工作很重要，也有很多机密。
财新网曾报道，冀文林出身内蒙农村，成绩优异，但因家贫报考了武汉地质学院物探系勘查地球物理专业学习，生于江苏贫寒农家、在北京石油学院（现中国石油大学）时学同一专业的中央领导想必与其颇有共同语言，他从此将冀带在身边。
余刚和这位中央领导以及冀文林三个人几乎有着同样的人生轨迹：出身贫寒农家、成绩优异、顺利考上大学、分配工作。余刚和这位中央领导想必也颇有共同语言。
一个令人有些疑惑的细节是，余刚的多位亲友和邻居们都表示，不知道余刚的妻子是谁，也不知道他何时结的婚。