建好西装大楼已负债累累
也就在1984年的秋天，步鑫生创办年产30万套西装厂的报告获得了中央批准。这个西装厂，被后来很多研究“步鑫生现象”的学者，认为是他失败的开始。
“我名气大，官员们要做政绩，肯定也是找上我。”多年以后，步鑫生重提这段往事，情绪激动。
步鑫生进一步解释，当时，县里一位主管局长找到他，要求他上一套西装生产线，而之前，这位官员已被他推辞过三次。这一次，他再也抹不开面子，只能点头答应，但要求是“6万套规模”。
这份计划送到省里时，一位主管全省工厂的厅长看后表示，步鑫生是全国模范，要做就做最大的。“我当时就反问他，什么是最大的。”步鑫生依然记得当时跟领导对话的情景，那位领导顿了顿：“30万套”，而18万美元的预算也变成了80万美元。
海盐衬衫总厂以前的秘书冯海春回忆，1984年，6000平方米的西装大楼开建，虽然有国家的外汇源源不断地支持着。但这对固定资产只有50万人民币的衬衫厂，根本无力承受。随后，国家财政出现了赤字，银行贷款开始紧缩，西装大楼几度停工。
“其实西装大楼开建之后，我们就是负资产了，建好我们就负债80万美元。”步鑫生说，1985年等西装流水线建好，全国的西装热已经过去，生产的西装根本卖不出去。之前，他因为忙于抓西装大楼的基建，衬衫厂的效益开始一路走下坡路。
媒体依然在对步鑫生做着正面报道，1985年，邓颖超接见了步鑫生。“我那时候看报纸，觉得报纸上那个人已经不是步鑫生了，那是一个神，”童宝根说，他有一次采访完步鑫生，跟同去的记者讨论过，大家最后的结论就是，其实步鑫生并没有那么神奇，但那时，大家已经停不下来了，而步鑫生也停不下来了。
童宝根说，他后来和人民日报记者金凤聊天时得知。在当时，薄一波看了报纸后对金凤说：“你们这样捧，会把步鑫生捧死的。”
直到今天，步鑫生也不否认是媒体将他捧红的，他甚至有句话，“成也童宝根，败也童宝根。”不过，他并不承认自己在媒体的吹捧中丧失了理智，“我是一个主意很大的人，别人根本影响不了我。”
步鑫生至今还认为，“是时代选择了我”。在他看来，当时的中国需要一个偶像人物来带动经济，而他所做的，正好走在了那个时代的前面，于是被选中了。
