1955年起历任城市建设总局局长兼国家建委副主任、第三机械工业部部长和党组书记、电机制造工业部部长和党组书记、煤炭工业部部长和党组书记。是中共第八届中央候补委员。文革中遭到残酷迫害，1967年1月22日被迫害致死。周恩来是在张霖之惨死之后才得知消息的。极度悲愤之中，周恩来眼含泪水，拿着张霖之遍体鳞伤的照片，激愤地质问造反派：“你们把张霖之部长扣押40多天，不让他回家，也不向我报告，批斗几十次，刑讯逼供，是谁给你们的权力？别说对一个部长，就是对一个普通老百姓也不能这样啊！如果连一个部长的生命安全都没有保障，国家还有什么希望？真是无法无天了！”
