在清华大学从事学生运动，回到家乡的短暂历练是他实际从事党的宣传工作的一次精心彩排
1930年夏，胡乔木考入了北平清华大学物理系（后改入历史系）。
北平是五四运动的发源地，而以“自强不息，厚德载物”为校训的清华大学，则是一所人才辈出的着名学府。融入北平并置身于梦寐以求的水木清华，胡乔木按照自己的人生设计，一面如饥似渴地读书求知，一面矢志不渝地追求光明。他与先他一年入学却小他一岁的同乡校友乔冠华，以及经济系同学、时任中共地下党负责人的曾迪先等人相识相知后，很快参加“左联”，并于当年12月加入共青团组织。1931年春，开始出任清华大学团支部书记，随后又任共青团北平市西郊区委书记，并主编革命刊物《北方青年》。至此，胡乔木已坚定地走上了一条革命道路。
1931年9月，胡乔木于清华大学求学只有一年的情况下，被调任为北平团市委委员兼专职宣传部长。随后，他因参与革命活动身份暴露，名字已被列上了北平市公安局的黑名单。
清华大学代理校长翁文灏找胡乔木“诫勉”谈话：清华好比一座戏台。既然是戏台，各类角色都可登台表演。但是，如果戏台塌了，那就什么戏也演不成。你胡鼎新演的戏太危险，会搞砸清华这座戏台。作为校长，我只能提出两种方案供你选择：一是交出你的组织名单，保证不再进行危险的政治活动；二是离开清华。
显然，读书求知与追求革命，已不能并举而行，胡乔木只能选择离开清华。1932年3月，经组织同意，胡乔木“病休”离开北平。同年5月，经上海返回家乡盐城隐蔽，秘密从事党的地下工作。
此时的盐城在经历了1930年以“左”倾冒险形式出现的“八一”暴动失败和“双十事件”之后，中共盐城地下组织遭受了严重破坏，地下党的生存环境及斗争形势异常恶劣。也就是在这样的一种白色恐怖下，1932年夏，胡乔木在盐城秘密地加入了中国共产党。因为是住在县志编修工作室附近的盐城贫儿院，胡乔木便以父亲续修县志总纂和姨父朱木香担任盐城贫儿院院长的便利条件，艰难地从事着盐城地下党的宣传工作，并且成功地创办起了旨在反封建独裁、争民主自由的进步文艺期刊。
