国家科委牵头的正规组织
1984年到1987年之间，一批科技企业成长起来，其中包括联想、方正、紫光等。他们的领军人物也开始加入这个小组。小组很快扩展到六七人，十几人，几十人。小会议室容不下了，就找大会议室，直到大的会议室也容纳不下，成立一个正规组织的想法开始萌生。而且，这个团体的影响力也吸引了政府的关注。
陈庆振回忆，后来八九十个人中，有接近一半的人是来自政府、学者和媒体。社会各个方面都关注的时候，成立正规组织也是一种需要。于是，1987年，在国家科委牵头下，成立了“北京民营科技实业家协会”，此后，全国更多的民营科技企业参与到这个团队，遂改名“中国民营科技实业家协会”。这一年，协会第一任秘书长便是挂职国家科委的华怡芳。
人数缩减为16人
组织建起来了，队伍壮大了，问题也跟着来了。由于人员太多，反而减弱了交流的效果。于是，一个更小、更有效的“顶级”小圈子成为需要。这个小圈子在1993年变成现实。中民协里影响力大、私交好的企业家们组成了一个小圈子——泰山产业研究会(1998年改称泰山产业研究院)。
陈庆振，是这个豪华阵容里的一员，也是中民协的现任秘书长。现年69岁的他是中国最早下海创办科技企业的淘金者之一，和段永基、柳传志等人同是中关村的元老人物，1983年创办“中国第一家卖电脑的公司”——科海。陈庆振向记者粗略地列举着泰山会成员：四通集团段永基、联想集团柳传志、万通集团冯仑、泛海集团卢志强、复星集团郭广昌、远大空调张跃、信远控股林荣强、还有年轻一点的史玉柱、李彦宏……这些会员企业组合起来就是一条强大的产业链，链条上的每个企业都占据了所在行业的绝对影响力。段永基等人对泰山会的构想是：资产过亿的、达到某种量级的中国民营企业家的私人圈子。
然而，泰山会一直低调。前任会长林荣强告诉记者：“泰山会是一个私密的个人组织。”据林荣强的秘书介绍，2005年的时候，泰山产业研究院才改名为泰山会，人数缩减为现有的16人，成为一个真正意义上的单纯的企业家私人交流的圈子。“现在也主要是以娱乐性为主，会员们有时间就一起打打高尔夫，喝喝茶，聊聊天。”万通集团冯仑也说:“我们是一帮老男人，私人组织。”据中国周刊
内幕
华怡芳：和民营企业家们是生死之交
华怡芳是泰山会发展中无法避开的人物。他的父亲华岗，是中国老一代革命家。而华怡芳本人一直都在辅助别人做事，人脉关系极广，人缘很好。即便到了2009年，在华怡芳去世四周年后，中民协还为他组织了一次追思会。国家科委原副主任吴明喻评价华怡芳：“他和民营企业家们不是一般的私交。那是生死之交。”
华怡芳和民营企业家们的交情一定程度上也缘于他思想意识超前，一直主张在市场经济下建立平等的经济秩序，并为民营经济的发展鼓与呼。譬如，“泰山” 成立后，华怡芳成立了《泰山通讯》，虽然只是一本内刊，但反映了很多经济上的超前讨论，也有一些政治的主张，这些内容在当时还是比较敏感。柳传志和段永基等成员对此也有所担心。但是，这个讨论平台进一步树立起“泰山”的威信。
2005年，华怡芳去世，失去核心人物的泰山产业研究院改名为泰山会。之后，泰山会的组织形式更加私人化，不再设分会，也取消了内刊。
