第一个明确提出决开黄河大堤的是国民政府军委会办公厅副主任姚琮。他在5月21日给军令部次长熊斌的电报中说：“黄河旧险地方在考城(今兰考境内)以东中牟……倘即施以决口工作……一时造成泛滥区域，至少可使其(日军)行动困难，全局情势必将改观，而于我有利。”
26日，军令部高级参谋何成璞也提出了几乎一样的建议：“窃查黄河现届桃汛，考城以西尤以兰封曲折部冲力最猛，倘施工决口……不特大地泛滥，使敌机械化部队失其效能，亦且足以摧毁其战力……”
发出类似的电报、呈文者还有很多：刘仲元、谢承杰、黄新吾、晏勋甫……这些人多数都是各个战区司令部、军的高级参谋，很多名字并不太为今人所熟悉。耐人寻味的是，他们的顶头上司在这时却往往没有直接表态。
不过，在第三人的回忆或自传中，很多当时声名显赫的人物都曾经直接或间接地向蒋介石建议过决堤制敌，其中包括冯玉祥、程潜、白崇禧、卫立煌等，但都没有留下直接的历史凭据。
也许，这可以解释为一种政治策略。谁都清楚，这种御敌之法属于自残自戕。
不决堤，郑州再无他法可守，很快会落入敌手，战时首都武汉危如累卵；
决堤，黄河泛滥，中原大地顿成泽国，浩荡洪水将吞没千百万国人生命财产，殃民之灾无可避免。
蒋介石也深明此点，所以，即便是案头上的电报、呈文纷至沓来，他也一直未置可否。直到5月31日下令豫东中国军队全线撤退，他也没有对决堤制敌的方案做过任何表态。
战场上的局势还在进一步恶化着。日军占领商丘后，很快席卷豫东，兵锋直指开封。近在咫尺的郑州岌岌可危。而长江下游的日军也在蠢蠢欲动，对武汉形成了南北夹击之势。
6月1日，最高军事会议在武汉紧急召开，会议由蒋介石亲自主持。此时，蒋介石已经接受了豫东战役失败的结局，他开始考虑武汉会战，甚至已经开始准备武汉大撤退了。
蒋介石问负责武汉防务的第六战区司令陈诚，如果集中全国可用船只车辆，实现武汉撤退需要多长时间？陈诚回答，至少十二个月。
蒋介石又问总参谋长何应钦，北方之敌最快多久可逼近武汉？何应钦答道，由于有平汉铁路之便，如郑州一失，华中基本无险可守，估计不超过一个月。蒋介石再问，那么苏皖之敌呢？何应钦答，日本华中派遣军只能沿长江进攻武汉，此为山地，对我军有利，可御敌三个月。
最后，蒋介石问，如果敌寇两面同时进攻，结果又将如何？何应钦答，无法预料。会场陷入一片寂静。
渠长根告诉记者，在他查阅的历史档案中，并没有关于这次会议决议的直接记录。甚至最后决堤命令的下达，都是用电话通知，没有留下任何的文字资料。不过，时任第一战区司令部参谋长的晏勋甫回忆，正是这次最高军事会议，“策定豫东大军向豫西山地作战略上之转进，同时决定黄河决口。决堤的任务由第一战区司令长官部组织实施。”
陈慰儒当时担任黄河水利委员会河南修防处主任，他的回忆也可以提供佐证，6月1日，程潜在郑州第一战区长官司令部约谈他，向他传达了“蒋委员长命令决开黄河大堤，放出河水阻挡日寇”的命令。
世世代代居住在此的陈慰儒，深谙洪水放出后会带来的灾难性后果。他委婉地试图拦阻决堤行动。陈慰儒说：“按照河工经验，五月(农历)晒河底。现在正是枯水季节。就是决开黄河大堤，水流很小，也阻挡不了敌人。但是汛期来了后，堵口很难，豫苏皖三省洪灾无穷。现在决堤很不合算。”
程潜似乎有所触动，告诉他“等转报蒋委员长后再做决定”。可是第二天，程潜又找来陈慰儒，告诉他“蒋委员长说，只要敌人知道黄河决了口，就不敢前进，水小也要决，马上派河兵动手。”
陈慰儒最后争取了一下：“河兵都是沿岸农民，深知黄河决堤的后果，他们不会答应动手决堤的。”
程潜随即下令：“那么我派军队去决，你们去指导。”
第一战区接到的决堤命令，是要求在中牟和郑州之间的黄河南岸大堤上选择决口地段，在4日前必须决开大堤放水。他们最初选择的决口地点并不是花园口，而是中牟正北的赵口。
据晏勋甫回忆，决口地点的选择是他和程潜、陈慰儒、修防处总务处长朱镛、第一战区工兵科长王果夫等一起商讨决定的。之所以选择赵口，一是这里在1843年曾经溃堤，形成了黄河旧路。决堤后，河水将沿旧路，经过河南和安徽各县流入淮河。这条线路以东正是当时日军主要集结驻扎地区，可在一定程度上“水淹七军”。二是河水出堤，主要进入天然的河道，能够减轻百姓的损失。第三，黄河堤防有“铜头铁尾豆腐腰”之说，这一带就在“豆腐腰”上，经常决口，每年都要整修堤防，很多地方的大堤有两三层之多，而赵口这里只有一层，决口相对容易。
从这些“纸上谈兵”的设想来看，在赵口决堤似乎是个完美的计划，但真的到了实施的时候，却困难重重。
3日，负责赵口一带防御的第53军派出一个团的兵力，开始挖掘大堤。
决堤部队没有大型机械，只是以镐头、铁锹这样的原始工具，全凭人力挖掘。他们没想到的是，赵口大堤居然是黄河“豆腐腰”上的一段“金堤”，虽然只有一层，却坚固异常。挖掘进度缓慢不说，预定的方案也几乎是处处碰壁。
按照计划，部队要在相隔40米处分别挖掘两处口门，一旦两处豁口掘开后，中间的大堤将被水流冲走。
赵口大堤宽约30米，顶部距水面高约10米。部队在堤顶开挖的口门宽度有10米，越往下挖越窄，挖到接近水面时，口门宽度只剩不到1米了。人转身都已困难，施工更是难以展开。
工兵们带来了炸药，对豁口底部进行爆破。可是炸药能炸开大堤内侧的斜面石基，对松软的黄河沙土却无可奈何，就像一记重拳击到了棉花套上，没有什么效果。
好不容易有水能够流出来了，一阵冲刷之下，豁口两侧的泥土掉落，又把出口堵住了，让河水冲刷开两道口门间的40米大堤更是没有指望了。
就这样昼夜不停地挖了三天，直到6月6日，黄河水还是没能放出来。
在武汉遥控指挥的蒋介石坐不住了，“日必三四次询问决口情形”。直接负责决堤行动的20集团军总司令商震也坐不住了，亲临现场“监工”，加派39军一个团，在第一次决口以东30米处重新开挖。
一昼夜的抢工，第二道决口迅速完成，结果却更令人沮丧。黄河浑浊的河水根本看不出深浅，直到第二道决口挖到接近水面时，士兵们才发现，靠近大堤的黄河水极浅，河底是一片沙洲，真正的主河道还不知离大堤有多远呢。
而这一天，日军已经攻入开封，前锋抵近中牟。在赵口的决堤现场，隆隆炮声清晰可闻。
在赵口决堤已经来不及了。
选址关帝庙
赵口久拖不下，心急的不只是负责决堤的53军。53军所属的20集团军负责殿后掩护豫东大军西撤，必须挡住攻向郑州的日军。黄河决口什么时候成功，他们什么时候可以宣告安全。
6日，负责53军西侧防御的新8师师长蒋在珍，带着参谋熊先煜来到赵口决堤现场查看情况。蒋在珍很快认定，“决堤进展不顺并非人力不够，而是计划不当所致”，于是建议在中牟以西郑县自己的防区内另辟一个地方决堤，经商震报请蒋介石批准，当夜就开始实施。
根据熊先煜的战时日记，当晚10时，蒋在珍等与前来视察的20集团军参谋长魏汝霖商议下一步的行动，决定由熊先煜来主持此事。熊“受命之下，颇感兴奋，夜24时率同工兵营营长黄映清、黄委会河南修防段段长苏冠军等，乘车前往花园口侦察决口位置”。
在这个“微风拂拂，河水潺潺，月光暗淡，水位莫辨”的夜晚，他们仅靠随身携带的四支手电筒摸索，并不敢盲目选址。天亮后，一行人再由花园口沿河往上游寻觅侦察，在关帝庙西核桃园附近选出了大致区域。
就在这座关帝庙内，几个人虔诚地向当年“水淹七军”的关云长磕头敬香。熊先煜跪在地上默默祷告：“关老爷，中华民族眼下遭了大难，被日本鬼子欺侮得惨。我们打不过他们，万般无奈，只好放黄河水淹。淹死了老百姓，你得宽恕我们。”
