进入2004年，日本调整了对朝鲜的策略，外交人员和国会议员在水面下悄悄与朝鲜方面开始接触。2004年5月中旬，日本政府对国民宣布了小泉首相准备第二次访朝的消息。此时，曾我瞳等5人已经等待了1年零7个月。
2004年5月23日，日本首相小泉再次访问平壤。当天，小他分别与金正日还有曾我瞳的丈夫和两个女儿进行了会谈和见面。当天下午，小泉召开记者会，公布这次访朝成果，表示由于曾我瞳丈夫杰金斯不愿来日本，两个女儿也表示要在朝鲜完成大学学业，所以将安排曾我瞳与其丈夫女儿在其他地方会面。小泉于当天晚上返回日本，并带回了莲池家和志村家的5个孩子。朝鲜则公布日本许诺给予25万吨大米和相当于1000万美元的医药品援助。
小泉当夜接见了“绑架受害人家族会”成员，表示他已得到金正日重新调查其他被绑架者情况的保证，但遭到了猛烈批评。“家族会”认为小泉的第二次访朝没有成果只有退步，不仅没有带回杰金斯和其女儿，还许诺给北朝鲜许多大米和医药品的援助，称他们被小泉出卖了。没有任何收获的曾我瞳则绝望地回到了空荡荡的家里独自悲伤。
日本的电视台又热闹起来，许多专家评论家纷纷就此发表见解，献计献策。有人骂朝鲜故意造成这种局面，如果真想还人的话就应该像对那5个孩子一样，强制曾我瞳的丈夫杰金斯和其女儿登上来日本的飞机。更可笑的是还有专家一本正经地建议，安排曾我瞳住到中朝边界的某个城市，以便她的女儿和丈夫可以经常去看她。但是，电视里出场的这些“专家”们没有一个人提出让曾我瞳回朝鲜，也许有人心里想过，但嘴里说不出来，能说的只是对朝鲜的批判和蔑视，否则就是非主流政见，弄得不好还可能遭到极右势力的攻击。
就在这样的尴尬和噪杂中，曾经曙光初现的日朝关系正常化又回到了原点，原有的敌对重新升级，而领教过朝鲜“厉害”的日本从此便患上了“恐朝症”。
