2002年4月底，位于旧首相官邸的西侧的新官邸落成。它占地2.5万平方米，总造价为647亿日元。新官邸是一座日式庭院，庭院四周种满了900多株竹子，院中还有岩石和流水。据称，宽阔庭园的设计来源于美国白宫建筑风格。
新官邸地上5层，地下1层，其中，3-5层为政务办公场所，4层召开内阁会议，1层是记者会见室。具备防恐和防核攻击功能的危机管理中心设在了地下1层。
整座官邸配备了先进的办公设备：铺设光缆，为煤气、水、电设置双重系统，楼顶上还可以停降直升机。与其说它豪华，倒不如说它实用。新官邸不仅拥有先进的信息通讯设备，在抗震方面也是目前日本最强的建筑。即便是在官邸与外界断绝往来的情况下，政务仍可以维持正常运转。
更重要的是，新官邸外面覆盖着5厘米厚的防弹玻璃。它对出入人员的管理非常严格，就算是首相本人忘带通行证，也照样进不了首相府。官邸大厅入口设在第3层，记者采访席被设置在入口处的一角。首相步入大厅时记者可以进行采访，但不能追随采访。“为了保证首相的安全和防止日本对外政策被泄露”，原则上严禁记者进入第4层会议室和第5层的首相办公室。这项措施使原来在旧首相官邸出入自由，甚至能与首相同桌吃饭的“官邸记者”有很大的意见，他们戏谑地称其为“忍者屋”。
住公邸是首相“长命”秘诀
新官邸建成后，重达两万吨的旧官邸建筑整体搬家五十米，改造为现在的首相公邸——闹鬼的传言便出自这里。
1929年，与旧官邸同时竣工的，还有位于其西南角的首相公邸，二者用走廊相连，分布在一栋三层德式建筑的两边，当时的公邸只有508平方米，因其内部以和式为主，故称“日本间”，用来作为日本首相的日常生活起居之处，建成之后有六任首相在这里居住过。1936年，“日本间”在“二二六事件”中被毁，后经维修改做办公室。作为日本首相公邸的替代设施，日本政府虽于第二年在官邸院内修建了一座木结构的两层小楼——日本家，但它仅限于开会和休息，没有首相在此居住。1945年，美军空袭东京，日本家毁于一旦。
1968年，“日本间”修缮一新，重新成为首相住所，佐藤荣作以首相之身入住，且这一住，就是八年。此后，日本首相大都循此例。作为日本战后任期最长的三位首相，佐藤荣作、中曾根康弘、小泉纯一郎在这里度过了五年以上的岁月，为此，坊间流传着住公邸是首相“长命”的秘诀之说。
但就是这“长命”秘诀，安倍晋三偏偏不要。他非要住在东京涩谷区富谷的私宅，让承担警卫工作的东京警视厅倍感压力。内幕人士认为，安倍之所以不愿入住首相公邸，原因可能跟该公邸的易沾“霉运”和“闹鬼”传闻有关，多名入住过首相公邸的日本前首相都对此住所印象不佳，野田佳彦入住没几天就撞伤右眼，小渊惠三决定进行官邸改建后，突然脑溢血不治身亡；就连安倍晋三本人，首次当选日本首相后入住不到1年，就因患了疟疾闪辞。
之后继任的自民党首相们更是拼命拖延入住首相公邸的时间，福田康夫拖了110天才入住，麻生太郎比他还多7天，如今的安倍晋三已成功刷新麻生太郎纪录，成为最怕搬入首相公邸的日本首相。
两次政变为闹鬼公邸提供素材
1932年5月15日，时任日本首相的犬养毅在首相公邸被年轻军官开枪射伤身亡。作为日本护宪派领袖，犬养毅不仅赞成裁军，还主张进一步限制日本海军的规模，这直接引发了日本军方的强烈不满。一些年轻海军军官和民间右翼分子纷纷出谋划策，想要置犬养毅于死地。
刺杀当天，天气晴好。77岁的犬养毅独自在公邸休息，等待医生为其体检。当他得知身体没有任何异常时，犬养毅开心地对医生说，“兴许能再活个100年吧”。当时的犬养毅肯定没料到，几个小时后，自己会命丧他人之手。
下午5点半左右，10余名海军青年将校和陆军士官见习生强行冲入公邸。犬养毅毫不慌张，将他们请到接待室。不久后，接待室内传出“开枪！”的叫喊声和手枪射击的声音。待侍女们赶到现场，意识尚清醒的犬养毅仍流着鼻血说道，“把刚才开枪打我的人带走。好好问问，听他怎么讲。”