清代的文献则清楚地记录了黑瞎子岛上居民的生产和生活活动。清政府在岛上设有两个村屯，即摩噶乌珠噶珊(噶珊，满语，意为村、屯)和穆克德赫噶珊。公元1854年(咸丰4年)，清政府在黑瞎子岛的东北角设乌苏里昂阿卡伦(昂阿，满语，意为口；卡伦，满语，意为哨卡)，由三姓副都统管辖(三姓，满语“依兰哈喇”，汉译“依兰”为“三”，“哈喇”为“姓”，三姓城即今依兰县城)。光绪年间，黑瞎子岛划归富克锦协领派兵戍守(富克锦，满语，意为岗或沿江一块高地，地在今富锦市)。据《抚远县志》记载：1901年，冯德禄、葛云山、德夫克(赫哲族)等15户人家上岛居住。1927年，抚远县居民朱瑞臣一家5口人搬到黑瞎子岛居住，养马两匹，种地若干。
黑瞎子岛遭受的劫掠
近代以来，沙俄开始蚕食、侵吞我国东北领土。1858年，沙俄与清政府签订《中俄瑷珲条约》，割占了黑龙江以北、外兴安岭以南约60万平方公里的领土。1860年签订的《中俄北京条约》，沙俄又割占了乌苏里江以东(包括库页岛在内)约40万平方公里的领土。至此，中俄两国的边界变成了黑龙江和乌苏里江主航道的中心线。
由于黑瞎子岛处于主航道中心线的中方一侧，因此其主权仍然属于中方。但是从地理位置上看，此岛与俄远东地区的中心城市哈巴罗夫斯克近在咫尺，居黑龙江出海通道之口，扼西伯利亚大铁路通往海参崴之喉。因此不论是沙俄还是后来的苏联，都对其有觊觎之心。
早在《中俄北京条约》签订时，俄方代表即在条约附图中，粗略地画了一条贴近中国江岸的红色分界线，成为俄、苏把主航道中心线中国一侧约1000平方公里的面积、600多个岛域划归己有的主要证据。
但实际上，附图本身粗糙难辨，又与条约正文相互冲突，因此并不能作为双方划界的依据。其后两国依据《中俄北京条约》勘界，设立界碑，俄方又费尽心机，将界碑向中方一侧偷移，使黑瞎子岛划入俄界。但是无论俄方怎样偷天换日，终清一代，黑瞎子岛的管辖权始终在中方手里。
1911年，爆发的辛亥革命，虽然推翻了清政府，但是中国的政局却并未就此振作。此后，东北地区为奉系军阀占据。直到1928年，张学良“改旗易帜”，承认国民政府，蒋介石结束了地方军阀混战，完成全国统一，也未能改变积贫积弱的局面。1917年，俄国发生十月革命后，列宁领导下的苏联政府在第一次对华宣言中说，“愿将中国中东路及租让之一切矿产、森林全部及其他一切产业”，“一概无条件归还中国，毫不索价”，但并未有任何执行。中东铁路又称东清铁路或东省铁路，是19世纪末沙俄为侵略中国东北，称霸远东，通过强迫清政府接受不平等条约而修筑的，它是近代中国东北地区半殖民地化的重要标志。
1929年，中苏之间发生了“中东路事件”，张学良在得到蒋介石南京政府许可的情况下，为收回“中东铁路”路权，派军警搜查、封闭了苏联使领馆，撤换、逮捕了铁路上的苏方职员。随之引发了苏方的军事报复，双方各以近十万兵力，配合坦克、大炮、飞机、军舰展开激烈战斗。
战争中黑瞎子岛曾遭到炮击，并被苏军侵占。由于力量对比悬殊，中方又轻敌浪战，很快便败下阵来。战后双方签订停战协定——《伯力会议议定书》，苏联重获“中东铁路”路权，并约定“恢复冲突以前的状态”，但苏方并未退出黑瞎子岛。从此黑瞎子岛的管辖权落入苏方手中，岛上的中国居民被迫下岛。
