子的流言时有所闻，而使这个流言迅速激化成父子间严重矛盾的因素就是道三与女婿织田信长在正德寺会面后所说的一句话:"看来我的子孙也只能为上总介牵马为奴了"（此话为轶闻，道三是否真说过这句话无从考证），这句话引起了义龙的强烈不满，虽然信长是自己的妹夫，但是从小得不到父亲认可的义龙更不会承认这个别家的年轻人是比自己更有能耐的人物。
义龙的不满令原本就在怀疑他是否是自己亲生子的道三愈加反感。当时道三对义龙的评价是“无能”、“器量不足以担任战国大名”，因此道三暗中决定要把家业传给义龙的弟弟，不料此事被义龙的忍者探知，知晓道三不让自己继承家督之位，义龙更肯定相信自己是深芳野与土岐赖艺所生之子（也可能是出于政变目的借口），于是决定先发制人。在国内治理饱受争议的道三想出了隐居暂避的对策，将稻叶山城、美浓守护代的官职和斋藤家家督临时托付给义龙，但是在这之后道三对义龙的嫌恶之情却愈发明显，弟弟孙四郎和喜平次则得到道三的宠爱，作为嫡子的孙四郎（义龙为侧室深芳野所生，是庶出长子）很有可能作为最终的继承人选，加之另一个弟弟喜平次获得幕府名门一色氏之姓，改称“一色右兵卫大辅”。道三尽力为两个弟弟铺设前程而完全忽略义龙存在的举动，使义龙感受到了自己渺茫的未来。直到此时，道三和义龙之间的矛盾终于到了不可挽回的地步。
。