也不在寺里念经，跑到街上去，骑着高头大马，在洛阳城里横冲直撞，路上行人纷纷躲避。谁要是躲得不够及时，马上就被他们打得头破血流。然后，扔在路边，扬长而去，根本不管别人死活。特别是看到道士，更是分外眼红，一定要把人家抓过来，剃光头发，陪他一起当和尚，有时候连道教的高级人物也不能幸免。据说当时有一位着名的道士，叫做候尊，是弘首观的观主，有一次不小心被薛怀义看见了，把他拉进寺里去，强迫当了好几年的和尚，直到薛怀义死后，这才出来，再重新蓄发当道士。此言后话，暂且不表。
薛怀义作威作福，甚至武承嗣、武三思等，皆奔走马前，执童仆礼。就是对待姑夫，亦不过执子侄礼，何必降为厮仆。右台御史冯思勖看不惯他的所作所为，多次依法弹劾他，薛怀义一怒之下，把这人堵在路上，打了个半死。这类为非作歹的事情干多了，有时候也会碰钉子。
温国公苏良嗣，继刘仁轨后任，留守西京，武氏特召为左相，受职入朝。
凑巧有一天，薛怀义带着自己的一帮喽啰进宫，在门口遇到了宰相苏良嗣。苏良嗣勉强与他施礼，怀义竟不答拜，昂若无人。
苏良嗣怒道：“何物秃奴，敢这般傲慢？”
薛怀义骄肆已惯，怎肯忍耐，即与良嗣斗起嘴来。苏良嗣竟命左右的人把薛怀义拖出去，并把他掌颊数十下，快哉快哉！气得薛怀义火星透顶，急忙入宫驰报太后武氏。偏太后武氏向他嬉笑道：“阿师只宜出入北门，若南衙系宰相往来，怎得相犯哩？”
太后武氏毕竟聪明。这数句话，好似向薛怀义的秃头上，浇了一碗冷水，淋得气焰全消，只好自认晦气，没处报冤。
太后武氏恐他再去闯祸，便托言薛怀义有巧思，使入宫营造，不得常出。补阙王求礼，未明武氏之用意，反而奏表请阉了怀义，免乱宫闱。你想武氏肯从不肯从？含蓄得妙。
又越年，太后武氏佯说归政豫王，豫王李旦倒也聪明，奉表固让。
时垂拱二年（686年），太后武则天仍然临朝，自思内行不正，恐宗室大臣，怨望不服，或致谋变，欲周知朝内外之事。
鱼保家上书，提议铸铜匦以受天下密奏。其铜匦的内部分为东西南北四格，在箱子上面分设投书口，一旦信函投入后，就无法再收回，箱子东面写着“延恩”，这是为赞扬武则天以及对她的政绩谢恩而设；西面写着“伸冤”，是给遭受冤屈者诉说苦衷、要求执法公正而设；南面写着“招谏”，是对朝政的得失做讥谏而设；北面写着“通玄”，为各种自然灾害以及军事机密而设。
太后武则天看过鱼保家的上奏后，称这是下意上达的绝佳妙计，立即吩咐工部尚书安排人铸造，垂拱二年的三月八日，刚刚造好的铜箱被设立在宫门旁边。
太后武则天还下令在洛阳的各个角落贴出布告，向全国州县发出通知，向普通民众介绍铜箱的用法用途，号召天下百姓都来向皇帝进言献策，大胆告密。太后武则天为了鼓励百姓告密，太后武则天吩咐各地官员对告密者不分读书人、农民、樵夫还是渔民，一律平等不得歧视，只要自称告密者，沿途均可免费住宿朝廷官舍驿站，不问职业和身份均免费提供五品官膳食待遇。通知一出，天下告密者成群结队涌入洛阳。
随着“告密之门”在天下大开，一大批官吏被处斩或罢免，另一大批人因告密有功被提拔升迁，开放的唐朝人做官从政从此又多了一条捷径——进京告密，而“告密铜箱”的发明者鱼保家更是备受武则天重用，不仅得到很多赏赐，还破格加官晋爵，一时颇为光彩得意。
这种法制，创造出来，不特挟有私嫌的人，可以乘机报怨，就使与人无嫌，也乐得捕风捉影，借此博个好官儿。
好景不长，有一封未署名的告密信投入铜箱，内容指控鱼保家曾为起兵造反的徐敬业设计制造过刀剑弓弩