北齐后主高纬性格懦弱，与他的列祖列宗相比，荒淫有余，残暴稍次之，不过杀起自己的亲人来，却毫不手软。公元565年长恭邙山之战胜利(此后就有了《兰陵王入阵曲》)后，高纬开庆功宴，宴席上高纬说：“入阵太深，毕竟危险，一旦失利，追悔莫及”。兰陵王听到自己的皇弟如此心疼自己，内心不免激动、热乎，深情地回了一句，“家事亲切，不觉遂然。”正是这句表亲近、表忠心的话为他招致了杀身之祸。史载：“帝嫌其称家事，遂忌之。”因为在小心眼的后主高纬看来，家事是我高纬的，不是你高肃可以随便说的。开始猜忌拥有兵权的兰陵王是否想取而代之，想把“国事”变成“家事”。

兰陵王说错话后，深感大难将至，整日惶恐不安，尽管一再低调行事，刻意淡化自己，但终是躲不过“君叫臣死、臣不得不死”的悲剧宿命。武平四年(公元573年)五月的一天，后主高纬派使者看望兰陵王，送来的礼物竟是一杯毒酒。

兰陵王悲愤至极，对自己的爱妃郑氏说：“我忠以事上，何辜于天，而遭鸩也!”郑妃劝他说：“何不求见天颜?”天真的郑妃以为可能只是兄弟之间的一场误会，只要高肃向皇帝求情，就可能讨回性命。而兰陵王自己心里明白，向后主高纬讨个说法根本没有用。一年前，和自己一起出生入死的重臣老将斛律光，不也是无辜被引诱入宫、用弓弦残忍勒死的吗。万念俱灰的兰陵王，扔下一句“天颜何由可见”，遂将鸩酒一饮而尽，毅然决然地离开了这个乱糟糟的世界。死前烧掉所有债券。

死后被安葬在都城邺(今邯郸临漳县境内)以西。重要军事统领兰陵王的遇害，预示着北齐王朝的行将终结。四年后，失去了军事支柱的北齐王朝被北周皇帝宇文邕灭掉，高氏子孙几乎全遭屠戮。