西魏大统十二年(546年)，并州刺史王思政转任荆州刺史，推荐韦孝宽接替他的职位，韦孝宽于是率军镇守玉壁，正是在这儿，成就了他最著名的一场以少胜多的城防之战。

　　就在韦孝宽镇守玉壁的当年，东魏丞相高欢倾山东之兵大举进攻西魏，玉壁地处要冲，高欢连营数十里，包围玉壁。

　　十月，东魏军攻城，昼夜不停。韦孝宽则随机应变，竭力抗御。东魏军在城南筑土山，欲居高临下攻城。城上先有二楼，韦孝宽缚木加高城楼，令其始终高于城外东魏军堆的土山，高欢派人对城中说：“纵尔缚楼至天，我会穿城取尔”，你把城楼加高到天上去，我也会破城抓住你！

　　但高欢用尽攻城之术，都被韦孝宽所破，于是派祖珽去劝降，韦孝宽回报说：“孝宽关西男子，必不为降将军也。”这让人想起在三国演义中，张飞劝降颜严时，老将颜严也说，“有断头将军，无降将军”，可后来颜严还是降了张飞。韦孝宽显然不是颜严，于是祖珽又对城中人说：韦城主受西魏高官厚禄，他坚守是应该的，你们这些军士，“何事相随入汤火中耶”？但军士也没有人动摇。

　　东魏军又向城中射传单，传单上说：“能斩城主降者，拜太尉，封开国郡公，邑万户，赏帛万匹。”韦孝宽在现成的传单背面加了几个字：“若有斩高欢者，一依此赏。”把传单又射回东魏军营。高欢没办法，又把韦孝宽流落在东魏的侄子韦迁锁到城下，把刀架在脖子上，对韦孝宽说：“若不早降，便行大戮”。韦孝宽则“慷慨激扬，略无顾意。士卒莫不感励，人有死难之心”    

　　征战一生的高欢屯兵小小玉壁城下，“苦战六旬，伤及病死者十四五，智力俱困”，六七万人葬身玉壁，高欢因愤恨恼怒而病倒，无奈决定退兵。

　　韦孝宽听说高欢要退兵，便让人到处散布高欢中箭已死的消息，东魏士兵一时人心惶惶，为稳定军心，高欢无奈带病会见幕僚，席上让老将斛律金给大家唱《敕勒歌》，当这首苍劲悲壮、慷慨激昂的民歌用鲜卑语唱起时，在场将士无不动容，高欢更是流下了两行英雄热泪，情不自禁地站起来用鲜卑语和唱。

　　两个月后，高欢郁郁而死，终年52岁。

　　周武帝宇文邕伐齐时，韦孝宽已老，武帝领军经过玉壁，参观了一下老人家的城防，“深叹美之”，韦孝宽觉得自己熟悉齐人虚实，“请为先驱”，但宇文邕“以玉壁要冲，非孝宽无以镇之”，没有同意。等凯旋回来时，又经过玉壁，宇文邕和韦孝宽开玩笑说：“世称老人多智，善为军谋。然朕唯共少年一举平贼，公以为如何？”孝宽从容回答说，我现在是老了，但当我年轻时，也曾经“输力先朝，以定关右”。宇文邕大笑着说：“实如公言。”于是诏命韦孝宽随驾还京，“拜大司空，出为延州总管，进位上柱国。”

　　杨坚当国，尉迟迥举兵讨之，朝廷“以孝宽为元帅东伐”，韦孝宽进行了他一生中最后一战。    

　　公元580年，韦孝宽和尉迟迥在邺城近郊决战，令人诧异的是，数十万人马大决战，战场旁边竟有数万老百姓在观战，“邺中士女观者如堵”，难道两军中有他们的偶像吗？战场生死地，这些老百姓没想到，他们也会被卷进去。    

　　尉迟迥军拼死力战，韦孝宽军进攻受挫，被迫撤退。于是韦孝宽军开始残忍地将箭雨射向观战群众。无辜人群被攻击，顿时哭喊声震天，四处乱跑，韦孝宽军士趁机大喊：“贼败矣！”乘乱进击，大败尉迟迥军，尉迟迥最终被迫自杀。此战为杨坚在军事上代周建隋奠定了基础。     

　　当年十月，韦孝宽凯旋回京。十一月，一代名将去世，时年72岁。第二年，杨坚簒北周，改国号隋。