李家父子从杨广手中夺取天下后，为了提高家族民望，便向外宣称自己是陇西李家的后人，但自视甚高的五姓七望却不予承认，还大言不惭的说，李渊父子这一脉，在先祖时期就和鲜卑人通过婚，血统早已不纯正，不能算陇西李氏子孙，更不屑与这样血脉不纯正的家族通婚，可把李渊父子气得够呛，但更无奈的是，堂堂皇室受到这般侮辱，却只能忍气吞声。有人难免会好奇，这五姓七族到底有何底气，如此牛逼轰轰，敢不把朝廷不把天子放在眼里？那是因为在唐初期，五姓七望的势力太过庞大，家族子弟不仅把持中央，而且盘踞地方，这些地方五姓七望的影响力，丝毫不弱于皇权，朝廷的政令能不能执行下去还得看他们的脸色。更为要命的是，五姓七望彼此之间互通婚姻，关系盘根错节，很多时候都是牵一发而动全身，即便你是皇帝，为了国家的稳定，也不得不退让。所以在李渊、李世民在位期间，对于五姓七望的政策是一边拉拢一边打压，直到高宗时期，李唐皇室对天下的把控力进一步加强，这种半拉拢半打压的政策才有所改变，变为以打压为主，唐高宗李治甚至下令，五姓七望之间不得通婚，但是五姓七望甚至都不理睬李治，继续我行我素。同时，这条政令颁布之后，五姓七望反而在民间的人气越来越高，甚至直接影响到了朝堂，盛唐时期有位宰相，名字叫做薛元超，他曾经这样说：“此生所遗憾者，未能娶五姓女也。”

由此我们可见，那时候的五姓七望的影响力，到底有多恐怖。杨广的第一名妾室便是闻喜裴氏家主裴矩之女裴淑英，裴矩也不知道看上了杨广那一点，死皮赖脸的要把自己的嫡女嫁给杨广为妾。杨广起初是推辞的，因为他知道自己的母亲独孤伽罗是一位极为善妒之人，她不仅要求自己的丈夫杨坚发誓“相誓无异生子”，更要求自己的儿子以及所有大臣都从一而终，专宠一人。独孤伽罗的善妒已经达到了世间罕见的地步，杨坚只不过耐不住寂寞临幸了尉迟氏一夜，独孤皇后知道后勃然大怒，直接打翻醋坛子，当即把尉迟氏杀死。面对如此妒妇，贵为天子的杨坚竟然也害怕了，为了避免祸端，骑着一匹快马跑了。后来在两位大臣的调解下，独孤氏才消气，两人才得以和好。独孤伽罗除了痛恨丈夫宠幸其他嫔妃以外，她还对大臣宠溺妾氏深恶痛绝。少年便与之相知的大臣高颎发妻不幸染病身亡，见少年好友深情于发妻，她表示出由衷的欢欣，可是当听到高颎的妾氏即将生产的消息时，一下子点燃了她心中的火药桶，瞬间爆发，马上就忘了与高颎的少年之情和开国之功，立马要求自己的丈夫废掉贤臣高颎。独孤伽罗还很痛恨儿子宠爱妾氏，杨勇为独孤氏和杨坚的长子，本来稳坐太子宝座，结果因为杨勇冷落母后独孤氏为其选定的名门闺秀元氏（北魏皇族）而去宠幸一个出生卑微的妾氏云昭讯，引起母后独孤氏的强烈不满，最后在独孤氏的唆使下，废掉了长子杨勇的太子之位，改立善于伪装和在母后面前炫夫妻恩爱的杨广前身为太子。正因为如此，杨广才想拒绝裴矩的联姻要求，裴矩也是一位心思玲珑之辈，仿佛看穿了杨广心中的想法，便对杨广言道:皇后不是反对皇子纳妾，而是反对皇子冷落正妻，宠爱小妾，不然太子也不敢妻妾成群。杨广觉得有道理，同时他也很看重裴矩的才能以及他背后的闻喜裴氏，于是便半推半就的同意了这门婚事。这裴矩可不是一般人物，他是长孙晟之后隋朝最杰出的外交家，给后世还留下一个“千古迷臣”名号。为什么要称裴矩为千古迷臣，因为大家不知道这裴矩到底的奸佞还是忠臣。说他是忠臣吧？但他在杨广手下为臣时，又助纣为虐，干了很多恶事。说他是忠臣吧，但他在李世民手下为臣时，又敢犯颜直谏，干了许多好事。又是说他谗言媚上，见人说人话，见鬼说鬼话，是一条变色龙，是一个十足的小人。但也有人说他识大体、知进退，是一位识时务的俊杰。无论人们如何品论裴矩，但都无法否认他的能力和才干。裴矩历仕杨隋、宇文化及、窦建德、李唐四家，前后经六十余载，“年八十，而精明不忘”。裴矩曾用优美的文字撰写了《西域图记》，把当时西域四十四国的山川地貌、风俗民情，记载得十分详尽，十分耐读，为大唐沟通西域做出了重大贡献。虽然后世对裴矩褒贬不一，但谁都不能否认裴矩的是一位极富才干之人，况且他背后还一个人才辈出的闻喜裴氏，单隋唐时期就名流无数。比如，主持修编《开皇律》的裴政；独创“貌阅法”，官至御史大夫的裴蕴；鼎助李渊起兵，官至宰相的裴寂，隋朝大将裴仁基，以及他的二个儿子裴行俨、裴行俭……这些人才看得杨广直流口水，只要和闻喜裴氏家主裴矩联姻成功，这些人才还不是杨广的囊中之物。更何况和杨广联姻的裴淑英，性婉顺、有容德，极富主见，又是一位难得的贤内助，杨广又有何理由拒绝呢？杨广的第二位小妾是来自太原王氏的王知秋，促成这桩婚事之人便是王知秋的哥哥王頍，王頍出身太原王氏，通晓五经，颇晓兵法，原在南梁为官，南梁灭亡后便投降了隋朝，王頍毕竟是降臣，再加上大隋朝廷人才济济，因此王頍不受重用，仕途坎坷。穷则变，变则通，王頍为了自己的仕途风顺，便毅然决然的加入了杨广的阵营。王頍的投靠让杨广很诧异，因为这货历史上先投靠了太子杨勇，杨勇夺嫡失败后，他又投靠了汉王杨谅，并怂恿杨谅造反，在杨谅造反失败后，被杨素所杀。