皇帝称赞裴矩之能，对群臣说：“裴矩完全了解朕的心意，凡是他所陈奏的，都是朕计划好的，只是我还没说出来，裴矩就上奏了；如果不是奉国尽心，怎能做到这样？”当时裴矩与左翊卫大将军宇文述、内史侍郎虞世基、御史大夫裴蕴、光禄大夫郭衍都以谄媚阿谀有宠。宇文述尤其善于逢迎，容貌举止，侍卫们都向他学习。郭衍曾经劝皇帝五日一视朝，说：“不要效仿高祖，白白让自己勤苦。”皇帝更加认为他忠诚，说：“唯有郭衍的心，与朕相同。”
皇帝上朝的时候，脸色凝重，发言降诏，文辞义理都很到位；而内心所想所好的，都是声色之乐，在两都及巡游时，常带着僧、尼、道士、女官，称为四道场。梁公萧钜，是萧琮弟弟的儿子；千牛左右宇文皛，是宇文庆的孙子；都有宠于皇帝。皇帝每天在苑中林亭间盛陈酒馔，命燕王杨倓（杨广的孙子）与萧钜、宇文皛及高祖杨坚的嫔妃们坐一席，僧、尼、道士、女官坐一席，皇帝自己与诸宠姬坐一席，各席略相连接，罢朝之后，就一起宴饮，互相劝酒，酒酣席乱之后，什么事都干得出来，以此为常。杨家妇女长得美的，往往进御给皇帝奸淫。宇文皛出入宫掖，不限门禁，以致妃嫔、公主都有丑闻，皇帝也不加罪。