在小说《知否知否应是绿肥红瘦》中，齐衡一共娶过三任妻子，分别是嘉成县主，晋南申氏大族的嫡女和庆宁大长公主的嫡孙女。
在电视剧《知否知否应是绿肥红瘦》中，齐衡十分喜爱盛家最小的女儿盛明兰，对她情有独钟。齐衡家世显赫，长相又十分秀美，是很多女眷争相追求的对象。但是齐衡的喜欢为明兰带来了很多的压力，家中的两个姐姐都很看好齐衡，明兰自己也认为她高攀不起齐家的门槛。尽管齐衡并不在意嫡庶之别，但是家中的母亲并不允许齐衡任性选择。
因为诸多原因，齐衡最终并没有同盛明兰走到一起，而是听从家中的安排，但是即使如此，齐衡的感情也十分不顺利。在小说中，他的第一任妻子是嘉成县主，两人新婚不久妻子就死于申辰之乱。
之后齐衡又娶了第二任妻子，是晋南申氏大族的嫡女。这位妻子对于齐家的再次崛起起到了很大的帮助，还为齐衡生下了一对龙凤胎。只是后来在齐衡到闽南上任时撞上了时疫，母子三人都不幸染病去世。齐衡的第三任妻子是庆宁大长公主的嫡孙女，为齐衡生下两个孩子之后去世，此后齐衡便再也没有娶过亲。