在《知否知否应是绿肥红瘦》小说中齐衡先是娶了嘉成县主，后来又娶了首辅申大人的孙女、庆宁长公主的嫡孙女。
齐衡在《知否》中算是一个比较悲催的角色了，虽然生了一副好皮相，家世显赫，但是因为母亲十分霸道，造成他性格不够刚硬果断，所以他的一生也有些悲剧的色彩。
齐衡在盛家私塾读书的时候，喜欢上了盛家的六女儿盛明兰，只是明兰是庶女，自知和齐国公府的小公爷身份地位都不搭，所以这段感情还未开始她就将这个念头在心底掐灭，不过在电视剧中，盛明兰对于齐衡的感情是有回应的。
后来，两人终究是因为身份地位未能在一起，齐衡被迫娶了嘉成县主，只是嘉成县主因害死荣飞燕，被荣家的人给报复，没过多久也死了。
嘉成县主死后，齐衡先后娶了首辅申大人的孙女、庆宁长公主的嫡孙女填房，只是两位妻子寿命也不是很长，最终都死了，只给齐衡留下了两个儿子，齐衡也未再娶。