在原著小说《知否知否应是绿肥红瘦》中小公爷齐衡最后和六王爷的女儿嘉成县主成婚了，这个嘉成县主为了能嫁给齐衡使用了各种手段，还逼迫爱慕齐衡的荣飞燕自尽，为此也给她日后埋下了隐患，在小说后期宫廷混乱中嘉成县主被荣飞燕的哥哥报复，最终凌辱致死。
之后，齐衡娶了第二任妻子，是当朝内阁首辅申大人的孙女，身份也很尊贵，她和齐衡之间相处的很融洽，两个人婚后还生下了一对双胞胎，后来齐衡被派外任，她不顾家人的反对，执意带着两个孩子去找齐衡，却在中途三个人病死了。
在第二任妻子病逝后，齐衡娶了第三任妻子，是庆宁大长公主的嫡孙女，是三任妻子中身份地位最高的人，在小说中齐衡是齐国公的二公子，但凭借第三任妻子的家世背景，成功的继承了父亲齐国公的爵位，与妻子婚后生下两个儿子，但是这位妻子也没过多久便病逝了，去世时年仅三十岁。
齐衡和明兰分开后，一生只娶了三位妻子，但都英年早逝了。之后，齐衡一生未再娶正妻，一直孤独到老。