曹雪芹家族在康熙时期很受宠信和重视，当时的家主曹寅历任苏州织造、后又继任江宁织造和两淮巡盐御史使，在职期间亏空公家白银数万两，但几次弹劾都不被康熙批准。
为什么曹家如此受宠？是因为曹寅其父曹玺是多尔衮正白旗的包衣，之后正白旗被顺治帝收编。曹玺之妻孙氏是康熙帝的奶妈，因此受到康熙的特别照顾与宠信。
但是在康熙驾崩后，雍正帝即位，情况就不一样了，受政治斗争牵连，曹家逐渐失宠没落，几次由江宁织造贡入的织物不合格，受到雍正帝训斥。当时的家主曹任由管家监工，自己不理政事，并且亏空银两。最终因其解送织物上京师，勒索财物，被山东巡抚弹劾，雍正帝批示“本来就不是个东西！”雍正六年（1728年）元宵节前遭到抄家，曹以“行为不端”、“骚扰驿站”和“亏空”罪名革职，下狱治罪，所有家产奴仆都赏给新任江宁织造隋赫德。
新织造将京师顺天府房产17间和三对家仆赠与曹寅之妻以供生活，即今崇文门外蒜市口曹雪芹故居。 曹雪芹随着全家迁回京师居住。曹家从此一蹶不振，日渐衰微。雍正十三年（1735年）乾隆帝即位后宽免其欠银，但曹家已然没落。