传说，香妃本是回族首领霍集占的王妃，长得国色天香，生来身上就有一种奇香。这香味既不是花香，也不是粉香，不用香草薰，也不用香汤洗，香气袭人，沁人心脾，所以人们都管她叫“香妃”。清高宗乾隆本是个风流皇帝，听说此事，不能忘怀，总想把她弄到自己身边享用。正巧，霍集占造反，清廷派大兵镇压，正是掳香妃来北京的好机会。于是乾隆再三嘱咐平叛边将兆惠一定把 “香妃”捉来，并命令沿途官员好生护侍，防止香妃自杀，并保持香妃容颜不损。果然，香妃被捉，押进北京。到了清宫，果然名不虚传，香妃人还未到，香气先闻。乾隆一见大喜，问寒问暖，极为热情。可是，香妃却冷若冰霜，百问不答，一腔仇恨流露在怒目之中。于是太后派人把她绞死了。乾隆听到消息，急忙赶回。看到香妃面带微笑，闭目死去，不禁号啕大哭，痛悔自己害了她。这时，人去楼空，只有一股香气袅袅弥漫，似乎一缕游魂飘向远方。乾隆为了表示对香妃的尊重和哀悼，下令用软轿将遗体抬回新疆喀什安葬。这就是回部香妃的故事。