端木姓源出有二：分别是源于姬姓和源于回族。
源于姬姓：出自黄帝之后，属于以先祖名字为氏。
源于回族：属于汉化改姓。回族端木氏，出自汉族端木氏融入回回民族。早期的回族端木氏族人，有清朝书法家端木埰、书画家端木焯、端木治等。端木氏回族主要分布在安徽省和东南沿海地区。
《元和姓纂》上记载，端木姓是孔子弟子端木赐的后代。
端木赐字子贡，在孔子众多弟子中，他有口才而能料事，又善于生财，所以，家累千金。在春秋政坛上，端木赐也是一位重要人物，历任鲁、卫诸国宰相，曾经游说吴国，出师敌齐以存鲁。端木赐是当时的卫国人，根据史书考证，他便是端木氏家族的始祖，其后世子孙“以王父字为氏”而姓端木。至今已有2500年以上的历史。
古代的卫国在今河南淇县一带，全国端木氏家族便发祥于这里。端木氏的后裔繁衍很广，不过，其后曾省文为端氏，或避仇改称为木氏，所以，削弱了这个家族的阵容，因而名人很少见。