“色目”一词最早出现于唐朝初年，原指“各色名目之人”。宋朝时，“色目人”专指姓氏生僻的人士。到了忽必烈建立元朝之后，“色目人”才特指来自中亚、西亚的穆斯林民族。

色目人为蒙古征服和统治中国付出过汗马功劳，因此出现了所谓“迄元世，其人遍于四方”，“今回回皆以中原为家，江南尤多”。元朝时的色目人为今天“回族”的孕育起到了至关重要的作用，以至于很多人都将他们归为回民，其实元朝时的色目人还谈不上是一个民族，充其量只能算是回族先民。

​在蒙古帝国建立之前，中亚色目人的足迹早已遍布大漠南北。公元1203年，成吉思汗为克烈部首领王罕所败，部族溃散，仅19人随其东逃至班朱尼河。成吉思汗与这19人共饮班朱尼河水盟誓：“使我克定大业，当与众人同甘苦”。

这19人后来被封为“班朱尼特”，而他们之中至少有三人为中亚穆斯林，最著名的当属札八儿火者。《元史》记载札八儿火者为西域部族首领，伊斯兰教默罕默德的后裔。成吉思汗曾说过：“朕之所以至此者，札八儿之功为多”，所以札八儿火官至“黄河以北铁门关以南天下都达鲁花赤”，成为蒙古第一位治理中原的色目人。

​色目人大规模东迁发生在蒙古第一次西征。公元1219年，20万蒙古大军兵分三路进攻花剌子模国。成吉思汗亲率主力征讨中亚门户不花剌（今布哈拉）。不花剌城因投降而免于被屠城，但城中的青壮年全部被编入军中，作为进攻撒马尔罕的“先锋”。

撒马尔罕为中亚第一大商业和手工业中心，城内不仅有突厥人、回鹘人，还有康里、波斯和阿拉伯等民族。蒙古人虽然在撒马尔罕报复性地展开了屠城，但却留下三万工匠分给诸子和军队。

此后成吉思汗与长子术赤、次子察哈台、三子窝阔台会师花剌子模都城玉龙赤杰，“他们将居民一下子全部驱到野外，从他们中间将十万名左右的工匠分出来，押送到东方去，青年和孩子们也驱入了俘虏队，剩下的人则分配给军队屠杀。”

​蒙古大军后来虽然又发动了第二次和第三次西征，但因金帐汗国和伊尔汗国的建立，俘虏数量依然庞大，但送往中原的却无法与第一次相提并论。不过他们在名义上还依然是蒙古大汗的附属，所以忽必烈在进攻南宋时还不断向其发“签诸道回回军”的诏令。

中亚的各族工匠、青年、妇女和儿童东迁后，成吉思汗最初将其安置在甘肃、宁夏等西北一带。蒙古灭宋时，忽必烈先是带了十多万蒙回联军进入云南，随着南宋的灭亡，又命“回回军”、“探马赤军”等 色母军队驻防各地。蒙古帝国的建立为东西方文化、商贸等交流提供稳定的通道，大量中亚、西亚、欧洲的僧侣、商人开始定居中原。

​元朝时色目人虽然“遍天下”，但都来自不同的国家或部落，仅仅因为被蒙古征服而迁徙到中原，彼此之间没有认同感，唯一的联系可能就只有宗教信仰。

其实朱元璋创立的明朝才是回族形成的关键。为了稳定政权，朱元璋一面对元朝留下的色目人推行“宽容”政策；另一方面又强制他们“移俗改姓”，与汉族通婚。

同之前的所有外族移民一样，色目人在明朝也面临着被同化的处境，但因为有大量清真寺的存在，它将色目人组织在周围，逐渐形成了“教坊”。那些原本不属于同一个民族的色目人，因为共同的宗教和利益，而融合在一起，最终形成了今天的“回族”。

​​除此之外，朱元璋所执行回汉通婚政策，虽然促进了儒家、道家、佛家文化与伊斯兰教的融合，但也意外地让“回族”人口大增，为民族的孕育发挥了重要作用。