胡人原指戈壁以北的蒙古高原地区的游牧民族，后来被用来作为戈壁以北和西方的外族或外国人的泛称。
胡人原本是指蒙古高原地区的游牧民族，“胡”解释为：“北亚民族语言中“人”的意思。”秦汉时期塞北地区统一，中原人就称他们为匈奴。在《汉书·匈奴传》里：“单于遣使遗汉书云：‘南有大汉，北有强胡。胡者，天之骄子也，不为小礼以自烦。’”这里这个“胡”就是那时候游牧民族匈奴的自称。
由于外民族的文化与生活习惯与中原不一样，所以中原人在区别的时候就在外民族的事物之前加入了他们的代称----胡。比如胡琴、胡椒、胡麻、胡萝卜、胡服等等，“胡人”也是这个意思。
很多时候说到胡人，都有些对少数民族的蔑称的感觉。因为胡人相对于汉人，文化程度较低，风俗也很多保留了原始性，还经常武力骚扰边境，不像中原儒家文化那样知礼、文雅。汉族人对于胡人没什么好感，也不说什么好话。江统在《徙戎论》中说“非我族类，其心必异，戎狄志态，不与华同”被很多人认同，后世中提到胡人，不管语气还是情感，总带有些蔑视、轻侮的意思。