因为自夏商周以来，中国的政治文化中心一直在黄河中下游，位于政治中心的人们，把四方的少数民族称为蛮夷戎狄。
南蛮的称谓最早记载来自于周代的《礼记》：”礼记王制，中国戎夷，五方之民，皆有性也，不可推移。东方曰“夷”，被发文身，有不火食者矣。南方曰“蛮”，雕题交趾，有不火食者矣。西方曰“戎”，被发衣皮，有不粒食者矣。北方曰“狄”，衣羽毛穴居，有不粒食者矣。”那个时候，不仅仅是广东，当时的南方的楚国都被称为”楚蛮“，其地界大概是自长江以南。在南宋末年明朝末年，“南蛮”是蒙古人和满族人对退守南方的汉族人的蔑称。