只要一方人数在三人以上，就可构成聚众斗殴罪。因为罪行法定原则要求，一行为是否构成犯罪的根据在于该行为是否符合刑法规定的某罪的犯罪构成要件。一方聚集三人以上与他人斗殴的行为，已经完全具备刑法所规定的聚众斗殴罪的犯罪构成要件，至于对方参与殴斗的人数是否在三人以上，不能影响被告方本罪的成立。
【法律依据】
《刑法》第二百九十二条规定，聚众斗殴的，对首要分子和其他积极参加的，处三年以下有期徒刑、拘役或者管制;有下列情形之一的，对首要分子和其他积极参加的，处三年以上十年以下有期徒刑：
(一)多次聚众斗殴的;
(二)聚众斗殴人数多，规模大，社会影响恶劣的;
(三)在公共场所或者交通要道聚众斗殴，造成社会秩序严重混乱的;
(四)持械聚众斗殴的。聚众斗殴，致人重伤、死亡的，依照本法第二百三十四条、第二百三十二条的规定定罪处罚。