非法聚会的定义跟人数多少是无关的。
严重破坏社会秩序的行为是非法集会，又拒不服从解散命令，或者未按照主管机关许可的起止时间、游行、路线进行举行集会、游行、示威，或者示威未依照法律规定申请或者申请未获得许可的，对犯此罪的负责人和直接责任人处五年以下有期徒刑。
非法集会具有以下３种表现形式：
一、举行集会、游行、示威没有依法申请；或者申请没有被许可；或者没有按照主管机关许可的起止时间、地点、路线进行。
二、拒不服从解散命令。
三、严重破坏社会秩序。
法律依据：
《中华人民共和国刑法》第二百九十六条
举行集会、游行、示威，未依照法律规定申请或者申请未获许可，或者未按照主管机关许可的起止时间、地点、路线进行，又拒不服从解散命令，严重破坏社会秩序的，对集会、游行、示威的负责人和直接责任人员，处五年以下有期徒刑、拘役、管制或者剥夺政治权利。