1. 肠胃不好的人：桂花茶味辛，其中含有的多酚类成分，有收敛肠胃黏膜的作用，肠胃不好的人在患病期间饮用桂花茶，容易对肠胃造成负担，使原有的不适症状加重，影响身体健康。
2. 处在孕期、月经期的人：桂花性温，有活血的作用，处在孕期或者月经期间的人饮用桂花茶以后，容易对身体造成影响，不利于孕妇生产或者导致月经期的人月经量增多。
3. 服药期间的人：对于处在服药期间的人来说，不适合饮用桂花茶，因为茶叶一般都有一定的解药作用，饮用后容易影响药物的效果，不利于身体的恢复。
4. 糖尿病患者：由于很多人在饮用桂花茶的时候，常常会选择加入蜂蜜来进行调味，而糖尿病患者饮用了这种桂花茶以后，容易造成血糖升高，不利于患者自身血糖的控制。