西樵山之所以被称为分手山，是因为有传言说恋人在爬西樵山的时候会分手。但这个传言的原因却和西樵山当地的一个传说有关。西樵山上有一座巨大的观音石像，观音石像虽然宏伟，但修建时并没有得到当地村民的支持。建成后与西樵山周边环境不符，十分突兀。它没有很好地结合当地的风水。另外，观音是未婚女子，看不得情侣相处，所以对怒气冲冲来到这座山上分手的情侣施了咒。
虽然这只是一个传说，但有些情侣爬山后真的分手了，这导致了谣言，这导致了分手山。然而传说终究只是传说，往往恋人的分手不是一件事造成的。我们不应该对西樵山有偏见，因为它的风景非常罕见。