一、叶片的区别
石菖蒲的叶片颜色为暗绿色，呈线形，长约20-50厘米，从基部对折，中部以上均平展。而水菖蒲颜色稍浅，绿色，为剑状线形，较长，大概90-150厘米。
二、花的区别
石菖蒲为三棱形花序，长约4-15厘米，肉穗花序为圆柱状，上部直立或者稍弯，渐尖，花的颜色为白色。而水菖蒲花序稍微扁一点，肉穗花序近直立或者斜向上，呈狭锥状圆柱形，花的颜色为黄绿色。
三、根茎区别
石菖蒲根部呈扁圆柱形，长约3-20厘米，直径约0.3-1厘米，表面的颜色较深，呈灰棕色或者棕褐色。而水菖蒲根部比前者更粗大，直径约1-1.5厘米，分枝少，颜色稍浅，最浅可至白色。