一、根茎不同
黄连的根茎是黄色，会有分枝，具有很多的须根。
黄芩的根茎十分肥厚，属于肉质的，底部伏地、上升，高度可以达到30-120厘米。底部的径为2.5-3毫米左右。
二、叶片不同
黄连的叶片有些革质，长度约为3-8厘米，宽度约为2-3厘米。顶端十分尖，呈卵状三角形。
黄芩的叶片为叶坚纸质，长度约为1.5～4.5厘米，宽度约为0.5～1.2厘米。它的顶端是比较钝的，底部为圆形，呈披针形至线状披针形。叶片上面为暗绿色，下面的叶色相对来说比较淡。
三、花朵不同
黄连的花朵为线形活线状披针形，长度约为5-6.5毫米。它的顶端为渐尖锐，中间具有蜜槽。
黄芩的花为紫色、紫红色或是蓝色，长度约为2.3-3厘米左右。其花柱十分细长，先端比较尖锐，微裂。