康熙四十九年九月废太子，并将皇太子、皇长子、皇三子、皇五子、皇八子、皇十三子胤祥圈养。十一月康熙解除其他皇子圈养，继续对皇长子和皇十三子胤祥实行圈养。
胤祥被圈禁大概不到一年，康熙四十八年四月丁卯，胤祥在当年即清康熙四十八年得到释放。那会儿胤祥虚岁24。放出来之后不知为何不受康熙宠爱了，加上腿上的疾病，就基本隐退在朝堂上了。直到雍正即位，胤祥成为雍正朝的第二号人物。
经过一系列的变故，胤祥收到打击，性格变得很内敛，谨慎有加，如履薄冰。才干方面，文武双全，诗文书画。成就方面主要以管理户部和之水尤为突出。