起因不过是一件微不足道的小事，十三掌管兵部以来，虽不像从前大阿哥在时对军务那般娴熟老道，但他胜在年轻，做什么事情都有一股冲劲，很快跟兵部上下也混得不错，加上他与胤禛同气连枝，朝中上下都将他看成四阿哥一党。
被康熙训斥，也是因为兵部的事情。
一日康熙心血来潮，将十三召到跟前，询问兵部相关事宜，问的是前几年地方琼州黎民被逼起事的骚乱。
这件事发生在康熙三十八年，当时胤祥还没有入驻兵部，自然也就不甚清楚，康熙所问，他多是答不上来，康熙发了一通火，并斥责他“好逸恶劳，不学无术”，索性将他兵部的差事卸了。
革职的旨意隔天就发下来了，连着一起的，还有另外一道圣旨，却是让皇十四子胤祯接替胤祥，掌管兵部。
此事一出，举朝哗然，众人明里暗里，大都议论纷纷。