胡善祥之所以会被明宣宗下令废黜，其根本原因在于她不得明宣宗喜爱。胡善祥是在永乐帝尚在世时嫁给当时还是皇太孙的朱瞻基的，具体时间是永乐十五年。胡善祥之所以能够在一众候选女眷中脱颖而出，原因是她为人忠厚善良，一直以来都极具贤名。然而贤名在身的胡善祥并不得宠，身为其丈夫的朱瞻基一直对她十分冷淡。
究其缘由，朱瞻基早在正式选妃之前便已有了心爱的女子。此女名为孙氏，她不仅颇具美色且十余岁便已入宫，与朱瞻基称得上是朝夕相处。也正是基于这段朝夕相处的经历，朱瞻基对孙氏感情很深。但是正式立妃时，朱瞻基因碍于长辈们的意见只能违背心意将胡善祥立为正妃。基于这一情况，朱瞻基对“夺”走正妃之位的胡善祥难免心存怨怼。
身为正妃的胡善祥后来在朱瞻基即位那年，即1425年被册立为皇后，而孙氏则受封为贵妃。两年之后，孙贵妃先一步诞下皇子，成为朱瞻基皇长子的生母。而身为皇后的胡善祥此前虽曾有过生育，但是生下的均是女儿。随着这个皇子的出生，朱瞻基变得越发宠爱孙贵妃。如此一来，他便越发想要将胡善祥给废掉，转而改立孙贵妃为后。后来在1428年的时候，朱瞻基终是将这一想法付诸于行动。
1428年，朱瞻基先是借无子、多病这两个理由命令胡善祥主动上表请辞皇后之位。紧接着在这一年的三月，朱瞻基下令将孙贵妃提为皇后。胡善祥在遭遇废黜之后便出家当了道姑，同时移居至长安宫生活。因为胡善祥一直以来都颇为贤德，是以朝臣以及百姓对她的这一遭遇都感到非常同情。
明宣宗以“有病，不能承受祭祀，又无子女”为由，废黜了胡氏女王的职位；王储的母亲孙，被任命为女王，有“拨乱反正”之势。为什么这么说？一切都得从给朱瞻基朱瞻基的祖母选妻子说起，彭城伯，夫人回永城， 河南去拜访她的亲戚了。我见到了当地老板钟的女儿，她聪明可爱。当她回到京，时，她把这一情况告诉了王储妃张氏(战戟的生母)，并把她作为朱瞻基的妾人选。
经过迪等人的“面试”,他们相当满意，而也看中了这个小女孩。朱迪念十岁了，还很小，所以她留在宫里，由王储张氏孙抚养，孙有足够的时间培养他们的感情，所以他们是青梅竹马。因为朱瞻基的全部感情都不在胡善祥身上，它们最终都会被废除。但大家一般都喜欢同情弱者，胡善祥也是世界女王，历史上没做错什么。所以在被废除后，也得到了世人的同情。
其实后宫一直都有勾心斗角。事实上，胡善祥最大的错误是他没有给皇帝留下一条龙。而朱瞻基本身并不特别喜欢胡善祥，所以这样的条件注定了胡善祥的未来胡善香和她的姐姐都出生在贵族家庭，从小就被教育要做一个聪明善良的女人。我父亲从宫里雇了一个老师，为他们的两个女儿传道授业。因此，胡善香从小就熟读四书五经和妇道，坚信自己一定要向古代圣贤学习，将来成为一个合格的妻子。
胡善香从小就过着无忧无虑的生活，直到后来她才明白，父亲做这一切的目的是为了让她进入后宫争光。也许是出于太多的爱，1417年，朱帝给皇帝孙朱瞻基写了一封信，要他挑选贵妃。据小妾钦天监，观察到的“星象报告”说，“应该是在找到身着皇家服装的卫百户胡荣，的女儿胡善祥，后，在济南".寻找的，她符合“天上布满星星”的特征。入宫后独居小楼，有“红白气出宫，月不离身”的奇观。根据钦天监的“评价”，朱封胡氏为公主，孙为妻子。在仁宗高池继承王位的那一年，胡氏被授予皇太子妃的称号。作为补偿，孙被授予王储妃的头衔。这个胡善祥在历史上以善贤德闻名，跟随朱瞻基多年。朱瞻基非常喜欢孙贵妃。这个孙贵妃其实是亲戚，背景比胡善祥.贵妃硬多了孙和朱瞻基其实是青梅竹马，因为从小一起生活，所以感情可想而知。此外，尽管朱瞻基立胡善祥为皇后，孙却被列为皇妃。