法律分析：如果是租客违约，违约金房东可以依据租房协议不予退还。如果想要减少损失，须与房东协商，租赁期间双方必须信守合同，任何一方违反本合同的规定，依据事实轻重，按年度须向对方交纳年度租金的10%作为违约金。如果是房东违约，不退还租金的，可以先协商要求退还，因为房东违约的物权不退换租金，协商不成可向法院提起诉讼。
法律依据：《中华人民共和国民法典》 第五百八十五条 当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。约定的违约金低于造成的损失的，当事人可以请求人民法院或者仲裁机构予以增加；约定的违约金过分高于造成的损失的，当事人可以请求人民法院或者仲裁机构予以适当减少。当事人就迟延履行约定违约金的，违约方支付违约金后，还应当履行债务。