男女双方各有一女,两人再婚没有结婚证。由于男方家没有老人女方家里有老人,故男方带着女儿到女方家居住。在一起七年,男方经常在外打工,女儿长时间在学校,放假了就到女方家,女方基本上没工作,其女儿学习生活费由男方供养。而男方在女方家后卖了自己的房子准备把钱留给女儿上大学,(买房时女方承诺让男方一直住在自己家)女方却把钱用给了自己家人买房。现在,女方提出分手,男方是否可以要求女方把买房的钱退还?(注:买房时房价较低,若男方现在要买房或修房,房价绝对是卖时的几倍,故难以支撑)