离婚时，并不是谁抚养子女房子就归谁。只不过在很多情况下，直接抚养子女的一方更加需要房子，例如孩子在房子附近上学，孩子户籍地址就是房子的地址，这种情况下，将房子判给直接抚养子女的一方，对子女更为有利。但是，离婚时房子究竟归谁，首先应当由离婚双方协商确定，双方如果商定房子归不直接抚养子女的一方，并且在离婚协议中进行约定，该约定也是合法有效的。
如果双方都要房子，就房子的分割问题无法协商一致，应向人民法院提起诉讼，请求人民法院进行分割。人民法院会考虑哪一方更加需要住房，一般情况下，直接抚养子女的一方更加需要住房，但是如果另一方存在残疾、长期患病等更加需要住房的情况，法院还是会将房子判给另一方。
《婚姻法》
第三十六条 【离婚与子女】
父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或母直接抚养，仍是父母双方的子女。
离婚后，父母对于子女仍有抚养和教育的权利和义务。
离婚后，哺乳期内的子女，以随哺乳的母亲抚养为原则。哺乳期后的子女，如双方因抚养问题发生争执不能达成协议时，由人民法院根据子女的权益和双方的具体情况判决。
第三十九条 【夫妻共同财产的离婚处理】离婚时，夫妻的共同财产由双方协议处理；协议不成时，由人民法院根据财产的具体情况，照顾子女和女方权益的原则判决。
夫或妻在家庭土地承包经营中享有的权益等，应当依法予以保护。
第四十二条 【适当帮助】离婚时，如一方生活困难，另一方应从其住房等个人财产中给予适当帮助。具体办法由双方协议；协议不成时，由人民法院判决。