我老家在江苏海门,他老家在绍兴,我们在上海生活,每次都是先到他老家去,回来了,我想到我老家去的时候他就不去了,今年我问好他,等到他老家回来后到不到我老家去?他说不去.我说那我也不到他老家去了.昨天他已经回他老家了,而我还在上海.大家说是不是该离呢?