我和我男朋友在中介买了一套期房，和房主谈好价钱后，签了三方协议，但中介没签字，只有买卖双方签字按手印，因为急着买房，所以当晚签完协议后我们就付给中介一万定金和六千信息费。第二天，我去楼盘看了，发现没有施工人员，还没挖槽。房主购房合同写的是去年十月买的房，明年十月底交房，我感觉上当了，于是在签协议第三天我跟中介说不想买了，想退回一万六，但中介说我们违约，请问我们算违约吗？合同生效了吗？我们能退回钱吗？