我2007年购置德安县新集贸市场的门面，合同上说是2008年交房。我先交的部分定金。由于没交清房价，房地产公司2008年没交房于我。直到2012年我交了大部分钱只差3.6万，并写下3.6万借条的时才交房于我。交房时整个菜市场还没有开张营业。2013年我发现门面里有裂缝，地面也有下沉的裂缝。当时没往心里去，直到今年才发现裂缝越来越大。经房管局鉴定属于C级危房。现在房地产公司起诉我要我归还剩下的3.6万房款。我不想再出这个钱，甚至还想退房。因为这个菜市场就是个死区。当时买的时候当地房价才600每平方，这个门面要6000一平方。所有业主都亏死了。直到现在这个菜市场都没开张。而且现在有老板在砸市场里的台面，说是把这个市场该成超市。我们当时是图这是菜市场才花这么多钱买的，现在都不是菜市场了。我该怎么办？