法律分析：这个问题涉及“相邻权”的问题，最好请当地村委会出出面调解，达成可行协议。如果你建房对他造成妨碍(法律保护的相邻权)，他的阻扰是合法的。不管怎么样，对方都不构成寻衅滋事，除非无理取闹。
法律依据：《中华人民共和国民法典》
第二百八十八条 不动产的相邻权利人应当按照有利生产、方便生活、团结互助、公平合理的原则，正确处理相邻关系。
第二百八十九条 法律、法规对处理相邻关系有规定的，依照其规定；法律、法规没有规定的，可以按照当地习惯。
第二百九十条 不动产权利人应当为相邻权利人用水、排水提供必要的便利。对自然流水的利用，应当在不动产的相邻权利人之间合理分配。对自然流水的排放，应当尊重自然流向。
第二百九十一条 不动产权利人对相邻权利人因通行等必须利用其土地的，应当提供必要的便利。