在谈结婚分房时，有双方家长和媒人在场，只是口头承诺，没有字据。
大儿子在婚后已将老宅拆旧盖新并合法取得毗邻地基一块，而分家时老宅只是已建10年的4间旧瓦房。
大儿子在给老人建新宅（4间平顶房）时有出钱出力，小儿子没有结婚暂时与老人住一起，小儿子结婚后霸占新房，将老人安置在小院简易房。17年后，父亲去世，小儿子联合大女儿想以老宅是父亲遗产的名义平分（老人已去世2年，母亲尚在），多次上门吵闹骚扰。父亲在世时曾多次明确老宅归大儿子，新宅归小儿子，生病期间和去世时意识都很清醒，配偶儿女也都在身边，虽没有遗嘱但是并不是突然死亡和迷糊去世来不及立遗嘱的情况，有口头嘱咐老宅归大儿子，新宅归小儿子。
现小儿子一家联合大女儿，一起上门索要老宅（现盖成3层小楼）一半，乱闯乱摔，吵闹不休，并扬言起诉，说老宅是遗产，威逼母亲说大儿子不孝，拍老人受伤虚假照片，威胁大儿子一家。小儿子这样做合法吗？如果想起诉他，应该怎么做。
现在双方都没有明确书面证据。