義両親と同居しない義兄を見てうちの旦那(次男)が「実家のそばに家を建てる」と言い出した。「じゃあ離婚する」と言えば諦めてくれるかな?