不倫した夫と再構築中なんだけど、夫は「別れた方がいいと思ってる。そう思ってるうちは関係改善の為には何もしないと思う」って言ってる。こんな事言われたら離婚したほうがいい?