「妻とは終わってる」と言う不倫男性が離婚しない理由