不倫がバレて奥さんと離婚したのに不倫相手と再婚しない理由って何?