我之前和一个已婚男人出轨了。后来我不想和他在一起想离开。他就威胁我说要去找我老公孩子我该怎么办。