情感故事：婚姻出现危机我出轨了 我现在不知道该怎么办

我和他是大学同学，已毕业十几年了，各自有家和孩子。六年前他通过同**系上我，过节才打个电话。2012年我们见了面，他说我是他的梦中情人，当时我的婚姻也出现问题，老公比我小，经常有别的女人。我也一直在忍，对老公也很失望，这个时候他出现，我的心也为之一动。

他总觉得我应该过得很幸福，可没想到会这样，他说会一辈子心疼我，每天打一个电话，嘘寒问暖，是我从未有过的被人关爱的感动。可能是老公的背叛，让我想在他身上寻找温暖。因为离得太远，一年也就见三、四次。由于他是**公务员，对我的工作有帮助，出差在路上时，每隔一小时打一个电话，我体会到被疼爱的感觉，我觉得我很幸福，慢慢的我也喜欢上他。

这个月因工作原因，我们见了两次面，发生了关系。离开后，我觉得天要塌了。离不开他了。他从未提过离婚，只是说等孩子上了大学后，我们一起生活。我很想义无反顾离婚跟他再一起，但是他却没有这个想法，虽然对老公也有愧疚，因为小孩也放不下，但是跟他在一起的时光，我是最快乐的。

我该怎么办呢？我和他有可能在一起吗？