相恋网友的弟弟竟是我的前男友

网友口述：
我是离婚多年的女人，前不久在网上认识了一位同样是离婚的男士。从网络聊天到后来见面相识，我们相见后觉得对方都很合眼缘，相处起来也很默契，彼此对对方都满意就继续发展下去。
每到周末我们都相处在一起。渐渐他开始谈及到他家中和兄弟姐妹的事情。当他说到他弟弟的名字和工作单位，我一下子懵了。心里开始慌得很，原来他弟弟是我多年前婚前的男友，那时我们交往了半年并发生了关系。
恋情虽没有公开，我和他弟交往的事他妈和姐是隐约是知道。后来因为我和他弟弟年龄的差距、也存在其它的原因双方的家长都反对我们相好，所以我和他弟分手了。
现在这事已过了多年了。对以前的事我早已淡化了记忆。现在离婚男提起又让我记忆起之前的一幕幕!就如发生在昨天的事情!
现在我和离婚男在同一城市，知道他们是一家人后我内心感受很难堪和蒙羞!这件事一直在心里埋藏着不敢告诉他真相。他好几次邀请我与他同去见家长我都找借口拖着。
我真的不想破坏现在我们在一起快乐的时光。也不想失去一个我认为可以依靠的可靠男人。我该如何是好?找个理由说不合适然后离去?或告诉他事情的真相?请问老师我该怎么处理这件事?诚心听取你的建议!