我和情人都放不下各自的小孩 还能在一起吗

网友倾诉：
我现在遇上一个非常难选择的问题，我在今年三月份离异，但离异后仍住在前夫家，带着我儿子，儿子3岁了，可爱。
和前夫的离婚是想了好久的事，和他在一起看不到希望，他能力有限又不带上进，脾气不好，在一次大大出手后我们就办了离婚手续，儿子改判给了他。
现在我在外面进修学习，单位上送我来的，现在我又遇上一个男人，一个聪明，有能力，勇敢，幽默，的男人，我们都很相爱，自然而然就同居在一起。
但他是已婚人士，爱人和女儿在另一个城市，他说我留下来会给我一个家，有房子，有工作，还有他。但他暂时不能给我那张纸，婚约吧，他说女儿还小，不想她受伤，表面上对女儿来说还是有一个家。
他还说过可以回我家办酒，请亲朋好友吃饭，他会安排好一切，相信他，他是认真的。爱我的，我总是要求他离婚，但他说等女儿大点的时候说，现在两个人都会争的，他不想女儿受伤，太残酷了。我自己呢也好爱他，爱他身上的自信，勇敢，爱我……
现在我进修时间到了，过两个月就要回去了，我想儿子，在单位上有个前途的工作，收入不错，我又想留下来和他在一起，他大部分时间在这里的，一个月回去三次吧，看看女儿……