我竟然白天陪他弟弟晚上陪他！

与他认识半年，但在一起的时间很少，因为不在一个城市，但我们属于一家公司。
他外表加学历(一本)都可以，毕业二年，而且为人善良，工作也很努力。待遇在5K左右。
我，家里条件一般，长相属于中上，工作稳定，待遇在3K-4K。
他对我很好，会经常给我电话，会经常关心我的生活，会过来我的这座城市看看我(来回4个小时车程)，每次是当日来当日回去，就只是单纯的看看我，就走了，不曾要求我什么。
我一直犹豫的原因，就是现在许多年轻人所谓的“现实”。
他家里条件一直都不好，从小爸妈离婚了(跟着妈妈生活，三个儿子，他是老大)，在大学里的学费都是奖学金加亲戚资助，自从他出来工作，所有的工资都帮助着两个弟弟学习，自己不会留着，这二年来，他没有存款，一直都是帮忙着家里，他在这个家庭中当哥哥又当爸的，很辛苦。但是他的心态特别好，很乐观，从来不抱怨，不消极，很努力的工作着。我相信着他是潜力股。但那是N年以后的事……
以上我都可以接受，家里穷，没有房子，没有存款，也愿意接受。但最近发生了一件事情：
他的弟弟大专己毕业，找工作一直未找到适合的，他妈妈要他弟弟进事业单位，但需要关系，他妈妈要他去借5万到10万，把他弟弟弄进“事业单位”。
从小到大，他妈妈非常辛苦，带大三个小孩，他一直很爱他的妈妈，而且也特别听他妈妈的话，所以，只要是他妈妈说的话，他都是要必须听的，这件事也不例外，他告诉着我，他会去借。
这件事如果接受了，那以后，只要他两个弟弟需要他帮忙，他不会说“不”字，这让我很纠结。我说，如果有钱的情况下当然可以帮忙，但问题是，现在是“打肿脸充胖子”。
有时，我竟然还会莫名其妙的生出“他家这么穷，会不会娶一个媳妇让弟弟和老公一起睡”的诡异念头……我觉得我有点疯了……
他的人无可挑剔，幽默，很聪明，没有一切不良嗜好，也许就是所谓的现实吧。让我害怕了。
真的很纠结着，请大家帮帮忙，我该怎么做?