这样的婆家人，应该怎么办？

我和老公两人都来自农村，家境都很贫寒，学费都是申请的助学贷款。04年毕业后，两人开始还。刚开始上班，我老公家里就认为儿子毕业了就该回报他们了，我也从贫困的家庭出来，理解作为父母的难处，工资就一千左右，我们剩钱的时候一般都寄给他家里，那时老公住公司宿舍，我租了八十元一间的房子，省吃俭用一年多两人还清了学费。因为我老公三弟弟一直不学无术，出去做什么事都干不长，还要家里接济。我老公公司的货经常找别人拖运，看那些司机肯吃苦的话收入还不低，准备让他三弟到他那开车，06年底时两人一共存了七八千，又找同学借钱凑了一万五，这时老公家里说他二弟定婚要钱，给我们要了四千，过年回家加上年终奖我们凑了一万五给我老公他爸，让他在家买辆二手车。年后我们回来上班，发现这面比家里可能还便宜，便让他家把钱打回来，我们在这边买，我就听我老公他爸在电话里骂我老公说给他的钱还要要回去，他当初养他们如何如何。最后他家里还是扣了四千，要知道为了帮他弟弟我们也是找同学借的啊!当时我老公没告诉我，过了一天他家又打电话过来，骂我老公，还要三钱，没钱的话他没法活了，说我们在外面借钱总比他在家好借，我不知道他家已经扣了四千，就把过年回家我家给的三千给了他家。