二手房贷款直接打到卖方账户

卖了一套二手房户主是我，当时办了一个邮政账户，银行贷款下来之后直接打我这个账户上，请问家人会不会拿我身份证或者户口本跟买方说这钱不打我账户上拿走这个钱。目前贷款还没下来。