丘处机品味那樵夫的话，觉得在理，又被眼前的桃子引出了强烈食欲，就把棵桃子吃了，顿时浑身精神力气培增，再找那樵夫，哪里还有踪影？忽然开悟：人总是要死的，做点贡献也不枉来人世一回！于是就不再“斗闲”等死，离开古庙下了终南山。

丘处机一路西行，这天来到了磻溪河畔，见此处虽为渡口，却无舟无桥，过往行人只能涉水渡河。这时有位老人拄着拐杖从对岸过来，战战兢兢，走到中间流急处时险些跌倒，处机急忙跑过去扶他过来。心想：我何不在此为过往行人背渡？

于是丘处机便在附近的破窑洞内住下来，每日到渡口为来往行人免费背渡。人们常主动送食物、钱财给他，而处机则把多余部分送给其它过往的穷人。丘处机每日背渡不辍。到了冬天河水结冰，不用背渡，处机就向附近的学究们借书读，人称其“蓑衣先生”。

遇有妇女、村姑过河时，处机总是礼貌地问来者是否愿意让他背渡，如来者不让他背渡，他也落得轻闲。但时间一长，大家都知道他心地善良时，反倒主动找他，处机也不推辞。遇有轻薄者调戏他时，处机把她们当成自己的姑嫂姐妹，不与她们计较。

某日傍晚，有位年轻美貌的女子奔到处机窑洞中，自言是某家丫环，因办事出错，怕受责打就逃出避难。处机让其住于洞内，自己于门外打坐。那女子多次提出要与处机同宿，处机都拒绝了。女子见其不动心，就自动离去。原来这是骊山老母派弟子来试处机的。