许由漫无目标,一路走来,寻找自己隐居的所在。他走到一条小河边,见不高不低的箕山树木葱茏,雾气缭绕,好一处别致的风景。许由便沿着小路攀上了山顶,北眺顶天立地,一望无际的崇山(即今嵩山),巍峨壮观,让人心旷神怡。许由想起了这崇山脚下的箕山,都归崇地所辖。崇地地伯鲧,颇受许由敬重。许由想了想,能默默地给一个让自己敬重的人当隐居的山民,感觉不错。于是,决意在箕山找个地方住下来。他找到一间被牧羊人遗弃的茅草屋,当成自己的家,从此开始过上了如同普通农人一样清淡的日子。闲来无事,他便研究他早就颇感兴趣的神农氏炎帝流传下来的医学和草药学,并去山野采摘和品尝草药,慢慢地,附近农人知道了他会看病,便来求医,他都有求必应,并无偿地给人家治病。
不久,崇伯鲧知道了许由隐居在箕山,并了解到他居住的茅草屋一下雨就漏水,而且吃水要下山去挑,生活很不方便。鲧很想帮助许由,但他知道,不能由他出面,否则,是对一个隐士的不敬。他亲自去箕山,在山间选了几处地方,最后选定半山腰里一处较深的山坳。这儿既有山泉可供饮水,又有平缓的坡地可种庄稼、蔬菜,更重要的是,有一个石头质地平展展的崖面,可凿洞室,能让人长期栖身。鲧亲自设计好方案,并带领一批石匠、木匠等人,历时数月,在这里建造好一处宅院。崇伯鲧对同为石匠的兄弟俩面授机宜,让他们如此这般将这座宅院送给许由。这兄弟俩都是孝子,可他们的老母亲却疾病缠身,兄弟二人便数次请许由为老娘看病。说来也巧,患病多时的老妇人,吃了一段时间许由配制的草药,竟渐渐地痊愈了。
一个下雨天,许由独自在家,修补漏雨的茅屋,这兄弟俩赶来,又请许由给老娘看病。许由问他们,不是说你母亲的病好了么?兄弟二人便将许由带到这座新造的宅院,对他说,自己的母亲未犯病,我们为感谢先生为老母看好了病,因此专为您建造了这处宅院,请先生搬进来居住。许由说什么也不接受,这兄弟二人便在雨地里跪下,求许由一定要收下他们的心意。许由无奈,只得搬了进来,从此在这儿隐居。
不说许由在此隐居,现在说说,他在许地怒斥那些让他升官的人,拂袖而去,归隐山林后,他的声名大震,乃至传到尧帝耳中。
尧帝这时正在考虑接班人的问题,亦对许由很感兴趣,也很好奇。他想,别人让这小子做州牧,当国王,他不肯;我去把帝位让给他,要他做皇上,看他做不做。而且,听说许由在许地做地伯时,把那个部落治理得很有成效,他若真有才,继了帝位,治理天下,岂不更好?