دربارهٔ علت روی آوردن ابراهیم ادهم به سلوک و فقر داستان‌های زیادی روایت شده است، که یکی از آنها این است که می‌گویند در ابتدا ابراهیم پادشاه بلخ بود، روزی چشمش به مردی افتاد که در زیر سایه کاخ او نشسته بود و دیری نپائید که تکه نان خشکی از خورجین خود بیرون آورد و شربتی نوشید و سپس به پشت خوابید. ابراهیم از دیدن این صحنه مانند آدمی که از خواب بیدار شود از خواب غفلت بیدار شد و دست از لباس پادشاهی برداشت و راه فقر و سلوک را در پیش گرفت.

پس از این ماجرا ابراهیم ادهم از بلخ بیرون آمد و به قولی نُه سال در غار(هفت غار) دامنه بینالود نیشابور سکونت می‌گزیند و ناشناس زندگی می‌کند و بعد از اینکه شناخته می‌شود از نیشابور بطرف مکه و مدینه و به خدمت امام محمد باقر می‌رسد و در مکه از دنیا می‌رود.