Selain ahli fikih, ia juga dikenal sebagi seorang sufi. Bahkan oleh penduduk Mekkah, ia dijuluki sebagai Abid al-Haramain (ahli ibadah kota suci). Sebuah julukan yang tepat, karena ia meninggal di Tanah Suci Mekkah dalam keadan beribadah.
Namun di balik kezuhudan, kebijaksanaan dan nama besar tersebut terdapat kisah yang menarik dan menginspirasi. Imam adz-Dzahabi dalam Siyar A’lam al-Nubala menyebutkan kisah awal mula lembaran baru kehidupan sang Fudhail yang tersohor tersebut. Menurut Adz-Dzahabi, Fudhail bin Iyyad adalah seorang perampok yang biasa beroperasi di daerah Abiwarda dan Sarkhas; sebuah dusun di negeri Samarkand.
Kisah keinsafannya berawal ketika Fudhail jatuh cinta dengan seorang gadis. Pada suatu malam pada saat ia memanjat tembok untuk menemui wanita tersebut, ia mendengar ada seorang yang sedang membaca Alquran tepat pada surah al-Hadid: 16 yang artinya: “Belum tibakah waktunya bagi orang-orang yang beriman, untuk secara khusyuk mengingat Allah dan mematuhi kebenaran yang telah diwahyukan (kepada mereka)….” Sejenak mendengar ayat itu, Fudhail tersadar dan berkata dalam hatinya: “Tentu, Tuhanku. Sungguh telah saatnya kembali kepada-Mu“. (Siyar A’lam al-Nubala; VII/ 393-394)
Sejak saat itu, Fudhail pun bertobat. Ia yang dulu seorang perampok, kini menjelma menjadi khusuk. Ia yang dulu senantiasa melakukan maksiat, berubah menjadi hamba yang taat. Ia konsisten dengan ucapan dan azamnya.
Kelembutan hati Fudhail untuk mengakui kesalahan, berbuah hidayah dan menghentikan segela bentuk kejahatan. Kelembutan hati Fudhail untuk menyadari kealpaan, melahirkan keberkatan hingga mengantarkannya menjadi ulama rujukan.
Terkait dengan pengakuan atas kesalahan ini, Ibnu Umar meriwayatkan sebuah hadits, bahwa ia mendengar Rasulullah bersabda: “Pada hari Kiamat, Allah mendekat dengan orang Mukmin dan menutupinya dari pandangan orang yang berada di tempat tersebut. Kemudian Dia menjadikan hamba-Nya itu mengakui segala dosanya secara rahasia. Allah bertanya: “Tahukah kamu dosa ini dan dosa itu yang kamu lakukan dulu?” Orang mukmin tersebut menjawab: Iya, saya mengakuinya ya Allah.
Kemudian Allah berfirman: "Sesungguhnya Aku telah menutupi dosa-dosa itu untukmu di dunia. Dan pada hari ini Aku menutupi dosa-dosa itu.” Lalu kitab kebaikannya diberikan kepadanya. (HR. Bukhari dan Muslim).