Pencarian itu membawanya menelusuri banyak jalan. Ia mendalami ilmu kalam, mempelajari filsafat, juga menelaah pandangan kaum Batiniyah. Namun semua itu belum mampu memberinya ketenteraman. Di titik itulah ia melirik tasawuf. Bagi Al-Ghazali, tasawuf bukan pelarian dari pengetahuan, melainkan jalan terakhir untuk menemukan keyakinan yang sejati.
Al-Ghazali memandang tasawuf sebagai jalan yang ditempuh dengan mujahadah, yaitu perjuangan sungguh-sungguh melawan dorongan nafsu dan sifat-sifat buruk, serta dengan riyadhah, yaitu latihan spiritual yang terus-menerus. Tujuannya bukan sekadar menjadi orang saleh secara formal tetapi mencapai kedekatan eksistensial dengan Allah. Dalam bahasa Al-Ghazali, jika hati seorang hamba benar-benar dibersihkan maka Allah sendiri yang akan menguasai hatinya dan meneranginya dengan cahaya ilmu. Hati menjadi lapang, tabir tersingkap, dan hakikat ketuhanan mulai terbuka.