حدّث عن علي بن أحمد المصيصي و أبي بكر المفيد و غيرهما روى عنه عبد العزيز بن علي الأزجي و غيره، و كان من الزهاد المتعبدين. قال العتيقي: كان رجلا صالحا مجتهدا صنف كتابا سماه «قوت القلوب» و ذكر فيه أحاديث لا أصل لها، و كان يعظ الناس في الجامع ببغداد.
أنبأنا علي بن عبيد اللَّه عن أبي محمد التميمي قال: دخل عبد الصمد على أبي طالب المكيّ و عاتبه على إباحته السماع فأنشد [أبو طالب]:
فيا ليل كم فيك من متعة * * * و يا صبح ليتك لم تقترب
فخرج عبد الصمد مغضبا:
أخبرنا عبد الرحمن بن محمد، أخبرنا أحمد بن علي بن ثابت قال: قال لي أبو طاهر محمد بن علي العلاف، كان أبو طالب المكيّ من أهل الجبل، و نشأ بمكة، و دخل البصرة بعد وفاة أبي الحسن بن سالم، فانتمى إلى مقالته، و قدم بغداد، فاجتمع الناس عليه من مجلس الوعظ فخلط في كلامه و حفظ عنه أنه قال ليس على المخلوقين أضر من الخالق فبدعه الناس و هجروه فامتنع من الكلام على الناس بعد ذلك. سمعت شيخنا أبا القاسم إسماعيل بن أحمد السمرقندي يقول سمعت شيخنا أبا علي محمد ابن أحمد بن المسلمة يقول: [سمعت شيخنا أبا القاسم بن بشران يقول] [2] دخلت على شيخنا أبي طالب المكيّ: وقت وفاته فقلت له، أوصني، فقال: إذا علمت أنه قد ختم لي بخير فإذا أخرجت جنازتي فانثر عليّ سكرا و لوزا و قل هذا للحاذق فقلت: من أين أعلم؟ قال: خذ يدي وقت وفاتي فإذا أنا قبضت بيدي على يدك فاعلم أنه قد ختم اللَّه بخير [و إذا أنا لم أقبض على يدك و سيبت يدك من يدي فاعلم أنه لم يختم لي بخير].
قال شيخنا أبو القاسم: فقعدت عنده، فلما كان عند وفاته قبض على يدي قبضا شديدا فلما أخرجت جنازته نثرت عليه سكرا و لوزا و قلت هذا للحاذق، كما أمرني. توفي أبو طالب في جمادى الآخرة من هذه السنة. و قبره ظاهر قريب من جامع الرصافة.