له النّاس ، فبايعوه طوعا وكرها وسموه أمير المؤمنين فبقي شهورا وليس له من الأمر شيء وابنه علي والحسين بن الحسن وجماعتهم أسوأ ما كانوا سيرة وأقبح فعلا فوثب الحسين بن الحسن على امرأة من بني فهر كانت جميلة وأرادها على نفسها فامتنعت منه فأخاف زوجها وهو من بني مخزوم حتى توارى عنه ثم كسر باب دارها وأخذها إليه مدة ثم هربت منه .
ووثب علي بن محمد بن جعفر على غلام أمرد وهو ابن قاضي مكة يقال له إسحاق بن محمد وكان جميلا فأخذه قهراً . فلما رأى ذلك أهل مكة ومن بها من المجاورين اجتمعوا بالحرم واجتمع معهم جمع كثير فأتوا محمد بن جعفر فقالوا له لنخلعنك أو لنقتلنك أو لتردن الينا هذا الغلام فأغلق بابه وكلمهم من شباك وطلب منهم الأمان ليركب إلى ابنه ويأخذ الغلام وحلف لهم أنه لم يعلم بذلك فأمنوه فركب إلى ابنه وأخذ الغلام منه وسلمه إلى أهله .
ولم يلبثوا إلا يسيرا حتى قدم إسحاق بن موسى العباسي من اليمن فنزل المشاش واجتمع الطالبيون إلى محمد بن جعفر وأعلموه وحفروا خندقا وجمعوا الناس من الاعراب وغيرهم فقاتلهم إسحاق ثم كره القتال فسار نحو العراق فلقيه الجند الذين أنفذهم هرثمة إلى مكة ومعهم الجلودي ورجاء بن جميل فقالوا لإسحاق ارجع معنا ونحن نكفيك القتال فرجع معهم فقاتلوا الطالبيين فهزموهم فأرسل محمد بن جعفر يطلب الأمان فأمنوه ودخل العباسيون مكة في جمادى الآخرة وتفرق الطالبيون من مكة .
وأما محمد بن جعفر فسار نحو الجحفة فأدركه بعض موالي بني