حتى إذا كانت السباع لتحمل أولادها وبني الجامع فلما عزل معاوية بن أبي سفيان معاوية بن حديج السكوني عن مصر عزل عقبة عن إفريقية وجمعها لمسلمة بن مخلد ، فهو أول من جمع له المغرب مع مصر ، فولي مسلمة إفريقية مولي له يقال له أبو المهاجر فلم يزل عليها حتى هلك معاوية بن أبي سفيان .
ذكر ولاية عقبة بن نافع إفريقية وبناء مدينة القيروان قد ذكر أبو جعفر الطبري أن في هذه السنة ولي مسلمة بن مخلد إفريقية وإن عقبة ولي قبله إفريقية وبني القيروان والذي ذكره أهل التاريخ من المغاربة أن ولاية عقبة بن نافع إفريقية كانت هذه السنة وبني القيروان ثم بقي إلى سنة خمس وخمسين ووليها مسلمة بن مخلد وهم أخبر ببلادهم وأنا أذكر ما أثبتوه في كتبهم :
قالوا : إن معاوية بن أبي سفيان عزل معاوية معاوية بن حديج عن إفريقية حسب واستعمل عليها عقبة بن نافع الفهري وكان مقيما ببرقة وزويلة مذ فتحها أيام عمرو بن العاص وله في تلك البلاد جهاد وفتوح فلما استعمله معاوية سير إليه عشرة آلاف فارس فدخل إفريقية وانضاف إليه من أسلم من البربر فكثر جمعه ووضع السيف في أهل البلاد لأنهم كانوا إذا دخل إليهم أمير أطاعوا وأظهر بعضهم الإسلام فإذا عاد الأمير عنهم نكثوا وارتد من أسلم ثم رأى أن يتخذ مدينة يكون بها عسكر المسلمين وأهلهم وأموالهم ليأمنوا من ثورة تكون من أهل البلاد فقصد موضع القيروان وكان دخلة مشتبكة بها