مشکل دیگری که علی علیه السلام در آغاز خلافت خویش در پیش رو داشت، مشکل فساد اداری بود،
کارگزاران با رفتارهای غیر اسلامی خود سهم بسزائی در شورش مردم بر ضدّ خلیفه سوم را داشتند.
خلیفه سوم کسانی را که پیامبر اکرم صلی الله علیه وآله وسلم طرد و حتّی تبعید کرده بود، در دستگاه خود دخالت داد.
او عموی خود، حکم بن امیه را که رسول اکرم صلی الله علیه وآله وسلم او را تبعید کرده بود و رانده رسول اللَّه صلی الله علیه وآله وسلم نامیده می‌شد، به مدینه بازگرداند. [1] .
و عبداللَّه بن سعد بن ابی سرح، که رسول خدا صلی الله علیه وآله وسلم خونش را مباح کرده بود، والی مصر گردانید. [2] .
و عبداللَّه بن عامر را والی بصره کرد [3] .
و برادر خوانده خود (ولید) را که در شرابخواری و فساد شهرت داشت فرماندار کوفه کرد،
که همه آنان در نواحی حکومتی خود حوادثی برپا کردند و مردم را در عمل، بر ضدّ خلیفه سوم شوراندند.
حضرت امیرالمؤمنین علیه السلام در خطبه‌ای در وصف این گروه چنین فرمود:
وَلَکِنَّنِی آسَی أَنْ یلِی أَمْرَ هذِهِ الْأُمَّةِ سُفَهَاؤُهَا وَفُجَّارُهَا، فَیتَّخِذُوا مَالَ اللَّهِ دُوَلاً، وَعِبَادَهُ خَوَلاً، وَالصَّالِحِینَ حَرْباً، وَالْفَاسِقِینَ حِزْباً، فَإِنَّ مِنْهُمُ الَّذِی قَدْ شَرِبَ فِیکُمُ الْحَرَامَ، وَجُلِدَ حَدّاً فِی الْإِسْلَامِ، وَإِنَّ مِنْهُمْ مَنْ لَمْ یسْلِمْ حَتَّی رُضِخَتْ لَهُ عَلَی الْإِسْلَامِ الرَّضَائِخُ.
فَلَوْ لَا ذلِکَ مَا أَکْثَرْتُ تَأْلِیبَکُمْ وَتَأْنِیبَکُمْ، وَجَمْعَکُمْ وَتَحْرِیضَکُمْ، وَلَتَرَکْتُکُمْ إِذْ أَبَیتُمْ وَوَنَیتُمْ.
أَلَا تَرَوْنَ إِلَی أَطْرَافِکُمْ قَدِ انْتَقَصَتْ، وَإِلَی أَمْصَارِکُمْ قَدِ افْتُتِحَتْ، وَإِلَی مَمَالِکِکُمْ تُزْوَی، وَإِلَی بِلَادِکُمْ تُغْزَی!
(لکن از این اندوهناکم که بیخردان، و تبهکاران این امّت حکومت را به دست آورند، آنگاه مال خدا را دست به دست بگردانند، و بندگان او را به بردگی کشند، با نیکوکاران در جنگ، و با فاسقان همراه باشند، زیرا از آنان کسی در میان شماست که شراب نوشید و حد بر او جاری شد، و کسی که اسلام را نپذیرفت امّا بناحق بخشش‌هایی به او عطا گردید
اگر اینگونه حوادث نبود شما را برنمی‌انگیختم، و سرزنشتان نمی‌کردم، و شما را به گردآوری تشویق نمی‌نمودم، و آنگاه که سرباز می‌زدید رهاتان می‌کردم.
آیا نمی‌بینید که مرزهای شما را تصرّف کردند؟ و شهرها را گشودند؟ و دستاوردهای شما را غارت کردند؟ و در میان شهرهای شما آتش جنگ را برافروختند؟.) [4] .
از این رو امام علی علیه السلام نمی‌توانست والیان فاسدی را ابقاء کند که ناگزیر از عزل آنان بود،
این کار به نوبه خود مشکلات فراوانی برای آن حضرت به بار آورد و آنان را که تمایلی به خلیفه سوم داشتند در مقابل حضرت امیرالمؤمنین علیه السلام قرار داد. [5] .
بناچار برای اصلاح مدیریت اداری، به اصلاحات زیر رو آورد:
1- عزل تمام استانداران و فرمانداران حکومت های گذشته
2- تعیین کارگزاران مؤمن و متهّد
3- عزل معاویه
4- عزل قضات بجز برخی از آنان که عزل و جابجائی آنان از نظر اجتماعی امکان نداشت.
(شریح قاضی و ابوموسی اشعری را بناچار پذیرفت تا ادامه کار دهند.)
5- مصادره اموال مسئولین گذشته که اموال عمومی را غارت کردند.
6- اجرای حدود الهی بر فاسدان