ما أراد فكتب إليه يا أمير المؤمنين قد عرفت حاجتك إليّ وإنِّي في جُنْدٍ من المسلمين لا أجد بنفسي رغبة عنهم فلستُ أريد فراقهم حتى يقضيَ الله فن وفيهم أمره وقضاءه فخللني من عزيمتك . فلما قرأ عمر الكتاب بكى فقال الناس : يا أمير المؤمنين أمات أبو عبيدة ؟ فقال : لا وكأنْ قد .
وكتب إليه عمر ليرفعنّ بالمسلمين من تلك الأرض ، فدعا أبا موسى فقال له : ارتد للمسلمين منزلاً قال . فرجعت إلى منزلي لأرتحل فوجدت صاحبتي قد أصيبت فرجعتُ إليه فقلت له : والله لقد كان في أهلي حَدَث . فقال : لعل صاحبتك أصيبت قلت : نعم . قال : فأمر ببعيره فرحل له فلما وضع رجله في غرزه طُعِن فقال : والله لقد أصبتُ ، ثم سار بالناس حتى نزل الجابية ، وكان أبو عبيدة قد قام في الناس فقال : أيها الناس إنّ هذا الوجع رحمة ربكم ، ودعوةُ نبيكم ، وموتُ الصالحين قبلكم وإنّ أبا عبيدة سأل الله أن يقسم له منه حظه فطُعِنَ فمات ، واستخلف على الناس معاذ بن جبل فقام خطيباً بعده . لقال : أيها الناس إنّ هذا الوجع رحمةُ ربكم ، ودعوةُ نبيكم ، وموتُ الصالحين قبلكم وإنّ معاذاً يسألُ الله أن يقسم لآل معاذ حظهم . فطعن ابنه عبد الرحمن فمات . ثم قام فدعا به لنفسه فطعن في راحته ، فلقد كان يقبِّلُهَا ثم يقول : ما أحبُّ أنّ لي بما فيك شيئاً من الدنيا . فلما مات استخلف على الناس عمرو بن العاص ، فخرج بالناس إلى الجبال ورَفَعَهُ اللهُ عنهم فلم يكره عمر ذلك من عَمرو .
وقد قيل : إنّ عمر بن الخطاب قدم الشام ، فلما كان بسرغ لقيه أمراء الأجناد . فيهم أبو عبيدة بن الجراح فأخبروه بالوباء وشدته ، وكان معه المهاجرون والأنصار خرج غازياً فجمع المهاجرين الأولين والأنصار فاستشارهم ، فاختلفوا عليه ، فمنهم القائل خرجتَ لوجه الله فلا يصدك عنه هذا ، ومنهم