لما بلغ عمر بن الخطاب سرغ (حدود الشام)، حُدِّث أن بالشام وباء شديدا، فقال: بلغني أن شدة الوباء في الشام، إن أدركني أجلي وأبو عبيدة بن الجراح حي استخلفته فإن سألني الله لم استخلفته على أمة محمد صلى الله عليه وسلم؟ قلت: إني سمعت رسولك صلى الله عليه وسلم يقول: إن لكل نبي أمينا، وأميني أبو عبيدة بن الجراح (مسند أحمد، الرقم: ١٠٨)
وروي أن سيدنا عمر رضي الله عنه عيّن قبل موته ستة من الصحابة الكرام رضي الله عنهم وأمرهم باختيار الخليفة من بينهم، وقال حينئذ: ولو كان أبو عبيدة حيا لاستخلفته (على المسلمين) (تفسير ابن كثير ٨/٥٤)