پس از شکست شورش جنوب، رضاشاه، زاهدی را به فرماندهی کل نیروهای خوزستان و فرمانداری نظامی آن منطقه منصوب کرد. وی در دوران حکومت محمدرضاشاه پهلوی توانست به سرعت مراتب ترقی را طی کند. در شهریور ۱۳۲۰ سرتیپ زاهدی به فرماندهی ژاندارمری کل کشور و در سال ۱۳۲۱ به فرماندهی لشکر اصفهان منصوب شد. در شهریور ۱۳۲۲ وی برای مدتی به‌خاطر ارتباطات پنهانی که با آلمان‌ها داشت، به‌وسیله انگلیسی‌ها دستگیر شد و به زندانی در فلسطین فرستاده شد اما با پایان جنگ آزاد شد و به ایران بازگشت و بلافاصله صاحب پست‌های جدیدی شد و از جمله به فرماندهی قوای جنوب و سرپرستی استانداری فارس منصوب شد. پس از آن در زمان تصدی رزم‌آرا بر ارتش، زاهدی به ریاست شهربانی کل کشور رسید.

در این سمت وی در جریان برگزاری انتخابات مجلس از صحت انتخابات حمایت کرد و نقش او در جلوگیری از تقلبات انتخاباتی منجر به ورود نمایندگان جبهه ملی به مجلس شد. پس از ملی شدن صنعت نفت و نخست‌وزیری مصدق، زاهدی به‌عنوان وزیر کشور به کابینه او راه یافت اما در جریان کودتای ۲۸ مرداد به‌عنوان مهره داخلی اصلی نقش‌آفرینی کرد و سقوط مصدق را رقم زد. با این اقدام، وی به‌جای مصدق به نخست‌وزیری رسید البته این امر چندان دیرپا نبود و با گذشت حدود بیست ماه به خواست شاه و موافقت آمریکا در تاریخ ۱۶ فروردین ۱۳۳۴ از سمت خود استعفا داد و با یک ماموریت به‌عنوان ریاست نمایندگی دائم ایران در دفتر اروپایی سازمان ملل در ژنو به خارج از کشور فرستاده شد.