او دومین فرزند خانواده‌ای روحانی، پرجمعیت، کم‌بضاعت و سنتی بود. مادرش، فاطمه و پدرش، رمضانعلی نام داشتند. از ویژگی‌های وی در دوران کودکی، زود سخن گفتن و زود راه‌رفتن را ذکر کرده‌اند. او دوران ابتدایی را در مدرسه علمیه (با مدیریت ناظم‌الاطبا) در سال‌۱۲۹۷ خورشیدی به پایان رساند. در چهارده سالگی در کلاس‌‌‌‌‌‌های ریاضی و ادبیات میرزا غلامحسین‌خان راهنما که بعدها وزیر فرهنگ شد و کلاس محمدعلی فروغی (ذکاءالملک) شرکت می‌کرد. با اینکه کم سن و سال ‌بود به علت هوش زیاد مورد تشویق استادهایش قرار می‌گرفت. زبان فرانسه را در دوره دبیرستان آموخت. گلستان سعدی را بارها خوانده بود و در جوانی از بسیاری هم نسلان خود در مدرسه بیشتر می‌دانست.

تلاش در هفده سالگی

عشق جوانی، زندگیش را به مسیر دیگری هدایت کرد؛ به‌طوری که در آن سال‌ نتوانست امتحانات دبیرستان را با موفقیت سپری کند. تفاوت دو خانواده از نظر سنتی و تجددگرایی به حدی بود که هر دو با مخالفت شدید خانواده روبه‌رو شدند. سرانجام رضایت مادرش را به‌دست آورد؛ اما پاسخ خانواده عروس، پس از چندبار خواستگاری همچنان منفی بود. سرانجام پافشاری اصرار و تهدید وی کارساز شد و در سال‌۱۳۰۱ محمود خلیلی ۱۸‌ساله با جمیله آق‌اولی (۱۷ ساله) با مهریه ۲۵۰‌تومان ازدواج کردند. اولین فرزند آنها منصوره در ۱۳ اسفند ۱۳۰۲ به دنیا آمد. خلیلی در شهریور ۱۳۰۴ مقطع متوسطه را به‌عنوان بهترین شاگرد در مدرسه علمیه به پایان رساند. در همین زمان برای تدریس فیزیک، شیمی و ریاضیات در شهر رشت و با حقوق ماهیانه ۵۵‌تومان به‌صورت قراردادی به استخدام وزارت معارف و اوقاف و صنایع مستظرفه درآمد. وی به‌همراه همسر و دخترش عازم رشت شد و یک سال‌تحصیلی را در آنجا گذراند و پس از پایان ماموریت به تهران بازگشت. در ۲۱ سالگی (سال ۱۳۰۵) به استخدام دو مدرسه دارالمعلمین و علمیه تهران در آمد. آن سال ‌با حقوق ماهیانه ۳۴‌تومان و هفت‌قران و در سال‌۱۳۰۶ با حقوق ماهیانه ۴۷‌تومان به‌کار خود ادامه داد. در سال‌۱۳۰۷ علاوه‌بر تدریس، متصدی آزمایشگاه دارالمعلمین نیز بود. به همت وی آزمایشگاه رونق گرفت و برای دانش‌آموزان جذاب‌تر و قابل استفاده‌تر ‌شد. وی به شاگردان علوم عملی و روش فنی را می‌آموخت؛ این آموزش‌ها در زمانه‌ای که مراکز فنی وجود نداشت بسیار حائزاهمیت بود. دکتر مجتهدی، رئیس دبیرستان البرز می‌گوید: خلیلی با آن بضاعت ناچیزش کم و کسری آزمایشگاه را جبران می‌کرد. وی در همین مدرسه با هزینه شخصی، ماشین ویمشورتسی ساخت و به‌مدرسه آورد و به فضای آموزشی رنگ و رونق بیشتری بخشید. به روایتی بر اثر اعمال نفوذ برخی از مسوولان وزارتخانه در ۱۵شهریور ۱۳۰۷ از کار برکنار شد تا با داشتن خانواده‌ای چهار‌نفره، بیکار و فاقد درآمد شود. همسر خلیلی، مشکل را با مادرش، حسنی‌صبا درمیان گذاشت. وی یکی از خانه‌هایش را بابت ارث به دخترش داد. خلیلی خانه همسرش را به مبلغ ۲۶۱‌تومان به وثیقه گذاشت و با پول آن دوباب مغازه بزرگ در خیابان چراغ گاز (امیرکبیر) اجاره کرد و در آنجا به کمک برادرش و دو کارگر دیگر اقدام به تعمیرات الکترومکانیک کرد. کار وی تعمیر برق و موتور ماشین‌آلات صنعتی کارخانه‌های ماشین‌های سنگین، سواری، شارژ باتری و... بود. در آن سال‌ها کارگر فنی و تکنیسین آزموده در ایران بسیار اندک بود. کارشناسانی که خلیلی در مغازه‌اش تربیت کرد، هریک به نوبه خود اقدام به تاسیس کارگاه‌های فنی در تهران و شهرستان‌ها کردند و سبب پیشرفت در امور صنعتی، فنی و کشاورزی شدند. در اولین سال ‌فعالیتش مجلس شورای‌ملی به وی پیشنهاد ساخت شمارنده الکتریکی را داد که پس از ساخت این دستگاه مورد تشویق واقع شد. مدتی بعد درخواست اتو بانک را با دستمزد ماهانه ۹۰‌تومان و روزی یک ساعت کار پذیرفت؛ اتو بانک محل توقف خودروهای سنگین بود که قبل از عزیمت به جاده‌های بین شهری در آنجا تحت‌آزمایش قرار می‌گرفتند تا بدون نقص، محل را ترک کنند. به این ترتیب اولین حرفه مستقلش را در تهران در شهریور سال‌۱۳۰۷ (۲۳ سالگی) شروع کرد. خلیلی تا زمان تاسیس تعمیرگاه  بنا بر‌سنت قدیمی  عبا بر‌تن می‌کرد و عمامه می‌‌‌‌‌‌گذاشت؛ در همین سال‌ با اجازه پدر این جامه را کنار گذاشت و و لباس رسمی پوشید. در پایان اولین ماه درآمد خالصش به ۹۰‌تومان (حدود دو‌برابر حقوق وزارت معارف) رسید.

این درآمد حاصل ۱۲ساعت و گاهی ۱۶ساعت کار روزانه بود. هرقدر تجربه و سابقه کاری وی بیشتر می‌‌‌‌‌‌شد، تعداد مشتریان و درآمد وی نیز بالاتر می‌رفت. به‌دنبال افزایش درآمد از سال‌۱۳۰۹ به‌جای دوچرخه، سوار بر موتورسیکلت شد و برای رفاه خانواده از باتری کامیون‌ها برای روشنایی خانه‌اش استفاده کرد؛ درحالی‌که بیش از ۹۰‌درصد منازل تهران فاقد روشنایی بودند. در سال‌۱۳۰۹ به درخواست سرهنگ آقاخان خلعتبری برای آرد‌کردن گندم ارتش آسیای‌برقی ساخت؛ اما در مقابل انجام این کار دستمزدی دریافت نکرد. در همان سال ‌مسوولیت رفع نقایص روشنایی در تمامی بخش‌های شهربانی (نظمیه) را به عهده گرفت و تاسیسات جدیدی برای روشنایی برق زندان قصر ایجاد کرد.

او ضمن نظارت بر تاسیسات چگونگی کارکرد موتور دیزل، نگهداری آن را هم به‌کارگران آموزش می‌داد. سومین فرزند وی در سال‌۱۳۰۸ و چهارمین فرزندش در سال‌۱۳۱۰ به دنیا آمد. او پس از جابه‌جا‌شدن در چهارخانه اجاره‌ای کوچک سرانجام در خیابان علایی منزلی خریداری کرد (سال ۱۳۱۲) و به این ترتیب خانواده ۶‌نفره وی به اولین خانه شخصی خودشان رفتند. خلیلی مدتی در کارخانه برق امین‌الضرب مشغول کار بود و با مهندسان آلمانی همکاری می‌کرد.

در سال‌۱۳۱۵ سرپرست امور روشنایی در ناحیه شمیران شد و در همین سال ‌با پیشنهاد شهرداری به‌عنوان کمک مهندس و متخصص برق در اداره برق مشغول به‌کار شد. در همین اثنا درخواست نصب تجهیزات الکتریکی در مهمانخانه آبعلی را  که موردعلاقه پهلوی اول بود قبول کرد و برای رفت و آمد اتومبیل خرید. در سال‌۱۳۱۸ تجهیزات روشنایی هتل پهلوی اول در چالوس را با استفاده از چند موتور دیزل ماک راه‌اندازی کرد و کفالت برق آنجا را در اختیار گرفت. همچنین در دی ماه ۱۳۱۸ عضویت در هیات‌موسسان شرکت یخ را پذیرفت.