علی‌اکبر رفوگران متولد اسفند ۱۳۰۹ چهارمین فرزند خانواده بود که پیش از وی دو تن از خواهرانش در سن شش‌ماهگی فوت نمودند. وی در کودکی بچه‌ای شلوغ بود که عموما به خاطر شیطنت‌هایش مورد تنبیه والدین و معلمان قرار می‌گرفت. برادر بزر‌گ‌تر از وی عباس و سه برادر کوچک‌ترش به‌ نام‌های حسین، حسن و جعفر نام داشتند. برادرش حسین تحصیل کرده دندانپزشکی از آلمان بود. بقیه برادران در بازار تهران، دالان امین‌الملک همراه پدر مشغول تجارت بودند. علی‌اکبر پس از اتمام مقطع ابتدایی در سال ۱۳۲۱ وارد بازار شد و در حجره پدرش به کار پرداخت. وی تا سال ۱۳۲۸ پیش از سربازی به مدت هشت سال تجربه فراوانی در حوزه کسب و کار به دست آورد. در این دوران گاهی که عمویش مشکل داشت مسوولیت حجره‌اش را به علی‌اکبر می‌سپرد. در عین حال به صورت شبانه دبیرستانش را ادامه داد همچنین با طی چند دوره کلاس آموزش و پشتکار خود سعی کرد مکالمه زبان انگلیسی را بیاموزد.

علی‌اکبر در هنگام سربازی متاثر از یکی از دوستانش به پخش نشریه و اعلامیه علیه حکومت و نظامیان عالی‌رتبه در سال‌های ۱۳۲۹ و ۱۳۳۰ می‌پرداخت. سال‌هایی که سیاست همه را مسحور خود نموده بود. قطب‌بندی سیاسی به شدت در جامعه رواج پیدا کرده بود و افراد خانواده رفوگران از هواداران جنبش ملی شدن نفت بودند. هنگامی که کودتای ۲۸ مرداد ۱۳۳۲ رخ داد، میرزاعلی رفوگران نگران بود. اندوه پدر را پسرش علی‌اکبر به زبان شعر این گونه توصیف نمود.

نشسته بر سر شاخ عندلیب غمگینی

نفس به سینه تنگش چو بار سنگینی

زبان به شکوه گشود و فغان و ناله بداد

که ای پدر چه کسی باب غصه تو گشاد

بگو که این همه اندوه جانگداز از چیست

اگر که رنج به تو داده ناکسی او کیست

پدر در برابر اندوه فرزند و اضطراب وی می‌گوید:

غمم ز دیو سیه دل بود که در راه است

زظلم بی‌حد او کار مرغکان آه است

چو پای او برسد در چنین گلستانی

به باد می‌رود آمال ما به آسانی

در پایان حس امید را برمی‌انگیزد که زمستان به پایان خواهد رسید.

سموم سرد خزان گر نسازدت نومید

به راه عمر بسی نوبهار خواهی دید

پس از آن تا سال ۱۳۵۷ اعضای خانواده رفوگران به صورت مستقیم فعالیت سیاسی خاصی نداشت، اما با برادرش عباس آسیم که با نیروهای مذهبی سیاسی همکاری داشت از جهت مالی برای نیازهای مختلف کمک می‌نمود.

علی اکبر رفوگران سال ۱۳۳۰ ازدواج نمود و در خانه پدرش با امکانات محدود تشکیل زندگی داد، در همین زمان پیش پدرش کار می‌کرد. پدرش یک محموله بزرگ مداد ژاپنی در سال ۱۳۳۲ خریده بود. آن زمان اجناس ژاپنی کیفیت خوبی نداشته و پرطرفدار نبودند. علی اکبر ۲۳ ساله فکر کرد چه کار کند این مدادها به فروش برسند تا هم پدر از دست آنها خلاص شود و هم خود بتواند پولی به دست بیاورد و جلوی پدر و همسرش خودی نشان دهد. این اندیشه به ذهنش رسید که می‌توان کاری کرد تا مدادها مورد توجه بچه‌های دانش‌آموز قرار گیرد.

غروب آن روز به کارگاه یک جوان ارمنی که قالب‌ساز بود رفت و از او خواست قالب کله عصا بسازد که وقتی روی مداد قرار می‌گیرد، مداد به شکل یک عصای کوچک دربیاید و قالب کوچکی هم بسازد که به وسیله آن ۲ مداد روی هم سوار شوند. صاحب کارگاه ایده را به خوبی اجرا کرد و مداد در واقع عصایی به طول مداد با منگوله‌ای در قسمت بالا خیلی زیبا و بچه پسند شد. به همسرش (که در آن زمان ۱۴ ساله بود) گفت آیا می‌توانی با کلاف‌های نخ ابریشم منگوله درست کنی و پاسخ وی مثبت بود. فردا صبح نزد پدرش رفت یک صندوق مداد با شرط پرداخت یک ماهه از پدرش خرید و آن را به منزل برد و به کمک همسرش آن مداد را به شکل نمونه درست کرد. وی مطمئن شد که با سود فروش آنها، می‌تواند سرمایه خوبی دست و پا کند و بر همین اساس به همسرش قول خرید خانه و طلا را داده بود. مدادها را پیش یک حراجی در بازار ناصر خسرو برد که چیزهای مختلف از جمله ساعت می‌فروخت. پس از نگاه به آن، حراجی توجهی به آن نکرد. احساس شکست می‌کرد. ناگهان اندیشه‌ای به ذهنش رسید گفت: سود فروش ساعتت چقدر است گفت بیست تومان، وی پیشنهاد نمود بیست تومان را به وی بپردازد تا به جای آن مدادها را روی میز حراجی بفروشد. پس از اینکه مدادها روی میز ریخته شد در طی نیم ساعت فروخته شدند. این موفقیت به گونه‌ای وی را به وجد آورد که تحقق تمام رویاهایش را ممکن دانست. در تمام زندگیش موفقیت بیش از سود وی را شاد می‌کرد جدی گرفتن کارها اساس کسب و کار و اصول زندگیش بود. پس از آن زیرزمین منزل را کارگاه مداد عصایی درست کرد و در طول چند روز، همه مدادها را فروخت و سرمایه لازم را برای کارهای بعدی به دست آورد.

پس از آن بسیاری از تجار نوشت‌افزار این گونه مدادها را به شرکت‌های سازنده مداد سفارش دادند. این موفقیت قدرت ریسک‌پذیری علی اکبر را بیشتر نمود بعد از آن تصمیم گرفت به واردات کالاهای نوشت‌افزار بپردازد. چون پدرش بنکداری می‌کرد و به تجارت خارجی رضایت نمی‌داد، از پدرش جدا شده و از سال ۱۳۳۲ کار مستقلش را شروع نمود. در بازار بین‌الحرمین پاساژ مهتاش، یک مغازه خرید و به مدت سه سال در آنجا کار کرد. چون نمی‌خواست مشتری‌های پدرش را به دست آورد تجربه‌های تازه و مختلفی را پیش گرفت در همین سال‌ها تحصیلش را به صورت شبانه ادامه داد.

وی از پدرش جدا شد، سرمایه‌ کمی داشت که برای کارهای بزرگ کفایت نمی‌کرد. برای حل مشکل سرمایه به سراغ بانک رفت وقتی می‌خواست از بانک اعتبار بگیرد به صورت غیرواقعی نوشت که صاحب خانه می‌باشد و شاهد آن را پدرش قرار داد. وقتی نماینده بانک به پدرش مراجعه کرد پاسخ وی به نماینده بانک غیرواقعی دانستن ادعای پسرش بود. همین مساله موجب خشم علی‌اکبر گردید میرزا علی به پسرش پاسخ داد انتظار نداشته باش که به خاطر دنیای تو آخرتم را خراب کنم. تو نیز پایه زندگی خود را بر دروغ نگذار که جلب رضای خدا از برای پیشرفت کار از جلب نظر بانک مهم‌تر است. سرانجام بدون قرض از بانک به کارش ادامه داد. در همین دوران کارت بازرگانی گرفت و با یک ماشین تحریر لاتین و برخی از وسایل دست دوم دفترش را گشود. به این صورت تجارت خانه علی اکبر رفوگران تاسیس شد. جنگ جهانی تازه تمام شده بود و کالاهای آلمانی نسبت به سایر کشورهای اروپایی ارزان‌تر بود.