پیش از ورود بیشتر به بحث باید تاکید کرد که یکی از چالش‌‌هایی که سال‌ها گریبانگیر نظام تصمیم‌گیری کشور ما بوده است، کم توجهی به تحلیل‌های کمی و به‌طور عام سیاست‌گذاری مبتنی بر شواهد بوده است؛ مساله‌ای که خوشبختانه در سال‌های اخیر و به‌ویژه با ورود گسترده دانشجویان رشته‌های فنی به حوزه‌های علوم اجتماعی تا حد زیادی تعدیل شده است. از این‌رو رویکرد این نوشتار نسبت به توسعه ابزارهای کمی در سیاست‌گذاری کشور به هیچ وجه منتقدانه نیست، اما هدف آن جلب توجه خوانندگان به این مساله است که اعتماد و اتکای بیش از حد بر تحلیل‌های کمی و مبتنی بر داده‌ها نیز اثرات بسیار نامطلوبی بر کیفیت حکمرانی و سیاست‌گذاری به دنبال خواهد داشت.مثال آغازین این نوشتار هر چند با اغراق توام است، اما حائز این نکته کلیدی است که داده‌ها هر چند به‌صورت دقیقی گردآوری شوند، اما چیدمان آنها می‌تواند به‌صورت‌های مختلف نتایج متفاوتی را به همراه داشته باشد که در ادامه این متن مثال‌های مختلفی از آن ارائه خواهد شد.

به‌عنوان نمونه ضریب جینی عموما به‌عنوان شاخص نابرابری درآمدی مورد استفاده قرار می‌گیرد که در صورت برابری مطلق درآمدی در جامعه برابر صفر و در صورتی که تمامی درآمد جامعه در اختیار یک فرد قرار گیرد برابر یک خواهد بود. در کنار ضریب جینی شاخص‌های دیگری مانند درصدی از کل درآمد که توسط دهک یا صدک بالای درآمدی کسب می‌شود، همچنین نسبت میانگین به میانه درآمدی نیز از شاخص‌های نابرابری درآمدی به شمار می‌روند (در هر دو مورد عدد بالاتر به معنای نابرابری بیشتر است) که استفاده از هر یک از آنها می‌تواند دلالت‌های متفاوتی به همراه داشته باشد، اما پژوهشگران و سیاست‌گذاران معمولا بسته به نیاز و حتی سلیقه خود، شاخص مورد نظر خود را مورد استناد قرار می‌دهند. حتی در مورد دلالت‌های ضریب شناخته شده جینی نیز عموما نکات بسیار مهمی مانند تفاوت بین درآمد و دستمزد، درآمد فردی و درآمد خانوار، درآمد پیش از مالیات یا پس از آن و به‌طور خاص ابعاد غیردرآمدی نابرابری کاملا مورد غفلت قرار می‌گیرد که توجه به هر یک از آنها دلالت‌های متفاوتی از این شاخص را به همراه دارد. بسیار مهم‌تر آنکه ضریب جینی صرفا به اختلاف درآمدی در یک نقطه زمانی اشاره دارد در حالی که عملا توزیع درآمدی افراد در طول عمر آنها حائز اهمیت بیشتری است. به‌طور مثال فرض کنید در یک کشور تمامی افراد در دوران جوانی و پیری خود درآمد یک واحدی دارند، در حالی که در کشور دیگری در دوره جوانی همگی درآمد یک واحدی و دوره پیری همگی درآمد ۲ واحدی دارند. احتمالا بسیاری از خوانندگان اذعان خواهند کرد که در اقتصاد دوم علاوه بر وضعیت بهتر اقتصادی، برابری درآمدی نیز در طول عمر افراد وجود دارد. با این حال ضریب جینی صرفا به دلیل وجود توزیع سنی مردم در اقتصاد دوم بسیار بدتر از اقتصاد اول است. البته همه این موارد بر این اساس که محاسبات بر اساس داده‌های درآمدی ناشی از پرسشنامه یا داده‌های بیمه‌ای یا مالیاتی احصا شده باشد متفاوت خواهد بود.

همچنین می‌توان به شاخص سطح رفاه جامعه اشاره کرد که در مورد آن عموما درآمد ملی سرانه مورد استناد قرار می‌گیرد. در حالی که اگر به شاخص سرانه مصرف افراد توجه شود مشاهده می‌کنیم که در برخی از ادوار که درآمد سرانه، بهبود زیادی را در رفاه جامعه نشان می‌دهد، شاخص دوم نشان دهنده تغییرات جدی نخواهد بود.از دیگر موارد مهم در این موضوع می‌توان به آمارهای بین‌المللی مختلفی اشاره کرد که به‌صورت مکرر توسط رسانه‌ها و مسوولان کشور مورد اشاره قرار می‌گیرد. توجه به آمارهایی که تحت عناوینی چون شاخص‌های رفاه، رضایت اجتماعی، اعتماد، فساد، شاد بودن و امثال آن توسط مراکز مختلف تهیه و منتشر می‌شود نشان می‌دهد برخی از این شاخص‌ها تا چه حد غیرقابل اعتماد و مورد مناقشه هستند. از آنجا که سنجش موضوعاتی از این دست عموما نیازمند سنجه‌های بسیار پیچیده‌ای است که محاسبه آنها در سطح یک شهر هم با دشواری‌های خاص همراه است و عملا اندازه‌گیری آنها در کشورهای مختلف امکان‌پذیر نیست، در بسیاری از موارد این شاخص‌ها با ترکیب متغیرهای کلان اقتصادی و اجتماعی تعریف می‌شوند و اساسا ارتباط معناداری با موضوع ادعایی آن شاخص نیز ندارند. در برخی موارد نیز صرفا بر اساس پرسشنامه‌های بسیار محدود که پاسخ‌های آنها نیز از مساله درونزایی رنج می‌برد، مورد محاسبه قرار می‌گیرند. به‌طور مثال بعضا برای محاسبه فساد اجتماعی صرفا به یک نظرسنجی با این سوال اکتفا می‌شود که از نظر مخاطب حل و فصل یک مشکل خاص اداری به چه احتمالی با مطالبه رشوه همراه خواهد شد؟ مطالعات رفتاری نشان داده است پاسخ یک فرد در این موارد تحت تاثیر عوامل مختلفی دچار سوگیری‌ خواهد بود. به‌طور مثال انتشار خبر یک اختلاس در روزهای منتهی به نظرسنجی در یک کشور می‌تواند تاثیر معناداری در نتایج نظرسنجی داشته باشد. ضمن آنکه عواملی چون دسترسی به رسانه‌ها و سطح سواد جامعه پاسخ‌ را به شدت تحت تاثیر قرار خواهد داد. و اینکه اساسا پاسخ به یک یا چند سوال خاص را تا چه میزان می‌توان برای اندازه‌گیری مفهوم گسترده فساد تعمیم داد. جالب این است که در این قبیل مطالعات بین‎المللی که با هدف رتبه‌بندی کشورها بر اساس شاخص‌های اینچنینی انجام می‌شود، بخش معناداری از تغییر رتبه کشورها در طول زمان ناشی از تغییر تعداد کشورهای مورد مطالعه است. به‌طور مثال یکی از شاخص‌های بین‌المللی فساد در سال‌های مختلف در بین ۱۲۰ تا ۱۸۰ کشور مورد سنجش قرار می‌گیرد و طبیعتا انتظار می‌رود در سال‌هایی که تعداد کشورها افزایش می‌یابد، عموم کشورها سقوط معناداری در رتبه خود شاهد باشند. جالب این است که غفلت از این نکته ساده در کشور باعث شده است که برخی از صاحبنظران به انواع و اقسام توجیهات برای توضیح علل رشد یا سقوط رتبه ایران در طول زمان بپردازند!

اما فراتر از اشکالات وارده به این دست از آمارها که بعضا به‌صورتی حبابی مورد توجه قرار می‌گیرند، نکته بسیار مهم دیگر محدود بودن نتایج هر مطالعه تجربی، به جامعه‌ نمونه‌ آن مطالعه است. به‌طور مثال مشاهده می‌شود که نتایج مطالعات تجربی انجام شده در مورد خانوارهای اروپایی به راحتی به‌عنوان یک گزاره علمی در مورد رفتار خانوارها در سایر کشورها نیز مورد استناد قرار می‌گیرد؛ در حالی که حداکثر می‌تواند در سایر کشورها به‌عنوان یک فرضیه مطرح شود. از این رو عبارت‌های ساده‌انگارانه‌ای همانند «در تمام دنیا اثبات شده است» یا «همه دنیا تجربه کرده است»، که متاسفانه نقل محافل بسیاری از صاحب‌نظران و سیاست‌گذاران کشور است عموما فاقد اعتبار و ناشی از یک استقرای ناقص هستند. ضمن آنکه نباید فراموش کرد هرچند این قبیل نتایج قابل اعتنا نیز باشد، یکی از وظایف پژوهشگر استفاده از شواهد و مطالعات کمی به منظور سنجش هزینه‌ها و منافع حاصل از هر تصمیم سیاستی است. در حالی که وظیفه سیاست‌گذار در نظر گرفتن این نتایج ملموس در کنار سایر خواسته‌های جامعه از جمله باورها، ارزش‌ها و فرهنگ ملی آنها است. از این رو برخی معتقدند اثر ارزش‌های غیرقابل اندازه‌گیری در فرآیند سیاست‌گذاری و تصمیم‌سازی، به هیچ وجه کمتر از شواهد قابل اندازه‌گیری نیست.به‌طور خلاصه این نوشتار ضمن تاکید بر اهمیت سیاست‌گذاری شواهد محور، به ویژه با استفاده از ابزارهای کمی که متاسفانه خلأ آن در کشور احساس می‌شده و می‌شود، در صدد توجه دادن تصمیم‌سازان به محدودیت‌های شواهد کمی و مطالعات تجربی و پرهیز از آفت شاخص‌زدگی در فضای سیاستی و تصمیم‌گیری کشور است.