چه موقع نتایج نظرسنجی نادرست است؟

شاید بتوان گفت خاستگاه اصلی شکل‌گیری ابزار و شیوه نظرسنجی در ایالات متحده امریکاست و مهم‌ترین موسسات نظرسنجی از جمله گالوپ نیز در آنجا تاسیس شده‌اند. نظرسنجی‌ها نیز دو گونه هستند. برخی از آنها قابل راستی‌آزمایی هستند و برخی دیگر خیر. نظرسنجی‌های انتخاباتی از مواردی هستند که قابلیت راستی‌آزمایی دارند. چرا که در نهایت نتیجه انتخابات معلوم می‌شود و میزان درستی و نادرستی نظرسنجی‌ها نیز روشن می‌شود. در سال جاری دو یا سه مجموعه نظرسنجی مهم انجام شد که همه نامعتبر تلقی شدند. نخستین مورد مربوط به نظرسنجی از مردم بریتانیا درباره برگزیت یا همان رای به ماندن یا رفتن از اتحادیه اروپا بود و نظرسنجی دوم (منظور مجموعه‌ای از نظرسنجی‌هاست) درباره انتخابات ریاست‌جمهوری امریکاست. در مورد اول، تا آخرین لحظات رای‌گیری نیز نظرسنجی‌ها پیش‌بینی می‌کردند که با فاصله حداقل ٢ درصد مردم به ماندن در اتحادیه اروپا رای خواهند داد ولی نتیجه عکس شد و تقریبا با فاصله اندکی مردم به خروج از اتحادیه اروپا رای دادند. البته در فاصله برگزیت و انتخابات امریکا مورد دیگری هم در کلمبیا بود که نظرسنجی‌ها از موافقت مردم کلمبیا با قرارداد صلح دولت این کشور با چریک‌های فارک خبر می‌دادند که نتیجه واقعی رفراندوم آن نیز با فاصله اندکی به نفع مخالفان صلح شد، ولی چون اطلاعی از کم و کیف یا اعتبار نظرسنجی‌های آن کشور ندارم، این مورد را نادیده گرفتم، هرچند منطقی که در ادامه به کار خواهم برد برای همه آنها یکسان است.
مجموعه نظرسنجی‌های مورد دوم تقریبا اتفاق نظر داشتند که هیلاری کلینتون پیروز انتخابات ریاست‌جمهوری امریکاست ولی چنین نشد. هرچند پیش‌بینی نتایج انتخابات امریکا به دلیل پیچیدگی‌هایی از جمله وجود کارت الکترال و این احتمال که فرد پیروز رای کمتری بیاورد، سخت است، ولی در هر حال کارایی نظرسنجی‌ها مورد سوال واقع شده است و در مقابل عده‌ای نیز به دفاع از آن پرداخته‌اند و توجیهاتی را در این ناکارایی طرح کرده‌اند، از جمله یکی از کارشناسان این موضوع نوشته است که: «نظرسنجی‌ها به‌طور میانگین پیش‌بینی می‌کردند خانم کلینتون رای مردم (popular vote) را با اختلافی حدود ۴ تا ۵ درصد ببرد. خانم کلینتون در حال حاضر (که ۹۷ درصد آرای شمارش شده) هنوز حدود ۱۴۰ هزار رای در کل کشور بیشتر از آقای ترامپ به دست آورده است. بنابراین اصل پیش‌بینی درست بوده اما دامنه آن کمتر از میزان پیش‌بینی شده است. اگر در نظر بگیریم که بیشتر این نظرسنجی‌‌ها دست‌کم ۳ درصد حاشیه خطای مفروض داشته‌اند، شاید بتوان گفت که تنها ۱ تا ۲ درصد در برآوردشان خطا رخ داده است. گذشته از خطای اندک در سطح ملی، در سطح ایالتی از میان ۵۰ ایالت و نیز واشنگتن دی‌سی، تنها پیش‌بینی در ۵ ایالت نادرست از کار درآمد: فلوریدا، کارولینای شمالی، میشیگان، ویسکانسن، و پنسیلوانیا. اما در سیستم الکترال کالج، این ایالت‌ها در مجموع ۹۰ رای از مجموع ۵۳۸ رای الکترال را در اختیار داشتند که همه به حساب آقای ترامپ واریز شد و کل معادلات را دگرگون کرد. بنابراین با آنکه نظرسنجی‌ها فقط در ۱۰ درصد از ایالت‌ها مرتکب خطای پیش‌بینی شدند، اما اثر این مقدار بر روی کل انتخابات (به دلیل سیستم الکترال کالج) دگرگون‌کننده بود. زیرا در واقع نبرد در این دوره نه برای کل ۵۳۸ رای که عملا برای همان ۹۰ (تا حداکثر ۱۴۷) رای بود. به علاوه اگر دامنه خطای همین نظرسنجی‌ها هم در نظر گرفته شود، دامنه اشتباه پیش‌بینی‌شان باز هم کمتر می‌شود.»
بنده در این یادداشت می‌کوشم که محل نزاع را روشن کنم و با توجه به نکته‌ای که پیش از انتخابات طی یادداشت «دو پرسش بی‌پاسخ درباره انتخابات امریکا» درباره نظرسنجی‌های اخیر امریکا گفتم آن موضوع را دقیق‌تر شرح دهم.
نتایج یک نظرسنجی در دو حالت ممکن است مطابق با واقعیت نباشد. اول اینکه نظرسنجی خطا و نادرست انجام شده باشد. این خطا در مرحله نمونه‌گیری یا پرسشگری یا طرح سوال می‌تواند رخ دهد. مهم‌ترین خطای معمول در نمونه‌گیری است به ویژه آنکه نظرسنجی‌ها را حتی‌المقدور با تعداد محدودی انجام می‌دهند و در نتیجه خطای نمونه‌گیری به سرعت خود را نشان خواهد داد. پژوهشگران برای اینکه مرتکب خطای نمونه‌گیری نشوند، از شیوه‌های گوناگونی استفاده می‌کنند. خطای بعدی، خطای تعمیم است. به عبارت دیگر ممکن است نتایج درست باشد، ولی دقت تعمیم نتایج چنان نباشد که اعداد حاصل از نظرسنجی نشان می‌دهند.

برای نمونه اگر نتایج نظرسنجی رای نفر «الف» را ٥٢ و نفر «ب» را ٤٨ درصد اعلام می‌کند، باید دقت تعمیم را هم گزارش کرد، چون این رقم از یک سو تقریبی است و از سوی دیگر احتمالی. مثلا باید گفت که به احتمال ٩٥ درصد با خطای فاصله یک درصد این نتایج درست است. یعنی ممکن است نتایج نهایی به احتمال ٩٥ درصد، با نتایجی میان حداکثر ٥٣ و ٤٧ و نیز حداقل میان ٥١ و ٤٩ رخ دهد. در هر دو صورت نفر پیروز شخص الف است ولی اگر خطای فاصله ٣ درصد باشد ممکن است نفر «الف» با ٥٥ به ٤٥ برنده یا با ٤٩ به ٥١ بازنده شود. پس در این صورت احتمال باخت یا برد برای هر دو نفر وجود دارد، هرچند نتایج خام حاصل از نمونه به نفع شخص الف است. خطای دوم در نظرسنجی‌ها به تحلیل نتایج برمی‌گردد. برخی گمان می‌کنند که نظرسنجی فقط به همان رقمی که در نهایت اعلام می‌شود ختم می‌شود. در حالی که چنین نیست. بلکه این پژوهشگران هستند که از این آمار و ارقام و برحسب شرایط خود استفاده و تحلیل می‌کنند. در اینجا به دو نوع خطای تحلیلی اشاره می‌کنم. نخستین مورد خطا در احتمال تغییر نظرات تا پای صندوق است. در سال ١٣٧٦ که نظرسنجی انتخابات دوم خرداد در موسسه آینده انجام شد، رقم واقعی رای آقای خاتمی در روز دوم خرداد پیش‌بینی نشده بود بلکه به‌طرز چشمگیری رقم کمتری برای آقای خاتمی برآورد شده بود. ولی از آنجا که این رقم حاصل نظر‌سنجی بود که چند روز پیش از انتخابات انجام شده بود، باید سیر صعودی آرای آقای خاتمی محاسبه و به صورت احتمالی بیان می‌شد و اگر چنین کاری صورت می‌گرفت، براساس همان نتیجه چند روز پیش و روزهای قبل آن می‌شد معلوم کرد که آرای وی به حدود ٧٠ درصد خواهد رسید. این خطا را نظرسنجی نشان نمی‌دهد، بلکه تحلیلگر است که باید به آن توجه کند. ظاهرا در انتخابات امریکا این نوع از خطا وجود داشته که مورد توجه قرار نگرفته است. نتایج نشان داده که نسبت کسانی که در هفته و روزهای آخر به تصمیم رسیده‌اند در میان رای‌دهندگان به ترامپ بیشتر است پس باید همین روند را تا پای صندوق ادامه می‌دادند و به ارقام جدیدی می‌رسیدند. خطای دوم مربوط به سیال بودن فضای سیاسی و دوقطبی و احساسی شدن است. نمونه‌گیری‌های مرسوم با پرسش‌هایی عادی برای شرایط معمولی هستند، لذا در فضای ملتهب و سیال و حتی نامرسوم سیاسی نه نمونه‌گیری‌ها می‌تواند معرف جامعه باشد و نه پرسش‌ها قادر به سنجش دقیق نظر است. به ویژه وقتی که نتایج نزدیک به هم باشند. برای نمونه گفته می‌شود که برخی پاسخگویان امریکایی در نظرسنجی‌ها از اینکه بگویند به ترامپ رای خواهند داد شرم داشته‌اند. چنین وضعی قطعا حالت عادی نیست و باید برای اصلاح پرسشنامه یا تحلیل نتایج فکری کرد. به نظر می‌رسد که هر سه موضوع برگزیت، مذاکرات صلح کلمبیا و انتخابات ریاست‌جمهوری امریکا با این وضعیت مواجه بودند. حتی اگر کار چندانی برای رفع این مشکل نتوان ‌کرد، ولی تحلیلگر را نسبت به تعمیم نتایج محتاط می‌کند. این همان نکته‌ای بود که در یادداشت خودم پیش از انتخابات امریکا متذکر شدم. گمان نمی‌کنم که نظرسنجی‌های امریکایی‌ها مخدوش بوده است. این نظرسنجی‌ها ابزاری برای سنجش نظر در شرایط عادی و مرسوم است، ولی نسبت به تحلیل نتایج و بیان یافته‌های آنها در شرایط سیاسی ملتهب و نزدیک بودن نتایج به یکدیگر باید کاملا محتاط بود و از این نظر مشکل اصلی متوجه نظر‌سنجی نیست بلکه مشکل به تحلیلگران برمی‌گردد. برای اثبات درستی یا نادرستی ایده این یادداشت می‌توان وضعیت سیاسی ایالت‌هایی که نتایج نظرسنجی با واقعیت تطبیق نداشته را با وضعیت سایر ایالت‌ها مقایسه کرد، هرچند این مقایسه کلی و غیردقیق خواهد بود. بنابراین تکرار می‌کنم که تحلیل نظرسنجی موضوعی به مراتب فنی‌تر و دقیق‌تر از اجرای آن است. افراد ناآشنا با موضوع، برداشت‌های نادرست از نظر‌سنجی‌های درست خواهند کرد. این تحلیل فقط به یک زاویه از نظر‌سنجی پرداخته است.