این یادداشت سهگانه از یک اصل ساده آغاز شد: اعتبار نظرسنجی را نباید از مطلوب یا نامطلوب بودن نتیجه سنجید. یادداشت نخست نشان داد پوشش، عدم پاسخ، اندازهگیری و زمان میتوانند نتیجه را تهدید کنند. یادداشت دوم توضیح داد پیمایش ترکیبی، تماس مجدد، کنترل کیفیت و تعدیل آماری ابزارهایی مشروطاند، نه درمانهایی قطعی. یادداشت سوم نیز نشان داد حفاظت از پاسخگو و پرسشگر، شفافیت، تفسیر محدود، گزارش مسئولانه و استفاده متناسب، ادامه همان زنجیره اعتبارند. داده معتبر میتواند با تیتر نادرست یا ادعای بیش از ظرفیت به اطلاعات گمراهکننده تبدیل شود؛ همانگونه که داده ناقص میتواند با ظاهر آماری دقیق، اعتبار کاذب پیدا کند.
گروه اندیشه: علی حاتمی و معصوم آقازاده (پژوهشگران افکارعمومی) بر پایه یک مجموعه سهگانه که بخش نخست آن از نظرتان گذشت، نویسندگان در بخش نخست مطلب خود به تشریح راهکارهای تفکیک پیمایشهای علمی از نظرسنجیهای غیرقابلتعمیم و ادعاهای آماری در شرایط بحرانی پرداختند. نویسندگان متکی بر تجارب عملی خود نشان دادند که در وضعیتی نظیر جنگ، ناامنی یا بحرانهای اقتصادی، نیاز به دادههای پیمایشی برای اتخاذ تصمیمات هوشمندانه بهشدت افزایش مییابد؛
این در حالی است که عواملی همچون اختلال در دسترسی، افزایش خودسانسوری، نوسانات سریع نگرش و عدم پاسخ انتخابی، اعتبار دادهها را به مخاطره میاندازد. علی حاتمی و معصوم آقازاده با تکیه بر چارچوب «خطای کل پیمایش»، نقد جامعی بر متکی دانستن اعتبار نظرسنجیها صرفاً به شاخصهایی نظیر حجم نمونه ارائه کرده و تهدیدات اصلی نظیر خطای پوشش، سوگیری عدم پاسخ، خطای اندازهگیری و ناپایداری زمانمندی را برشمردند.
در بخش دوم، نویسندگان یادآوری کردند که ارزیابی و سنجش افکار عمومی در موقعیتهای بحرانی با چالشهای روششناختی و معرفتشناختی متعدد روبروست؛ چراکه تهدیدهایی نظیر خروج بخشی از جامعه از چارچوب نمونهگیری، نابرابری در احتمال پاسخگویی، خودسانسوری و سیال بودن نگرشها، اعتبار برآوردهای آماری را مخدوش میسازد.
آنان در این مقاله با تاکید بر اینکه اصلاحات آماری باید ادامهای بر طراحی درست میدان باشد و نه جایگزینی برای آن، به بررسی ناکارآمدی تکروشها پرداخته و راهکارهایی چون پیمایشهای ترکیبی (حضوری، تلفنی و آنلاین)، پروتکلهای تماس مجدد، آموزش مصاحبهگران و روشهای پیشرفته وزندهی را پیشنهاد میکنند. آنان تاکید می کنند که با این حال، استفاده از این ابزارها نیز نیازمند تفکیک دقیق شیوه نمونهگیری (احتمالمحور و غیراحتمالمحور) از شیوه گردآوری دادههاست؛
زیرا هر ابزاری میتواند سازوکارهایی مانند «اثر شیوه اجرا»، «اثر انتخاب پاسخگو» و «اثر موسسه» را وارد فرایند کند.
در بخش سوم نویسندگان این مقاله علی حاتمی و معصوم آقازاده، به سنجش ابعاد اخلاقی، روششناختی و معرفتشناختی نظرسنجیها پس از مرحله گردآوری دادهها در شرایط بحران میپردازد. آنان با تأکید بر اینکه اعتبار پیمایش با پایان کار میدانی تمام نمیشود، نشان میدهند که چگونه دادههای معتبر ممکن است در مراحل تفسیر، گزارش رسانهای و تصمیمگیری سیاسی دچار کجکارکردی و سوءتعبیر شوند. در این راستا، اصل «آسیب نرساندن» بر تکمیل پرسشنامه ارجحیت دارد و حریم خصوصی، حداقلسازی دادهها و ایمنی پرسشگران باید تضمین شود.
حاتمی و آقازاده در ادامه تاکید می کنند که از منظر روششناسی علمی، شفافیت در ارائه متن دقیق سؤالات، تفکیک پاسخهای «نمیدانم» از «عدم تمایل به پاسخ» و پرهیز از تعمیمهای شتابزده نگرشهای لحظهای به رویکردهای تثبیتشده جامعه، شروط لازم برای حفظ اعتبار دادهها هستند. همچنین با نقد «دقت کاذب» ناشی از ارائه اعشار غیرضروری و تأکید بر ضرورت محاسبه حجم نمونه مؤثر در خردهگروهها، بر تمایز میان توصیف، تبیین و ادعاهای علّی صحه گذارده میشود.
در نهایت، رسانهها و سیاستگذاران موظفند با تفکیک داده از تفسیر، سنجش افکار عمومی را نه فرمان مطلق تصمیمگیری، بلکه صرفاً یکی از ابزارهای چندگانه شناخت دانسته و ارزیابی مسئولانهای از عدمقطعیتهای آماری ارائه دهند. همانگونه که در بخش نخست و دوم این مقاله تاکید شد مخاطبان این مطلب، همه روابط عمومی ها، دانشجویان رشته های علوم انسانی، مراکز دولتی، و شرکت های خصوصی، و پژوهشکده هایی که اقدام به نظرسنجی می کنند هستند. این مقاله از نظرتان می گذرد:
مقدمه: مسئولیت پس از تولید داده
در یادداشت نخست این مجموعه، عوامل تهدیدکننده اعتبار نظرسنجیها در شرایط بحران بررسی شد و یادداشت دوم به راهکارهای حفظ کیفیت داده، از پیمایش ترکیبی و مدیریت عدم پاسخ تا وزندهی و تحلیل حساسیت، اختصاص یافت. این یادداشت به مرحلهای میپردازد که گاه کمتر از طراحی و اجرا مورد توجه قرار میگیرد: پس از تولید داده چه مسئولیتهایی آغاز میشوند؟
حتی یک نظرسنجی با طراحی نسبتاً قابل دفاع ممکن است در مرحله تفسیر، انتشار یا استفاده سیاستی معنایی پیدا کند که دادهها از آن پشتیبانی نمیکنند. یک درصد منفرد میتواند به «صدای جامعه» تعبیر شود؛ تفاوتی کوچک بهعنوان تغییر بزرگ معرفی شود؛ همبستگی به رابطه علّی تبدیل شود یا نتیجهای موقت، نگرشی تثبیتشده قلمداد گردد. در شرایط بحران، این خطاها فقط مسئلهای علمی نیستند؛ ممکن است بر اعتماد عمومی، تصمیمهای سیاسی، امنیت گروهها و تصویر رسانهای جامعه اثر بگذارند.
ازاینرو، اخلاق، تفسیر و کاربست سه مرحله جدا از روششناسی نیستند. تصمیم درباره اینکه چه پرسشی مطرح شود، چه دادهای نگهداری شود، کدام خردهگروه منتشر شود و نتیجه با چه زبانی گزارش گردد، همزمان تصمیمی علمی و اخلاقی است. پیام اصلی این یادداشت آن است که اعتبار نظرسنجی با پایان میدان تمام نمیشود؛ بلکه تا آخرین مرحله انتشار و استفاده از نتیجه ادامه دارد.
اصل نخست: آسیب نرساندن بر تکمیل پرسشنامه تقدم دارد
در شرایط جنگ، ناامنی یا تنش سیاسی، مشارکت در یک نظرسنجی ممکن است برای پاسخگو هزینهای واقعی یا ادراکشده داشته باشد. تماس مکرر، پرسیدن درباره تجربه خشونت، درخواست اطلاعات مکانی یا ثبت دیدگاه سیاسی میتواند نگرانی، فشار روانی یا خطر افشا ایجاد کند. اصل «آسیب نرساندن» ایجاب میکند ارزش علمی هر سؤال با خطر احتمالی آن سنجیده شود.
اگر اطلاعاتی برای پاسخ به پرسش اصلی پژوهش ضروری نیست، نباید صرفاً به دلیل امکان گردآوری جمعآوری شود. تعداد پرسشهای حساس باید محدود باشد، ترتیب آنها با احتیاط طراحی شود و پاسخگو بتواند بدون توضیح از پاسخدادن به هر سؤال یا ادامه مصاحبه خودداری کند. تکمیل همه موارد پرسشنامه هدف مطلق نیست.
استانداردهای حرفهای حمایت و حفاظت در محیطهای پرخطر بر این نکته تأکید دارند که گردآوری اطلاعات شخصی باید هدف مشخص، ضرورت واقعی و سازوکار کاهش پیامدهای منفی داشته باشد. در پژوهش افکار عمومی نیز باید پیش از میدان، سناریوهای آسیب احتمالی شناسایی و قواعد تعلیق یا توقف اجرا تعریف شوند.
رضایت آگاهانه باید با سطح خطر متناسب باشد
رضایت آگاهانه فقط خواندن یک متن ثابت در ابتدای مصاحبه نیست. پاسخگو باید بداند چه نهادی مطالعه را انجام میدهد، هدف کلی چیست، چه نوع اطلاعاتی گردآوری میشود، مشارکت داوطلبانه است، میتواند به برخی پرسشها پاسخ ندهد و انصراف او هیچ پیامدی برای دریافت خدمات، کمک یا رابطه با نهادها ندارد.
در محیطهای حساس، گرفتن امضای کتبی همیشه ایمنترین یا اخلاقیترین گزینه نیست؛ زیرا خودِ سند امضاشده ممکن است هویت مشارکتکننده را آشکار کند. رضایت شفاهی یا ثبت یک تأیید حداقلی میتواند مناسبتر باشد، مشروط بر آنکه داوطلبانه، مشخص و آگاهانه باشد. شکل رضایت باید با خطر، سواد، زبان، فرهنگ و شیوه تماس متناسب شود.
رضایت نیز فرایندی مستمر است. اگر در میانه مصاحبه موضوعی حساستر مطرح میشود یا قرار است داده برای هدف دیگری استفاده شود، اطلاع اولیه ممکن است کافی نباشد. پاسخگو باید بداند چه کسی به داده دسترسی خواهد داشت و تا چه زمانی امکان درخواست حذف یا توقف استفاده از اطلاعات او وجود دارد.
حداقلسازی داده و حفاظت از محرمانگی
در بحران، خطر اصلی فقط افشای نام نیست. ترکیب چند متغیر مانند سن، محل کوچک جغرافیایی، شغل، تجربه جابهجایی و موضع سیاسی میتواند فرد را حتی بدون نام قابل شناسایی کند. بنابراین، ناشناسسازی باید بر اساس احتمال بازشناسایی واقعی ارزیابی شود، نه صرف حذف نام و شماره تلفن.
اصل حداقلسازی داده اقتضا میکند فقط اطلاعات لازم گردآوری شود. مشخصات تماس باید از پاسخها جدا نگهداری شود، شناسههای ارتباطی پس از پایان نیاز عملی حذف شوند و دسترسی کارکنان بر اساس نقش محدود گردد. رمزگذاری در انتقال و ذخیرهسازی، ثبت دسترسی، نسخه پشتیبان امن و برنامه مشخص برای نگهداری یا نابودی داده ضروریاند.
انتشار داده خام یا جداول بسیار ریز میتواند خطر بازشناسایی را افزایش دهد. در چنین مواردی باید طبقات ترکیب شوند، سلولهای کوچک حذف یا نتایج در سطح تجمیعی منتشر شوند. اصول حرفهای ICRC درباره مدیریت اطلاعات حساس نیز بر رضایت، محدودیت هدف، احتیاط در اشتراکگذاری و توجه به پیامدهای منفی استفاده از داده تأکید میکند.
اخلاق و امنیت پرسشگران
پرسشگران نیز در شرایط بحران ممکن است در معرض خطر فیزیکی، فشار روانی، تهدید یا فرسودگی قرار گیرند. کیفیت داده هنگامی که پرسشگر خسته، نگران یا تحت فشار برای تکمیل سهمیه است کاهش مییابد. بنابراین، حفاظت از پرسشگر هم تعهد اخلاقی است و هم بخشی از کنترل کیفیت.
پیش از میدان باید مسیر تماس اضطراری، حدود جغرافیایی مجاز، ساعات امن اجرا، نشانههای توقف مصاحبه و اختیار خروج بدون نیاز به کسب اجازه فوری تعیین شود. در مصاحبههای مربوط به خشونت یا آسیب، آموزش واکنش حرفهای، جلوگیری از وعده کمک خارج از اختیار پژوهشگر و دسترسی به حمایت روانی اهمیت دارد.
در تماس تلفنی یا آنلاین نیز خطر صفر نیست. پاسخگو ممکن است تهدید کند، محتوای آزاردهنده بیان کند یا از پرسشگر اطلاعات شخصی بخواهد. استفاده از شماره و حساب سازمانی، جداسازی هویت شخصی کارکنان و پروتکل برخورد با آزار باید بخشی از طراحی باشد.
شفافیت ضروری است، اما شفافیت بیقید نیست
شفافیت امکان ارزیابی مستقل را فراهم میکند. استانداردهای افشای AAPOR و اصول حرفهای WAPOR بر معرفی سفارشدهنده، مجری، جامعه هدف، روش نمونهگیری، شیوه گردآوری، دوره میدان، متن پرسشها، وزندهی و محدودیتها تأکید دارند. بدون این اطلاعات، خواننده نمیتواند تشخیص دهد درصد منتشرشده چگونه تولید شده است.
بااینحال، شفافیت به معنای انتشار هر جزئیات عملیاتی نیست. اطلاعاتی که هویت پاسخگویان، محل گروههای آسیبپذیر، مسیرهای تماس یا امنیت تیم را تهدید میکند باید محفوظ بماند. میتوان منطق طراحی و محدودیتها را توضیح داد بدون آنکه فهرست شمارهها، مکان دقیق افراد یا جزئیات امنیتی منتشر شود.
اصل مناسب، «شفافیت روششناختی همراه با محرمانگی عملیاتی» است. گزارش باید آنقدر کامل باشد که اعتبار مطالعه ارزیابی شود و درعینحال، اطلاعاتی را که احتمال آسیب ایجاد میکنند افشا نکند.
متن کامل و ترتیب پرسشها بخشی از یافتهاند
در گزارش نظرسنجی، انتشار یک عنوان کوتاه از سؤال کافی نیست. متن دقیق پرسش، گزینههای پاسخ، ترتیب گزینهها، دستورهای پرسشگر و پرسشهای قبلیای که ممکن است بر پاسخ اثر گذاشته باشند باید در دسترس باشند. تغییر کوچک در واژگان، ذکر یا حذف یک مقدمه و جابهجایی ترتیب پرسشها میتواند نتیجه را تغییر دهد.
برای مثال، پرسشی که پس از چند سؤال درباره تهدیدهای امنیتی مطرح میشود ممکن است پاسخی متفاوت از همان پرسش در ابتدای پرسشنامه ایجاد کند. همچنین گزینههای «موافق»، «تاحدی موافق»، «مخالف» و «نمیدانم» با یک مقیاس پنجدرجهای یا پرسش باز معادل نیستند.
در حالت مطلوب، پرسشنامه کامل و جداول پایه منتشر میشوند. حداقل الزام آن است که متن دقیق سؤال گزارششده، گزینههای پاسخ و زمینه پرسشهای قبلی مرتبط روشن باشد. این اصل هم در دوره آموزشی پیو و هم در استانداردهای افشای حرفهای برجسته شده است.
«نمیدانم» با «نمیخواهم پاسخ دهم» یکسان نیست
پاسخهای «نمیدانم»، «اطلاع کافی ندارم»، «نظری ندارم» و «ترجیح میدهم پاسخ ندهم» نباید بهطور خودکار در یک گروه ادغام یا از تحلیل حذف شوند. «نمیدانم» ممکن است فقدان آگاهی یا شکلنگرفتن نگرش را نشان دهد؛ درحالیکه امتناع از پاسخ میتواند ناشی از حساسیت، بیاعتمادی یا نگرانی از پیامدها باشد.
نحوه برخورد پرسشگر با این پاسخها نیز مهم است. اصرار برای انتخاب یکی از گزینههای اصلی ممکن است درصد «نمیدانم» را کاهش دهد، اما پاسخهایی کماعتبار تولید کند. در مقابل، پذیرش فوری آن ممکن است افراد مردد را از بیان گرایش واقعی بازدارد. قواعد پیگیری باید از پیش تعریف و در همه مصاحبهها یکسان اجرا شوند.
در شرایط بحران، افزایش امتناع از پاسخ به یک سؤال خاص خود میتواند نشانهای روششناختی باشد. این افزایش را نباید بدون بررسی، صرفاً به عنوان داده مفقود حذف کرد.
هیچ سؤال منفردی تصویر کامل افکار عمومی نیست
مفاهیمی مانند امید اجتماعی، اعتماد سیاسی، احساس امنیت، همبستگی یا مشروعیت چندبعدیاند. تقلیل آنها به یک پرسش منفرد ممکن است برای ارائه یک شاخص سریع مفید باشد، اما نباید با اندازهگیری کامل سازه اشتباه گرفته شود.
برای فهم یک نگرش پیچیده باید دستکم به چند بعد توجه کرد: موضوع تا چه اندازه برای فرد مهم است؛ پاسخگو چه میزان اطلاعات دارد؛ شدت موضع او چقدر است؛ نگرش تا چه اندازه پایدار است؛ تجربه گروههای مختلف چه تفاوتی دارد و آیا شواهد مستقل، نتیجه پیمایش را تأیید یا تعدیل میکنند. پیو نیز در راهنمای مبانی نظرسنجی تأکید میکند که یک سؤال واحد نمای کاملی از افکار عمومی درباره مسئلهای پیچیده ارائه نمیدهد.
اگر سازهای با چند گویه سنجیده میشود، منطق انتخاب گویهها، روایی و پایایی مقیاس باید توضیح داده شود. اگر فقط یک سؤال استفاده شده است، عنوان نتیجه باید محدود باشد؛ برای مثال «پاسخ به یک پرسش درباره امید به آینده» با «سطح امید اجتماعی جامعه» یکسان نیست.
نگرش لحظهای را به نگرش تثبیتشده تبدیل نکنیم
در بحران، زمان اجرا بخشی از تعریف یافته است. نتیجهای که یک روز پس از حمله، اعلام آتشبس یا تصمیم اقتصادی گردآوری شده ممکن است واکنش فوری را ثبت کند. این داده میتواند مهم باشد، اما بدون موجهای بعدی نمیتوان دانست که نگرش باقی مانده یا فروکش کرده است.
در گزارش باید میان واکنش فوری، گرایش کوتاهمدت و نگرش نسبتاً تثبیتشده تمایز گذاشت. عبارتهایی مانند «مردم معتقدند» یا «جامعه خواهان است» از حیث زمانی بیش از حد قطعیاند در حالیکه داده فقط یک مقطع کوتاه و پرتنش را پوشش میدهد.
مقاطع تکرارشونده برای سنجش تغییر جمعی مناسباند، اما افراد هر موج متفاوتاند. پنلها تغییر فردی را نشان میدهند، ولی با ریزش، شرطیشدن اعضا و دشواری حفاظت از اطلاعات تماس روبهرو هستند. نوع طراحی باید با نوع ادعای زمانی هماهنگ باشد.
حدود خردهگروهها و دامنه استنباط
نمونهای که برای برآورد ملی طراحی شده، الزاماً برای تحلیل همه استانها، گروههای سنی، طبقات اقتصادی و گرایشهای سیاسی مناسب نیست. پس از تقسیم نمونه، تعداد خام برخی گروهها ممکن است بسیار کم باشد و وزنهای نابرابر نیز حجم نمونه مؤثر را باز هم کاهش دهند.
در کنار درصد هر خردهگروه (sub- group) باید تعداد پاسخگویان و در صورت امکان حجم نمونه مؤثر آن اعلام شود. اگر تعداد برای برآورد مستقل کافی نیست، بهتر است درصد منتشر نشود یا با عبارتی صریح مانند «نمونه برای برآورد قابل اتکا کافی نیست» جایگزین گردد.
حاشیه خطای اعلامشده برای کل نمونه به خردهگروهها قابل تعمیم نیست. در نمونههای غیراحتمالی نیز حاشیه خطای کلاسیک نمونهگیری معنی مستقیم ندارد و هر سنجه عدمقطعیت باید با مدل و فرضهای آن گزارش شود.
نمایش اعدادی مانند ۴۷٫۳ یا ۳۲٫۷ درصد در گزارش عمومی میتواند تصویری غیرواقعی از دقت ایجاد کند، بهویژه هنگامی که خطاهای نمونهگیری و غیرنمونهگیری چند واحد درصد یا بیشترند. استاندارد رسانهای نیویورکتایمز در سال ۲۰۱۱ نیز توصیه میکرد درصدها و حاشیه خطا معمولاً به عدد صحیح گرد شوند تا دقت ناممکن القا نشود.
اگر چه امروز سند نیویورک تایمز قدیمی است و برخی مواضع فنی آن درباره روشهای آنلاین با وضعیت امروز سازگار نیست، اما اصل پرهیز از اعشار غیرضروری همچنان معتبر است. در جدولهای تخصصی ممکن است رقم اعشار برای محاسبه یا مقایسه لازم باشد، ولی در تیتر، اینفوگرافیک و گزارش عمومی باید تعداد ارقام با توان واقعی داده متناسب باشد.
دقت آماری با تعداد رقمها ساخته نمیشود. گزارش علمی باید عدمقطعیت را آشکار کند، نه اینکه آن را پشت نمایش اعداد بسیار دقیق پنهان سازد.
مقایسه دو درصد سادهتر از آنچه به نظر میرسد نیست
برای مقایسه دو درصد نمیتوان حاشیه خطای هر یک را بهطور مکانیکی جمع یا میانگینگیری کرد. عدمقطعیت تفاوت به این بستگی دارد که دو برآورد از یک نمونه، دو نمونه مستقل، دو موج تکرارشونده یا یک پنل به دست آمدهاند. طراحی خوشهای، وزنها و همبستگی میان پاسخها نیز بر خطای تفاوت اثر میگذارند.
وجود تفاوت عددی به معنای وجود تغییر واقعی نیست و قرارگرفتن دو عدد در محدودههای جداگانه نیز همیشه آزمون کامل تفاوت نیست. بهتر است پژوهشگر خطای استاندارد تفاوت، فاصله اطمینان یا آزمون مناسب را گزارش کند و رسانه از عبارتهایی مانند «افزایش قطعی» فقط زمانی استفاده کند که طراحی و تحلیل آن را پشتیبانی کنند.
همچنین معناداری آماری با اهمیت اجتماعی یکسان نیست. تفاوتی کوچک ممکن است در نمونه بسیار بزرگ از نظر آماری معنادار باشد، اما از نظر سیاستی ناچیز باشد؛ و تفاوتی مهم در نمونه کوچک ممکن است با عدمقطعیت زیادی همراه باشد.
هنگام مقایسه نظرسنجیها، ابتدا قابلیت مقایسه را بسنجیم
پیش از کنار هم گذاشتن دو نتیجه باید پرسید آیا جامعه هدف، تعریف متغیر، متن سؤال، گزینهها، شیوه گردآوری و زمان میدان قابل مقایسهاند. تفاوت میان «همه بزرگسالان»، «شهروندان»، «ساکنان فعلی» یا «کاربران اینترنت» میتواند بهتنهایی نتیجه را تغییر دهد.
حتی سؤالهایی که ظاهراً مشابهاند ممکن است یک مفهوم را نسنجند. تغییر «اعتماد دارید؟» به «چقدر اعتماد دارید؟»، افزودن نام یک نهاد یا تغییر ترتیب گزینهها میتواند روند مصنوعی ایجاد کند. اثر مؤسسه نیز باید در نظر گرفته شود؛ دو مرکز ممکن است به دلیل رویههای متفاوت، سطحهای پایه متفاوتی تولید کنند.
مقایسه روند، زمانی معتبرتر است که پرسش، جامعه، شیوه و فرایند وزندهی تا حد امکان ثابت بماند یا تغییرها مستند و اثر آنها بررسی شود.
یک نظرسنجی منفرد نباید بار یک روایت بزرگ را حمل کند
نتیجه خبرساز یا غیرمنتظره باید با روندهای پیشین، پرسشهای مشابه، پیمایشهای مراکز دیگر و دادههای مستقل مقایسه شود. هم پیو و هم استانداردهای رسانهای نیویورکتایمز بر پرهیز از ساختن روایت گسترده بر پایه یک یافته منفرد تأکید کردهاند.
بااینحال، تعدد نظرسنجیها بهخودیخود اعتبار ایجاد نمیکند. اگر چند مطالعه از یک چارچوب ناقص، سؤال جهتدار یا مدل وزندهی مشابه استفاده کنند، ممکن است خطای مشترک را تکرار کنند. آنچه اهمیت دارد تنوع و کیفیت شواهد است، نه فقط تعداد درصدهای همسو.
در موضوعات پیچیده، ترکیب پیمایش با دادههای ثبتی، تحلیل رفتار، مطالعه کیفی و مصاحبههای عمیق میتواند تصویر کاملتری فراهم کند. این منابع جای یکدیگر را نمیگیرند؛ هرکدام بخشی از واقعیت را نشان میدهند.
توصیف، تبیین و ادعای علّی را جدا کنیم
پیمایش مقطعی میتواند توزیع نگرشها و ارتباط میان متغیرها را توصیف کند، اما معمولاً برای اثبات رابطه علّی کافی نیست. مشاهده همزمان فشار اقتصادی و کاهش اعتماد نشان نمیدهد که اولی الزاماً علت دومی است؛ متغیرهای دیگری ممکن است هر دو را توضیح دهند یا جهت رابطه معکوس باشد.
زبان گزارش باید با طراحی هماهنگ باشد. «افراد ناراضیتر اعتماد کمتری گزارش کردهاند» یک گزاره توصیفی است؛ «نارضایتی موجب کاهش اعتماد شده است» ادعایی علّی است که به طراحی آزمایشی، شبهآزمایشی یا شواهد طولی قویتری نیاز دارد.
وزندهی نیز نمونه را به آزمایش تبدیل نمیکند. تطبیق جمعیتشناختی میتواند برخی عدمتوازنها را کاهش دهد، اما عوامل مشاهدهنشده و انتخابی را که با متغیرهای وزندهی پوشش داده نشدهاند حذف نمیکند.
مسئولیت رسانه در گزارش نتایج
رسانه فقط منتقلکننده درصد نیست؛ با انتخاب تیتر، نمودار، مقایسه و واژگان، معنای نتیجه را میسازد. گزارش مسئولانه باید نام سفارشدهنده و مجری، جامعه هدف، حجم نمونه، تاریخ میدان، شیوه گردآوری، متن دقیق سؤال و محدودیت اصلی را در دسترس مخاطب قرار دهد.
تیتر نباید دامنه یافته را بزرگتر کند. نتیجه یک نمونه آنلاین داوطلبانه از مخاطبان یک رسانه را نباید «نظر مردم» نامید. پاسخ به یک سؤال در یک روز بحرانی نیز نباید بدون قید به گرایش پایدار جامعه تبدیل شود. درصدهای خردهگروه کوچک یا اختلافهای درون عدمقطعیت نباید بهعنوان شکاف قطعی برجسته شوند.
رسانه باید میان «داده»، «تحلیل پژوهشگر» و «تفسیر خبرنگار یا سیاستمدار» مرز بگذارد. نقل یک نتیجه همراه با تفسیر ارزشی، آن تفسیر را به یافته علمی تبدیل نمیکند.
نظرسنجی ضعیف اما خبرساز را چگونه پوشش دهیم؟
گاهی یک نظرسنجی از نظر روششناختی ضعیف است، اما انتشار آن بر فضای سیاسی یا رسانهای اثر گذاشته و نمیتوان آن را نادیده گرفت. در این وضعیت، موضوع خبر میتواند «اثر انتشار نظرسنجی» باشد، نه اعتبار درصدهای آن.
استانداردهای نیویورکتایمز پیشنهاد میکنند اگر پیمایش نامعتبر به بخشی از رویداد سیاسی تبدیل شده است، نقصهای آن صریح توضیح داده شود و از بازنشر درصدهای دقیق بهگونهای که اعتبار ایجاد کند پرهیز شود. این توصیه برای فضای امروز نیز کاربرد دارد، هرچند خود سند مربوط به سال ۲۰۱۱ است.
بنابراین، رسانه میتواند گزارش کند که یک ادعا واکنش ایجاد کرده است، اما باید روشن کند نمونه چگونه تشکیل شده، چرا تعمیم آن محل تردید است و عدد اعلامشده نباید اندازه معتبر افکار عمومی تلقی شود.
از داده تا سیاست: نظرسنجی فرمان تصمیم نیست
سیاستگذاری مبتنی بر شواهد به معنای اطاعت از یک درصد نیست. نظرسنجی یکی از منابع شناخت است و باید در کنار دادههای ثبتی، شواهد اقتصادی و اجتماعی، نظر متخصصان، مطالعات کیفی و ملاحظات حقوقی و اخلاقی قرار گیرد.
افکار عمومی ممکن است درباره مسئلهای اطلاعات محدود داشته باشد، نگرشها ناپایدار باشند یا گروههای آسیبپذیر در نمونه کمنمایی شده باشند. از سوی دیگر، نادیدهگرفتن منظم دادههای معتبر و جایگزینکردن آنها با برداشت شخصی نیز تصمیمگیری را ضعیف میکند. مسئله، استفاده متناسب با ظرفیت داده است.
در بحران، هزینه تصمیم بر پایه داده ناقص یا تفسیر افراطی معمولاً بیش از شرایط عادی است؛ ازاینرو، افزایش نیاز به اطلاعات باید با احتیاط بیشتر در تولید، تحلیل و استفاده از آن همراه باشد. عدمقطعیت باید بخشی از تصمیم باشد، نه حاشیهای که حذف شود.
سه سطح برای ارزیابی قابلیت استفاده از نتایج
برای استفاده عملی میتوان نظرسنجیهای منتشرشده را در سه سطح کلی قرار داد. این طبقهبندی جای ارزیابی تخصصی را نمیگیرد، اما به خواننده و رسانه کمک میکند دامنه استنباط را تنظیم کنند.
«نسبتاً قابل اتکا»، مطالعهای است که جامعه هدف، نمونه، زمان میدان، پرسشنامه، شیوه گردآوری، وزندهی و محدودیتهای آن روشناند و شواهدی درباره کیفیت و عدم پاسخ ارائه شده است. این برچسب به معنای بیخطا بودن نیست؛ یعنی مطالعه برای ادعای مشخص خود پشتوانه قابل ارزیابی دارد.
«قابل استفاده با احتیاط»، مطالعهای است که بخشی از اطلاعات روششناختی را ارائه میکند، اما درباره پوشش، عدم پاسخ، مدل تعدیل یا خردهگروهها ابهام دارد. نتیجه آن ممکن است برای توصیف محدود، تولید فرضیه یا مقایسه مشروط مفید باشد.
«غیرقابل ارزیابی»، مطالعهای است که فقط درصدها یا نمودارها را منتشر کرده و جامعه هدف، شیوه انتخاب، متن سؤال یا تاریخ میدان معلوم نیست. در این وضعیت نمیتوان از روی شهرت مؤسسه یا بزرگی عدد، اعتبار را فرض کرد.
این یادداشت سهگانه از یک اصل ساده آغاز شد: اعتبار نظرسنجی را نباید از مطلوب یا نامطلوب بودن نتیجه سنجید. یادداشت نخست نشان داد پوشش، عدم پاسخ، اندازهگیری و زمان میتوانند نتیجه را تهدید کنند. یادداشت دوم توضیح داد پیمایش ترکیبی، تماس مجدد، کنترل کیفیت و تعدیل آماری ابزارهایی مشروطاند، نه درمانهایی قطعی.
یادداشت سوم نیز نشان داد حفاظت از پاسخگو و پرسشگر، شفافیت، تفسیر محدود، گزارش مسئولانه و استفاده متناسب، ادامه همان زنجیره اعتبارند. داده معتبر میتواند با تیتر نادرست یا ادعای بیش از ظرفیت به اطلاعات گمراهکننده تبدیل شود؛ همانگونه که داده ناقص میتواند با ظاهر آماری دقیق، اعتبار کاذب پیدا کند.
اعتبار نه صرفاً با نام مؤسسه، حجم نمونه یا داشتن مدل، بلکه با تناسب طراحی با هدف، امکان ارزیابی مستقل، حفاظت از مشارکتکنندگان، گزارش صادقانه عدمقطعیت و رعایت حدود استنباط ساخته میشود. هرچه جامعه بحرانیتر باشد، مسئولیت تولیدکننده، رسانه و استفادهکننده داده سنگینتر است.
ده پرسش برای تفسیر و استفاده مسئولانه
۱. آیا ارزش علمی پرسشها از خطر احتمالی آنها بیشتر است و قواعد توقف میدان تعریف شدهاند؟ ۲. آیا رضایت مشارکتکننده داوطلبانه، آگاهانه و متناسب با سطح خطر و شیوه تماس است؟ ۳. آیا فقط دادههای ضروری گردآوری و مشخصات تماس از پاسخها جدا نگهداری میشوند؟
۴. آیا متن کامل سؤال، گزینهها، ترتیب و پرسشهای قبلی اثرگذار منتشر شدهاند؟ ۵. آیا «نمیدانم»، «نظری ندارم» و «امتناع از پاسخ» جداگانه ثبت و تفسیر شدهاند؟ ۶. آیا ادعای گزارش با جامعه هدف، زمان میدان و ظرفیت واقعی نمونه متناسب است؟
۷. آیا تعداد خام و حجم نمونه مؤثر خردهگروهها برای انتشار درصد کافی است؟ ۸. آیا تفاوتها با روش آماری مناسب سنجیده و از اعشار و دقت کاذب پرهیز شده است؟
۹. آیا نتیجه با روندها، پرسشهای مشابه و شواهد مستقل مقایسه شده است؟ ۱۰. آیا رسانه و سیاستگذار میان داده، تفسیر و تصمیم هنجاری تمایز گذاشتهاند؟
American Association for Public Opinion Research (AAPOR). Disclosure Standards.
American Association for Public Opinion Research (AAPOR). Best Practices for Survey Research.
International Committee of the Red Cross (ICRC). Handbook on Data Protection in Humanitarian Action.
International Committee of the Red Cross (ICRC). Professional Standards for Protection Work.
New York Times. Polling Standards, May 2011. Used here only as a supplementary historical source on media reporting.
Pew Research Center. Public Opinion Polling Basics.
Roper Center for Public Opinion Research. Polling Fundamentals.
World Association for Public Opinion Research (WAPOR). Code of Professional Ethics and Practices. World Health Organization (WHO). Ensuring Ethical Standards and Procedures for Research with Human Beings.
منبع: خبرآنلاین
