تحدث مغالطة المقارنات المتعددة عندما يجري شخص ما مقارنات أو اختبارات إحصائية متعددة ولكن يركز فقط على النتائج التي تناسب حجته، متجاهلاً حقيقة أن العدد الكبير من المقارنات يزيد احتمالية العثور على نتيجة ذات دلالة إحصائية بالصدفة.
غالباً ما تظهر هذه المغالطة في البحوث العلمية وتحليل البيانات، إذ أنّ عدم مراعاة جميع المقارنات يمكن أن يؤدي إلى استنتاجات خاطئة حول الارتباطات أو الأسباب.
مثال
الموقف: يُجري باحث 100 اختبار مختلف لإيجاد ارتباط بين أطعمة مختلفة وزيادة الذكاء، يُظهر اختبار واحد نتيجة ذات دلالة إحصائية لطعام معين.
ارتكاب المغالطة: يعلن الباحث، “لقد ثبت أنّ هذا الطعام يزيد الذكاء!” متجاهلاً الاختبارات الـ99 الأخرى التي لم تُظهر نتيجة ذات دلالة.
الشرح: ارتكب الباحث مغالطة المقارنات المتعددة لأنه يركز على النتيجة الإيجابية الواحدة من بين العديد من الاختبارات، متجاهلاً احتمالية أن تكون هذه النتيجة بسبب الصدفة. يفشل في النظر في السياق العام للعديد من الاختبارات التي أجريت وتداعيات اختيار البيانات.
مثال
الموقف: في دراسة تسويقية، تختبر شركة 50 شعاراً إعلانياً مختلفاً لمعرفة أيّ منها يحقق أفضل استجابة.
ارتكاب المغالطة: يُبرز فريق التسويق الشعار الذي حقق أعلى معدل استجابة باعتباره الخيار الأفضل بشكل حاسم، متجاهلاً إمكانية أن يكون نجاحه تقلباً عشوائياً بين العديد من الخيارات.
الشرح: يرتكب فريق التسويق مغالطة المقارنات المتعددة من خلال اختيار الشعار الأكثر نجاحاً دون النظر في عدد المقارنات الكبير الذي تم إجراؤها. يتجاهلون الاحتمالية الإحصائية أنّ واحداً على الأقل من الشعارات سيكون تأثيره جيد بالصدفة، مما يؤدي إلى استنتاجات مضللة بشأن فعاليته.
تسميات أخرى للمغالطة
تسمى أيضاً “مشكلة تعدد الاختبارات” و “تأثير البحث في مكان آخر” (Multiplicity, Multiple Testing Problem & The Look-elsewhere Effect).