کنترل ناکافی
دومین انتقاد عمده از فراروانشناسی این است که اگر نه همه، لااقل بسیاری از آزمایش‌های آن فاقد کنترل و تدابیر احتیاطی است. به‌ویژه، روش‌های مخدوشی که به آزمودنی اجازه می‌دهند اطلاعات ارسال‌شده را ندانسته، یا دانسته و فریبکارانه، از طریق دستگاه‌های حسی به‌دست آورد، فوق‌العاده خطرناک هستند. این پدیده را مشکل نشت حسی (sensory leakage) می‌نامند. شیوه‌های نامناسب برای گزینش تصادفی محرک‌های هدف نیز یکی دیگر از مشکلات رایج در این زمینه است.
کاستی‌های روش‌شناختی، آفت همهٔ علوم است. تاریخ فراروانشناسی پر از مواردی است که در آنها نتایج بسیار نویدبخشی به‌دست آمده، اما هنگامی‌که روش‌هایشان مورد بررسی انتقادی قرار گرفته، بی‌ارزش‌بودن نتایج آشکار شده است (ایکرز - Akers در ۱۹۸۴). در مورد فراروانشناسی این اتهام را پیش کشیده‌اند که در آن، تحقیقات ابتدائی و فاقد کنترل مناسب غالباً نتایج مثبتی به‌دست می‌دهند، اما به‌محض اینکه کنترل‌ها و اقدامات احتیاطی بهتری اعمال می‌شود نتایج اولیه ناپدید می‌گردند.
همین‌که خدشه‌ای در یک آزمایش کشف شد، دیگر منطقی نیست بگوئیم این خدشه در ایجاد نتیجهٔ مثت نقشی نداشته است. تنها چارهٔ کار، تکرار آزمایش به‌شیوهٔ صحیح است. اما وقتی مجموعه داده‌های چند تحقیق در دسترس است، فراتحلیل می‌تواند انتقاد فوق را به‌شیوهٔ تجربی ارزیابی کند و روشن سازد که آیا تحقیقاتی که در آنها کنترل آزمایشی بسیار ضعیف بوده نسبت تحقیقات برخوردار از کنترل بهتر، نتایج مثبت بیش از داشته‌اند یا نه. اگر بین کاستی‌های روش و نتایج مثبت پژوهش‌ها همبستگی وجود داشته باشد، در آن‌صورت با مشکلی جدی مواجه هستیم. در مورد مجموعه داده‌های گانزفلد، هم هایمن منتقد و هم هانرتون فراروانشناس هردو معتقد هستند کاستی‌هائی از قبیل فقدان محکم‌کاری، و نشت حسی احتمالی با نتایج مثبت همبستگی ندارند. هایمن مدعی است که بین نقص در گزینش تصادفی و نتایج مثبت همبستگی یافته است، اما تحلیل هانرتون و دو تحلیل دیگر که توسط کسانی غیر از فراروانشناسان انجام شده، مؤید نتیجه‌گیری هایمن نبوده‌اند (هریس - Harris و روزنتال، ۱۹۸۸؛ ساندرز - Saunders در ۱۹۸۵). علاوه بر این، مجموعه‌ای از ۱۱ پژوهش جدید که به‌منظور کنترل کاستی‌های موجود در مجموعه داده‌های قبلی طرح و به‌اجراء درآمد، نتایجی همخوان با نتایج مجموعهٔ ۲۸ پژوهش اول به‌دست داد (بم و هانرتون، ۱۹۹۴).
پژوهش‌های بایگانی‌شده
فرض کنید ۲۰ پژوهشگر مستقل از هم تصمیم بگیرند یک تحقیق گانزفلد انجام دهند. حتی اگر پدیدهٔ گانزفلد اصیلی وجود نداشته باشد، احتمال می‌رود دست‌کم یکی از این پژوهشگران تصادفاً نتیجهٔ آماری معنی‌داری به‌دست آورد. این پژوهشگر خوش‌شانس گزارشی از آزمایش خود منتشر خواهد کرد، اما ۱۹ پژوهشگر دیگر - که همگی به نتیجهٔ عدم تفاوت رسیده‌اند، احتمال دارد دلسردشده، داده‌های خود را در قفسه‌ای بایگانی کنند، و به تحقیق امیدبخش‌تری رو کنند. درنتیجه، جامعهٔ علمی از یک تحقیق موفق مطلع خواهد شد، اما از آن ۱۹ تحقیق بی‌نتیجه که در کشوی بایگانی‌ها مدفون شده، بی‌خبر خواهد ماند. بنابراین، مجموعه داده‌های تحقیقات شناخته شده به‌طور جدی در جهت تحقیقاتی با نتایج مثبت سوگیری خواهد داشت، و هر فراتحلیلی هم که با آن مجموعه انجام شود، به‌نتایج سوگیرانه خواهد انجامید. این پدیده را مشکل تحقیقات بایگانی‌شده نامیده‌اند.
در اینجا با مشکل بسیار پیچیده‌ای روبه‌رو هستیم، زیرا بنا به‌تعریف، غیرممکن است بدانیم چه تعداد تحقیق ناشناخته در کشوها خاک می‌خورد. در برابر این انتقاد که تحقیقات بایگانی‌شده به مخدوش شدن مجموعه داده‌ها می‌انجامد، فراروانشناسان، دو دفاعیه اقامه کرده‌اند.
در دفاعیهٔ نخست، گفته می‌شود مجلهٔ فراروانشناسی فعالانه تحقیقاتی را که به یافته‌های منفی رسیده‌اند، درخواست کرده و منتشر می‌کند. به‌علاوه، جامعهٔ فراروانشناسان، جامعهٔ نسبتاً کوچکی است، و غالب پژوهشگران آن از کارهائی که در آزمایشگا‌ه‌های مختلف سراسر دنیا انجام می‌گیرد آگاه هستند و هنگام انجام فراتحلیل، فعالانه می‌کوشند از طریق همایش‌ها یا پرس‌وجوی خصوصی به پژوهش‌های منتشرنشده‌ای که نتایج منفی داشته‌اند، دست یابند.
اما دفاع اصلی فراروانشناسان ماهیتی آماری دارد، و در اینجا فراتحلیل، رویکردی تجربی به مسئله فراهم می‌کند. با آگاهی از سطح کلی معنی‌دار بودن پژوهش‌های انتشاریافته می‌توان دریافت که برای غیرمعنی‌دار شدن این نتیجه چه تعداد پژوهش غیرمعنی‌دار منتشرنشده باید به مجموعهٔ معنی‌دار موجود افزوده شود. براین اساس، در مورد مجموعه داده‌های گانزفلد، باید بیش از ۴۰۰ پژوهش غیرمعنی‌دار منتشر نشده - معادل ۱۲۰۰۰ جلسهٔ گانزفلد - موجود باشد تا درباره معنی‌دار بودن آماری ۲۸ پژوهش قبلی، بتوان تردید کرد (هانرتون، ۱۹۸۵). به‌همین علت، تعجب‌آور نیست که دو طرف مباحثه در این مورد توافق دارند که پدیدهٔ پژوهش‌های بایگانی‌شده نمی‌توند توضیح موجهی برای معنی‌داری تحقیقات گانزفلد باشد (هایمن و هانرتون، ۱۹۸۶).
هایمن و هانرتون به‌جای ادامهٔ این مجادله، بیانیهٔ مشترکی انتشار دادند که در آن زمینه‌های توافق و عدم توافق خود را مشخص کردند و پیشنهادهائی برای اجراء پژوهش‌های گانزفلد در آینده عرضه داشتند (هایمن و هانرتون، ۱۹۸۶). مجادلات آن دو و همچنین بحث‌های بعدی که درگرفت الگوی ارزشمندی برای ارزیابی حوزه‌های بحث‌انگیز پژوهش علمی فراهم آورده است.