ابزار سنجش بايد از روايى (validity) و پايايى (reliability) لازم برخوردار باشد تا محقق بتواند داده‌هاى متناسب با تحقيق را گردآورى نمايد و از طريق اين داده‌ها و تجزيه‌وتحليل آنها، فرضيه‌هاى موردنظر را بيازمايد و به سؤال تحقيق پاسخ دهد. ابزار سنجش و آزمون‌هاى استاندارد و ميزان شده معمولاً از روايى و پايايى مناسبى برخوردارند؛ از اين‌رو، محققّان مى‌توانند آنها را با اطمينان بکار گيرند؛ ولى ابزار محقّق‌ساخته فاقد چنين اطمينانى هستند و محقق بايد از روايى و پايايى آنها اطمينان حاصل کند.
مشکل روايى و پايايى ابزار سنجش معمولاً متأثير از عوامل گوناگونى نظير پيچيدگى موضوع مورد مطالعه، عامل و منبع تهيهٔ داده‌ها يعنى انسان، و روش‌ها و شرايط گردآورى اطلاعات است.
- روايى ابزار سنجش :
منظور از روايى اين است که مقياس و محتواى ابزار يا سؤالات مندرج در ابزار دقيقاً متغيرها و موضوع مورد مطالعه را بسنجد؛ يعنى اينکه هم داده‌هاى گردآورى شده از طريق ابزار مازاد بر نياز تحقيق نباشد و هم اينکه بخشى از داده‌هاى مورد نياز در رابطه با سنجش متغيرها در محتواى ابزار حذف شده باشد يا بعبارت ديگر، عين واقعيت را بخوبى نشان دهد؛ مثلاً آزمون‌هايى همچون تست هوش يا آزمون پيشرفت تحصيلى اگر نتواند بهرهٔ هوش و ميزان معلومات دانش‌‌آموز را اندازه‌گيرى کند، روايى نخواهد داشت. اگر مقياس‌هاى بکار رفته و نوع سؤالات در پرسشنامه يا کارت مصاحبه يا مشاهده يا فرم اطلاعاتى و فيش و امثال آن نتوانند اطلاعات مورد نياز دربارهٔ متغيرها و صفات موضوع مورد مطالعه را در خود جاى دهند، باز هم روايى نخواهند داشت. طبعاً، بکارگيرى ابزار ناروا باعث گردآورى اطلاعات نامربوط و بهم خوردن انضباط و نظم مراحل تحقيق و تجزيه و تحليل داده‌ها مى‌شود و نيز به هدر رفتن نيرو و امکانات و منابع مالى و همچنين عدم امکان نتيجه‌گيرى درست را بدنبال دارد.
- پايايى ابزار سنجش :
پايايى ابزار که از آن به اعتبار، دقت و اعتمادپذيرى نيز تعبير مى‌شود، عبارت است از اينکه اگر يک وسيلهٔ اندازه‌گيرى که براى سنجش متغير و صفتى ساخته شده در شرايط مشابه در زمان يا مکان ديگر مورد استفاده قرار گيرد، نتايج مشابهى از آن حاصل شود؛ بعبارت ديگر، ابزار پايا يا معتبر ابزارى است که از خاصيت تکرارپذيرى و سنجش نتايج يکسان برخوردار باشد.