2º Fiabilidad Inter.-jueces:
Consistió en averiguar el acuerdo para cada ítem entre los 4 jueces correspondientes a cada muestra. Ello nos obligó a construir 24 tablas (una por cada ítem) en cada muestra. Esto implicó un total de 120 tablas. Cada una de estas tablas expresaba la puntuación de los 4 profesores a cada niño de su grupo, para el ítem con que se correspondiese dicha tabla (ver apéndice Fig.3). De nuevo el coeficiente de correlación de Pearson nos indicaría el acuerdo existente.

En cada una de estas 120 tablas aparecían 6 correlaciones correspondientes a la combinación de los 4 sujetos-profesores ( r12, r13, r14, r23, r24 y r34), lo cual hace un total de 120 x 6 = 720 correlaciones de acuerdo Inter.-jueces, como se verá en el apartado "resultados". (De nuevo, en la práctica, el número de coeficientes encontrados se reduce al eliminar algunas de las puntuaciones correspondientes al área psicomotora). Con este procedimiento se pretendió evaluar la fiabilidad intrínseca de cada ítem, así como la fiabilidad de los observadores. Si el acuerdo Inter.-jueces es significativo, podremos concluir la objetividad intrínseca de los items. En caso contrario, debemos concluir que el/los item/s sin acuerdo significativo, no poseen la objetividad exigida para ser usado en la población representada.

De esta forma, hemos evaluado de un modo indirecto, el análisis de los elementos, al que hicimos ya referencia. En efecto, analizar la homogeneidad de cada elemento con el total carece de sentido en nuestro caso, como ya se expuso. Analizar la homogeneidad por áreas, es decir, la correlación de cada elemento con el total de su área, tampoco tiene, a nuestro juicio, sentido teórico, dado que cada ítem está pensado para evaluar un aspecto concreto incluso dentro de cada área. De esta forma es perfectamente lícito que un ítem no correlacione con su propia área al estar evaluando un subaspecto de ésta que puede ser independiente de otros subaspectos.

Así, lo más correcto pareció analizar el valor de cada ítem mediante el análisis de acuerdo Inter.-jueces. Si estos resultados los unimos a los que se obtienen respecto a la validez mediante criterio externo de cada área, la información así obtenida resultara la más eficaz.