观察者间一致性可以抽取总数据中的部分数据进行吗

想做多个观察者对于某一个模型的观察者间一致性,但是数据总数较大,可以抽取其中部分数据进行分析吗?在抽取部分做观察者间一致性的前提下,分析该模型的诊断效能的时候是不是还是需要几个观察者把所有数据评估一遍最后达成一致?求教,感谢