CAT (컴퓨터 적응형 평가)

개요

같은 시험지를 모두에게 주면 실력이 높은 학생에게는 쉬운 문항이, 낮은 학생에게는 어려운 문항이 대부분 낭비된다. 적응형 평가는 학생의 응답에 따라 다음 문항의 난이도를 바꾸어, 더 적은 문항으로 더 정확하게 이해도를 재는 방식이다. 문제는 이 방식을 구현하려면 시험을 보여 주는 전달 플랫폼과 다음 문항을 고르는 적응형 엔진이 실시간으로 대화해야 한다는 점이다. 둘을 잇는 규격이 없으면 조합마다 전용 연동을 만들어야 하고, 그 비용이 도입을 가로막는다. CAT은 이 둘 사이의 통신을 표준화한다.

기술 관점에서 CAT의 설계에서 눈여겨볼 점은 적응형 엔진을 블랙박스로 다룬다는 것이다. 어떤 알고리즘으로 다음 문항을 고르는지는 표준이 규정하지 않고 엔진의 몫으로 남긴다. 표준이 정하는 것은 시스템 사이의 안전한 통신을 위한 단순한 API뿐이다. 이 선택 덕분에 엔진 공급사는 자사 알고리즘을 공개하지 않고도 표준을 따를 수 있다. 문항 모델과 메타데이터, 채점, 사용 데이터는 QTI 스펙에 기대어 활용한다.

핵심 개념

• 적응형 평가(adaptive testing): 학생의 교과 이해도에 맞추어 조정될 수 있는 컴퓨터 기반 시험.
• 전달 플랫폼(delivery platform): 학생에게 문항을 제시하고 응답을 받는 시스템. 시험을 실제로 실행하는 쪽이다.
• 적응형 엔진(adaptive engine): 지금까지의 응답을 근거로 다음에 낼 문항을 결정하는 시스템.
• 블랙박스: 적응성을 구동하는 알고리즘을 표준이 들여다보지 않는다는 설계 원칙. 알고리즘이 보호된다.
• 문항 모델 및 메타데이터: 문항의 표현과 그에 붙는 정보. CAT은 이를 새로 정의하지 않고 QTI의 것을 가져다 쓴다.
• Public Candidate Final: 공개된 후보 최종 단계. 구현할 수 있는 상태이나 적합성 인증 체계가 아직 완성되지 않았다.

구성 요소

CAT 1.0 문서 묶음은 네 가지로 이루어진다. 정보 모델은 주고받는 데이터의 구조와 항목을 정의한다. REST/JSON 바인딩은 그 데이터를 실제 요청 및 응답에 싣는 방법을 정한다. OpenAPI 정의는 같은 인터페이스를 기계 판독 가능한 형태로 제공해 클라이언트 코드 생성에 쓸 수 있게 한다. 구현 가이드는 이들을 실제로 조립하는 방법을 안내하며, 스펙 문서의 대표 문서 역할을 한다.

CAT은 문항 자체의 형식을 정의하지 않는다. 그 자리는 QTI가 맡는다. CAT이 다루는 것은 「다음에 어떤 문항을 낼 것인가」를 묻고 답하는 대화이며, 그 대화에서 오가는 문항 식별자와 메타데이터, 채점 결과, 사용 데이터가 QTI의 모델을 따른다. 두 표준의 역할 분담이 이 구조의 핵심이다.

작동 방식

1. 기관이 전달 플랫폼과 적응형 엔진을 연결한다. 이때 통신에 필요한 접근 정보를 교환한다.
2. 학생이 시험을 시작한다. 전달 플랫폼이 적응형 엔진에 시험 세션의 시작을 알린다.
3. 엔진이 첫 문항을 지정해 돌려준다. 어떤 근거로 골랐는지는 엔진 내부의 일이다.
4. 전달 플랫폼이 그 문항을 학생에게 제시하고 응답을 받는다.
5. 플랫폼이 응답과 채점 결과를 엔진에 전달한다.
6. 엔진이 지금까지의 정보를 바탕으로 다음 문항을 지정한다. 3~6단계가 종료 조건에 이를 때까지 반복된다.
7. 시험이 끝나면 결과가 확정된다. 문항 수가 적어도 이해도 추정의 정확도를 확보하는 것이 이 방식의 목적이다.

국내 도입 시나리오

국내 평가 기관이나 에듀테크 기업이 적응형 진단 서비스를 운영하면서 자체 엔진과 자체 시험 화면을 함께 개발한 경우, 화면과 엔진이 한 몸이라 어느 한쪽만 교체하기 어렵다. 둘 사이의 통신을 CAT 규격으로 분리해 두면 화면과 엔진을 각각 발전시킬 수 있다.

여러 공급사의 적응형 엔진을 비교 검토하려는 기관이라면, 조달 단계에서 CAT 지원을 요구 조건으로 제시하는 방식이 적합하다. 엔진마다 전용 연동을 만들지 않고 같은 인터페이스로 시험해 볼 수 있다.

다만 CAT은 현재 Public Candidate Final 단계다. 적합성 인증 요건과 테스트 세트가 준비 중이고 기술 자문 위원회 투표를 거치지 않았으므로, 도입을 검토한다면 스펙의 현재 상태와 향후 변경 가능성을 함께 확인해야 한다. 또한 CAT은 1EdTech의 「See All Standards」 15종 목록에 포함되어 있지 않다.

적합성 인증

CAT의 적합성 인증 체계는 아직 완성되지 않았다. 원문은 그 상태를 분명히 밝힌다. 1EdTech CAT v1.0 스펙은 Public Candidate Final로 제공되며, QTI 프로젝트 그룹이 적합성 인증 요건과 테스트 세트, 문서를 완성하고 정의하는 작업을 진행하고 있다. 여러 전달 엔진과 적응형 평가 엔진이 인증에 성공한 뒤에야 이 스펙이 1EdTech 기술 자문 위원회에 투표와 승인을 위해 상정된다.

따라서 현 시점에 CAT 인증을 받은 제품이라는 표기는 성립하지 않는다. 1EdTech의 인증은 일반적으로 준비, 시험, 제출, 발급의 네 단계로 운영되고 인증받은 제품이 TrustEd Apps Directory에 등재되지만, CAT은 그 절차가 가동되기 전 단계다. 구현을 시작하는 것은 가능하며, 실제로 인증 체계는 초기 구현들이 상호운용을 입증하는 과정을 거쳐 확정된다.

관련 표준

• QTI: 문항과 시험의 표현 형식이다. CAT은 문항 모델과 메타데이터, 채점, 사용 데이터를 QTI에 기대며, CAT의 인증 요건도 QTI 프로젝트 그룹이 정의하고 있다. 두 표준 가운데 가장 긴밀한 관계다.
• Data-SSML: 텍스트 음성 변환 발음 단서를 콘텐츠에 담는다. 적응형으로 제시되는 문항도 같은 QTI 문항이므로 발음 지시가 그대로 적용된다.
• LTI: 플랫폼과 외부 도구를 연결한다. 적응형 평가 도구가 학습 플랫폼에서 실행되는 경로가 된다.
• Caliper: 학습 활동 데이터를 이벤트로 기록한다. 적응형 시험 중의 활동은 Caliper의 Assessment Profile이 다룬다.
• OneRoster: 명부, 수강 등록, 성적을 동기화한다. 적응형 평가 결과가 기관의 성적부로 돌아가는 층을 맡는다.

원문 자료

• 게이트웨이: https://www.1edtech.org/standards/cat
• CAT 1.0 구현 가이드: https://www.imsglobal.org/spec/cat/v1p0/impl
• CAT 1.0 정보 모델: https://www.imsglobal.org/spec/cat/v1p0/info
• CAT 1.0 REST/JSON 바인딩: https://www.imsglobal.org/spec/cat/v1p0/bind
• CAT 1.0 OpenAPI 정의: https://www.imsglobal.org/spec/cat/v1p0/impl/openapi
• QTI 게이트웨이: https://www.1edtech.org/standards/qti
• 적합성 인증 절차 일반: https://www.1edtech.org/certification/get-certified

이 요약은 1EdTech의 공개 자료를 바탕으로 1EdTech Korea가 작성했습니다. 기술적 세부사항은 원문 스펙을 기준으로 합니다.