서술형 논술형 평가 문항의 제작 절차 및 유의사항

서술형 논술형 평가 문항의 제작 절차

 

1. 과목별 교사 협의회를 통하여 출제 계획서를 작성합니다.

- 출제 영역(내용 및 행동 영역), 문항 유형, 문항 수, 배점 등을 설정하고, 출제이원분류표를 작성합니다. 특히, 서술형⋅논술형 평가를 다른 유형의 지필평가 문항과 함께 포함하여 실시할 것인지 별도의 시간을 설정하여 실시할 것인지도 계획하여야 합니다. 이론적으로는 평가하고자 하는 교육목표 및 내용에 적절한 평가 문항의 형태와 수를 결정한 후 시험 시간을 설정하는 것이 이상적이나, 학교 교육과정 운영의 현실적 여건에 따라 가능한 시험 시간을 고려하면서 계획서를 작성해야 할 것입니다. 또한 선택형 문항과 함께 시험을 실시하는 것은 학생들에게 인지적 부담을 많이 줄 수도 있기 때문에, 별도로 분리하여 실시하는 방안도 적극 검토해볼 만합니다.

 

서술형 논술형 평가 문항

 

2. 출제할 내용 및 행동 영역에 비추어 평가 목표를 상세화합니다.

- 이원분류표에 근거하여 평가를 통해 측정하고자 하는 능력 및 내용을 행동적 목표 진술 방식에 따라 상세하고 명료하게 진술합니다.

 

3. 평가 목표에 부합하는 문제 상황을 결정하고, 문항의 체계 및 발문을 구상한 후 문항 초안을 작성합니다.

- 서술형⋅논술형 문항 제작 상의 유의점을 고려하면서 문항을 작성합니다.

 

4. 채점 기준표와 모범 답안(유사 답안 포함)을 작성합니다.

- 채점 기준이나 모법 답안 작성해봄으로써, 문항 초안에 따라 학생들이 제대로 반응할 수 있을 것인지, 예측 가능한 반응은 무엇인지, 답안 작성 시 유의해야 할 점은 무엇인지, 답안 작성에 소요되는 시간은 어느 정도인지 등을 가늠해볼 수 있기 때문입니다.

 

5. 문항을 검토하고 수정합니다.

- 출제자의 관점에서보다도 학생의 입장에서 검토하는 자세가 필요합니다. 특히, 학생이 질문을 이해하여 출제자가 의도하는 방향으로 응답할 수 있는지, 채점 기준이 명료한지, 소요 시간이 적정한지 등을 중점 검토합니다. 그리고 동교과 혹은 동학년 교사들끼리 검토팀을 구성하여 공동으로 검토하는 작업도 매우 유용할 것이며, 문항 검토 항목 등을 체크리스트 형대로 만들어 사용하는 것도 권장할만합니다.

 

6. 최종 문항을 확정하여 편집⋅인쇄합니다.

- 검사 문항의 수정⋅보완 작업을 마친 후에는 최종 문항과 검사를 편집하고 인쇄합니다. 이 과정에서는 편집 지침을 만들어 사용하고, 다음과 같은 편집 및 인쇄 상의 유의점을 고려하여 작업을 진행합니다.

 

서술형⋅논술형 평가 문항의 편집 및 인쇄상의 유의점

- 각 검사 문항이 주어진 명세적 목표를 측정해 주는 데 적절한가를 보고, 검사 문항의 표현이나 배열상에 어떤 결점이 있는가를 재검토합니다.

- 가능한 한 동일한 교수 목표를 측정하는 문항끼리 묶어 줍니다.

- 동일한 교수목표를 측정하는 문항군 내에서도 문항난이도의 순으로 배열하며(쉬운 문항→어려운 문항), 각 문항군 간에도 곤란도의 정도에 따라 배열합니다. 단, 두 번째 유의점과 상충될 때는 두 번째 유의점을 따릅니다.

- 검사 문항은 학생이 읽기 쉽고 응답이 용이하며 채점이 간편하도록 배열합니다.

* 가능한 한 문항이 동일 페이지 내에

* 별도의 답지를 사용하지 않는 경우 답지 여백을 충분히,

* 채점의 용이성을 확보하기 위해 답지 배열을 일정하게,

- 검사 문항의 번호는 일렬로 매기는 것이 좋습니다. 선택형 문항과 서답형 문항을 같이 출제할 경우에는 서답형 문항의 번호를 [서1] 혹은 [서답형1번] 등으로 구분하여 표시합니다.

- 검사를 받는 데 대한 지시와 각 문항 유형에 따른 응답에 관한 지시를 명시하고, 두 개 이상의 문항 유형이 활용될 때는 가능한 한 묶어서 제시하는 것이 좋습니다. 또한 검사에 대한 지시에 있어서도 묶어서 제시하는 것이 좋습니다. 또한 검사에 대한 지시에 있어서도 학생이 어떻게 응답을 해야 하고, 모를 때에는 추리를 해도 좋은지에 대한 설명이 있어야 합니다.

- 인쇄 과정에서는 가인쇄본을 떠서 시험지 원안과 대조하는 작업을 반드시 거쳐야 합니다. 문제 사태의 정밀성, 선명도, 글씨의 크기, 문항 간의 간격 등 인쇄 기술에 대한 검토도 충실히 이루어져야 합니다.

 

서술형 논술형 평가 문항 제작 시 유의 사항

1. 평가하려는 표적 집단(학생 집단)의 성질을 고려해야 합니다.

  - 선택형 문항은 주어지는 문항 상태가 학생에게 비교적 같은 자극치를 갖지만 서술형, 논술형 문항은 반응의 자유도를 최대한으로 허용하고 있기 때문에 학생이 어떤 성질을 띤 집단인지를 분명히 파악하지 않으면 반응이 지나치게 다양해질 가능성이 있습니다.

 

  가. 문항 내용이나 지시문 등의 어휘 수준이 학생의 수준에 적합해야 합니다.

  - 문항의 내용이나 지시문 내용이 너무 난해한 수준으로 표기될 때 학생들이 질문의 요지를 파악할 수 없어 의견을 서술할 기회를 상실하고 맙니다. 지문이나 지시문의 내용이 학생에게 어려우면 재고자 하는 능력 이외의 인지능력이나 독해력이 포함되어 학생의 능력 추정이 부정확해질 수 있습니다.

 

  나. 문항 수를 학생의 능력에 맞게 절절히 조절하고, 각 문항에 충실히 답할 수 있도록 적절한 응답 시간을 배려해야 합니다. 서술형, 논술형 검사에서는 어차피 많은 문항을 출제할 수 없습니다. 그렇다고 학생의 학습내용을 고루고루 잴 수 없을 정도로 1~2개에 한정해서도 곤란합니다. 그러므로 제한 시간 내에 학습한 것을 고루 평가할 수 있을 정도로는 출제해야 합니다. 또한 학생이 충분히 답할 수 있는 시간을 고려하여(특히 느린 학생을 고려하여) 배당 시간을 제시할 때, 학생은 시간을 적절히 안배할 수 있습니다.

 

2. 단순 암기 위주의 지식보다는 고등정신능력을 측정하도록 합니다.

  - 다른 형식에서 측정할 수 있는 정신기능은 구태여 서술형, 논술형을 사용하여 측정할 필요가 없습니다. 서술형, 논술형 문항의 장점은 다른 문항 형식에서는 측정하기 어려운 사고력, 추리력, 종합력, 비판력, 분석력, 응용력, 표현력, 창의력과 같은 정신기능을 비교적 쉽게 측정할 수 있다는 데 있기 때문입니다. 이러한 장점을 최대한 살릴 수 있도록 문항을 제작해야 합니다.

 

3. 구체적인 학습 결과를 측정할 수 있도록 질문을 구조화시키고 제한성을 갖도록 합니다.

  - 서술형, 논술형 문항이 흔히 가지는 약점 중의 하나는 너무 모호하고 일반적이라는 점입니다. 문항이 애매모호하면 학생은 어떻게 응답해야 할지 혼란을 빚게 됩니다. 또한 학생의 반응이 너무 다양해져 채점 과정에서 어려움을 겪을 가능성도 커집니다. 그러므로 문항이 요구하는 영역을 규정하고, 제한하며, 이것을 잘 구조화시킬 필요가 있습니다. 반응의 자유도를 허용하되 답의 표현은 '이곳으로'라는 방향을 지시해 주는 문항이 되어야 합니다.

 

4. 여러 문항 중에서 선택해서 쓰도록 하지 않습니다.

  - 흔히 서술형, 논술형 평가에서 보는 현상으로, 3개 혹은 5개 정도의 문항을 주고 [택1], [택2] 등의 옵션을 주어 학생이 자유로이 선택해서 쓰게 하는 경우가 있습니다. 그러나 이러한 경우 학생의 부담을 덜어준다는 입장에서는 긍정적으로 보일지 모르나 여러 가지 문제가 야기됩니다. 첫째, 5개 문항이 서로 이질적인 내용일 경우 시험의 타당도가 떨어지게 됩니다. 즉, 각기 다른 문항을 선택해서 답을 했을 경우 그에 대한 채점 점수는 학생들의 서로 다른 능력을 재고 있기 때문에 점수를 상호 비교할 수 없게 됩니다. 둘째, 채점의 노력과 시간이 배가됩니다. 셋째, 옵션 문항에 익숙해진 학생들은 넓은 교과내용 중 본인이 원하는 내용만을 공부하는 부분 학습 습관과 요행심을 키우게 될 가능성이 높아집니다.

 

5. 응답 요소의 종류를 나열하도록 할 경우에는 가지 수를 한정해야 합니다.

  - 서답형, 논술형이나 단답형 문항에서 흔히 볼 수 있는 것으로, '○○을 ○가지 이상 제시하시오.'라고 묻고 채점 기준에서 지정된 ○가지 이상을 제시하면 '상', 혹은 '최고점'을 주는 경우가 많습니다. 이러한 문항에 대해 지정된 몇 가지만 제시하는 학생도 있고 몇 가지 이상을 제시하는 학생도 있습니다. 그런데, 지정된 ○가지만을 정답으로 쓴 경우와 ○가지 보다 많은 답을 열거하면서도 틀린 내용을 포함하고 있는 경우에 어떤 점수를 부여해야 할지 혼란에 빠지게 됩니다. 후자의 경우에도 모두 전자와 동일하게 준다면 불공정성이 야기되고, 한편으로 후자의 점수를 낮게 줄 논리도 문항 내에서는 찾기 힘들기 때문입니다. 따라서 요소를 나열하도록 할 경우에는 '○가지(만) 제시하시오.'라고 한정하고, 채점 과정에서는 지시한 ○가지 까지만 채점하고 뒤에 나열되는 요소에 대해서는 채점을 하지 않아야 함을 원칙으로 해야 합니다.

 

6. 가능하면 채점기준 및 문항 점수를 미리 제시해야 합니다.

  - 채점기준을 미리 제시하면 학생의 반응을 한 곳으로 방향 짓게 하는 데 도움이 될 뿐만 아니라, 학생이 어떻게 반응하는 것이 유리한 것인지를 아는 데도 도움이 됩니다. 또한 문항의 점수가 제시될 때 학생은 문항의 점수를 고려하여 문항에 응답하는 전략을 세울 수 있습니다. 한편 출제자는 문항 제작과 함께 모범 답안(유사 답안 포함)을 제작할 필요가 있습니다.

  - 모범 답안을 통하여 검사 문항의 오류 가능성을 배제할 수 있을 뿐만 아니라 문항에 포함시킬 채점 기준을 명료히 할 수 있습니다. 즉 그 문항이 어떤 자료를 동원해야 하는지, 어떤 조직이 타당한지, 또 결론이 어떻게 되어야 하는지에 대한 채점 기준의 방향을 시사받을 수 있습니다.

 

7. 채점기준은 포괄성(망라성)과 배타성의 원칙을 준수해야 합니다.

  - 채점기준에서 '상, 중, 하' 혹은 '5단계 등급' 등의 수준을 설정할 때 지켜야 할 기본 원칙은 포괄성(망라성)과 배타성입니다. 포괄성(망라성)이란 채점기준을 설정했을 때 학생들이 제시한 답안 상의 반응을 모두 포함할 수 있어야 함을 뜻하며, 배타성이란 채점기준의 범주 혹은 수준 구분이 서로 겹쳐서는 안 됨을 뜻합니다. 즉, 상, 중, 하 등의 수준이 의미하는 능력의 진술이 재고자 하는 평가 목표(혹은 능력)의 범위를 총망라해야 함과 동시에, 수준 간에 겹치는 부분이 있어서는 안 된다.

 

8. 문항을 배열할 때 쉬운 문항에서 어려운 문항으로 배열합니다.

  - 서술형, 논술형 문항은 선택형보다는 학생에게 중압감을 더 주는 문항 형식이라 볼 수 있습니다. 첫 문항부터 어려워서 좌절하여 버리거나, 시간이 오래 걸리면 능력을 제대로 발휘할 수 없습니다. 교사가 평가해 보아 쉬운 문항부터 어려운 문항의 순서로 배열해 주는 것이 동기유발에 효과적입니다.

 

9. 논쟁을 다루는 문항은 어느 한편의 견해를 지지하는 입장에서만 논술하라고 지시하지 말고, 학생 자신의 견해를 밝히고 그의 견해를 논리적으로 전개할 수 있도록 유도하여야 합니다.

  - 자신이 평소 관심을 가지고 있거나 어떤 입장을 분명히 할 경우에는 그 관심 내용에 대하여 혹은 그 입장에서 말하거나 글 쓰는 것이 훨씬 수월합니다. 따라서 논쟁을 다루는 문항에서 평소의 입장과 다른 견해에서 답을 작성하라고 하는 경우에는 문항에서 요구하는 입장을 가진 학생의 경우보다 불리할 수 있습니다. 예를 들어  '안락사'에 대해 찬성, 반대 문제를 학생에게 먼저 선택하도록 하고 그 논거를 열거하는 것이 바람직합니다. 찬성의 입장에서만 논술하도록 하는 경우, 기본적으로 반론을 지니고 있는 학생의 논리적 사고를 평가하는 데 한계가 있습니다. 왜냐하면 '안락사'에 대하여 반대 의견을 논리적, 분석적으로 전개할 수 있는 능력이 더 뛰어난 학생도 있기 때문입니다.