세상의 모든 궁금증

출제자의 조건

평가하려는 교과목에 대한 이해

평가 도구 혹은 평가 문항을 제작하고자 할 때 무엇보다도 문항 제작자는 그 도구나 문항으로 평가하고자 하는 교과목을 충분히 이해하고 있어야 한다.

평가받는 학생에 대한 충실한 이해

평가 문항이 제대로 기능하기 위해서는 학생 집단의 특성을 고려하여 제작해야 한다.

문항 제작에 대한 지식, 기술, 기능

문항의 제작 절차, 문항의 유형 및 그 유형별 장점과 단점, 좋은 문항의 조건, 문항 제작상의 유의점(원리) 등에 대한 깊은 이해가 수반될 때 타당하고 신뢰성 있는 문항 및 검사를 제작할 수 있다.

언어 구사력 및 문장력

문항 제작자는 자신의 생각을 언어라는 매개체를 통하여 정확하고 명료하게 표현할 수 있는 능력을 갖추어야 한다.

충분한 문항 제작 및 검토 경험

훌륭한 문항 제작자가 되는 지름길은 없다. 훌륭한 문항 제작자가 되기 위해서는 개인적인 능력과 함께 풍부한 문항 제작 및 검토 경험과 성실한 노력이 더욱 중요하다. 이상에서 언급한 문항 제작자의 조건을 고루 구비하였다고 해도, 좋은 문항을 제작하기 위해서는 실제로 문항을 제작하고 검토해 보는 경험을 풍부히 쌓아야 한다.

좋은 문항의 조건

문항 내용과 평가 목표의 일치

좋은 문항이 되기 위한 가장 일차적인 조건이면서, 문항과 검사의 타당성을 높이기 위한 필수 조건이다. 따라서 문항 제작자는 문항이 측정하고자 했던 교육 목표와 내용이 구체적인 행동과 내용으로 문항에 드러날 수 있도록 문항 장면을 설정해야 한다.

복합성(complexity)

단순 지식의 기억 및 재생을 묻기보다는 사고력, 특히 분석, 종합, 평가 등의 고등 정신 능력을 물을 수 있는 문항이어야 한다.

참신성(novelty)

문항의 형식 혹은 내용이 현재까지 많이 사용되어 왔던 진부성을 벗어나 학생에게 새로운 경험을 주는 것이어야 한다. 하지만, 참신성을 너무 강조하여 중요하지 않은 내용을 묻거나 지나치게 생소한 문항을 제작하는 우를 범하지 않아야 한다.

문항의 구조화

구조화란 문항의 체계성과 명료성을 의미하는 것으로, 이를 위해 문항 제작자는 학생들이 답해야 할 방향을 명확하게 구체화해야 한다. 보통 선택형 문항이 서답형 문항보다 더 구조화되어 있다고 볼 수 있다.

학습동기 유발

검사 혹은 시험도 하나의 교육 활동으로서, 학생들의 사고력을 배양하고 학습에 대한 흥미와 도전감을 북돋우도록 제작ㆍ활용될 필요가 있다.

문항의 제작 원리와 검토 지침 등에 충실

검사의 목적과 학생의 수준에 적합하고, 문항 제작 원리 혹은 유의점에 충실하며, 윤리적ㆍ교육적으로 바람직하고, 특정 집단에 유리하거나 불리하지 않고 공정해야 하는 등의 요건을 충족시켜야 한다.

좋은 문항의 선택 기준

측정하고자 하는 평가목표와의 부합성

문항은 의도하는 평가목표를 제대로 측정할 때 그 기능을 충실히 하는 것이며 또한 결과를 신뢰할 수 있다. 따라서 평가목표를 가장 잘 측정할 수 있는 문항 유형을 선택하는 것이야 말고 첫 번째 준거라 볼 수 있다.

학생의 특성 및 능력 수준과의 부합성

문항 유형을 결정할 때에는 학생의 지적 발달 및 능력 수준을 고려해야 한다. 학생들이 무난히 이해하고 답할 수 있는 문항 형태인지를 학생의 입장에서 파악해야 한다는 것이다.

검사 목적과 활용도에의 부합성

검사 목적과 활용에 있어 총괄평가적인 기능이 강하고, 그 결과가 진급이나 진학 등 행정적 목적으로 활용될 때에, 검사는 대체로 많은 문항 수를 다뤼 출제 범위를 고루 다루어야 하고, 채점의 객관성을 강하게 요구한다. 이런 경우에는 학생들의 반응 시간이 빠르고 채점의 객관성을 보장할 수 있는 선택형 문항들을 주로 활용하게 된다. 그러나 학생 능력의 변별을 중시할 때에는 학생의 추측 가능성이 높은 진위형 문항은 잘 활용되지 않는다.

검사 제작 및 실시 여건과의 부합성

어떤 문항 유형을 선택할 것인가는 실제로 검사 제작 및 실시 여건이 어떠한가에 의해 상당히 영향을 받는다. 제한된 검사 시간과 출제 범위는 어느 정도이며 검사를 제작할 시간이 충분한가, 채점할 시간은 충분한가, 문항 제작자의 능력이 어떠한가, 채점자의 능력은 어떠한가 등에 따라 문항 유형이 결정되는 경우가 많다.

  문항은 학생(피험자)의 반응 양식에 따라 선택형과 서답형으로 대별된다. 선택형은 학생으로 하여금 주어진 답지에서 답을 골라 답지에 표기하게 하는 문항 형태이며, 서답형은 학생이 답이라고 생각하는 내용을 간단한 단어, 구, 혹은 문장 등으로 구성하여 쓰게 하는 문항 형태이다. 진위형, 배합형(연결형), 선다형 문항이 선택형에 해당되고, 단답형, 완성형, 서술형, 논술형이 서답형에 해당된다.

  서답형 문항 중 상대적으로 학생의 반응의 자유도가 높으면서도 응답해야 할 분량이 많은 것이 서술형, 논술형 문항이다. 서술형, 논술형은 주어진 질문에 대해 여러 개의 문장으로 응답하는 문항 형태로, 학생이 문제를 접근하는 방법, 정보를 활용하는 방식, 답을 구성하는 방식 등에서 제한을 크게 받지 않는다. 그러므로 이 문항 유형은 학생의 분석력, 비판력, 조직력, 종합력, 문제해결력, 창의력 등을 측정하는데 유용하다.

한편, 보통 서술형과 논술형이 혼용되어 사용되나 굳이 분류하여 정의하자면, 서술형은 논술형에 비해 서술해야 하는 분량이 많지 않고 채점할 때 서술된 내용의 깊이와 넓이에 주된 관심을 두는 문항인 반면에, 논술형은 학생이 자신 나름대로의 생각이나 주장을 논리적으로 설득력 있게 조직하여 작성해야 함을 강조하는 문항이라 할 수 있다.

  여러 개의 문장이나 페이지에 이르기까지의 답을 요구하고, 문항에 따라 정도는 다르지만 학생들에게 자유 반응을 허용하며, 보통 교사가 이 반응을 읽고 답의 정확성과 질을 주관적으로 판단하는 문항 형식으로서 서술형, 논술형 평가 문항은 선택형 문항과 비교할 때 다음과 같은 장단점을 갖는다.

서술형 논술형 평가 문항의 장점

  반응의 자유도가 크기 때문에, 학생들은 자신의 지적 배경에 따라 적절한 자료나 정보를 선택하여 자기 말로 표현할 수 있고, 문항이 지시하는 범위 내에서 자유로이 문제를 깊게 또는 넓게 다룰 수 있다.

고등정신기능 측정에 효과적이다. 표현력, 사고력, 문제해결력 같은 일반적 교육목표와 개념 혹은 원리의 적용 같은 구체적 학습목표를 쉽게 평가할 수 있다. 이러한 고등정신기능은 잘 만든 선택형 문항으로도 잴 수 있으나 그런 문항을 제작하기가 어려운 것이 문제다.

  문항 제작이 비교적 쉽다. 좋은 서술형 논술형 문항을 만들기 위해서는 상당한 노력이 필요하지만, 선택형이 비하면 시간과 노력이 적게 든다.

  학습자의 학습태도를 개선해 준다. 서술형, 논술형 문항은 개념이나 원리 적용을 재는 경우가 많다. 뿐만 아니라 원리를 찾아 조직하고 자신의 말로 표현해야 한다. 따라서 학생들은 개념을 활용하고, 정의를 내리고, 원리를 찾아보고, 원리를 적용해 보는 학습활동으로 바람직한 지적 기능 학습이 될 것이다. 서술형, 논술형 문항을 통해 표현력을 기르는 활동의 기회도 갖게 되며, 나아가 표현력의 구성 능력인 논리적 사고, 종합력, 비판적 사고 등의 학습에도 도움을 줄 것이다.

서술형 논술형 평가 문항의 단점

  채점의 객관성이 낮다. 채점에 시간과 노력이 많이 든다. 문항 표집수가 제한된다. 한 문항에서 긴 반응을 요구하는 까닭에 서술형, 논술형 평가에서는 몇 개의 문항밖에 출제하지 못한다. 자칫 측정을 못하는 학습목표가 생기고 나아가서는 시험의 타당도와 신뢰도도 낮아지게 된다. 이 문제를 개선하는 방법은 문항 제작 과정에서 반응의 자유도를 어느 정도 제한하고, 비교적 짧은 반응을 요하는 문항을 만들어 문항 수를 늘리는 것이다. 따라서 문항수가 많으면 보다 많은 학습목표를 평가할 수 있게 된다.