핵심 개념 · 확인한 기출 · 비교 도식
📌 빨간 연도는 확인한 기출 원문·해설 링크입니다. 넓은 표·도식은 좌우로 밀어 읽으세요.
목차 버튼 클릭 → 해당 섹션으로 이동 · ▼ 섹션 제목 클릭 → 열고 닫기
1. Practicality — financial, time, administration constraints 24
2. Reliability — consistent and dependable results 21 25 14 24
3. Validity — content, face, construct, criterion-related 20
4. Authenticity and Interactiveness — target language use와 individual characteristics involvement 25
5. Washback — testing이 teaching/learning에 미치는 영향 16
6. Test Types — formative/summative, norm/criterion, direct/indirect
7. Alternative Assessment — portfolio, self-assessment, performance-based assessment
8. Scoring and Items — holistic/analytic scoring, MC guidelines, item analysis 23
| 관찰 / 방법 | 비교할 자료 | 구별할 점 | 짧은 관찰 예 · 학습용 |
|---|---|---|---|
| Inter-rater | 같은 답안에 여러 채점자가 부여한 점수 | 채점자 사이의 일치도 | 같은 글을 교사 A는 3점, B는 5점으로 채점한다. |
| Intra-rater | 한 채점자의 채점 기준과 점수 적용 | 같은 사람의 일관성 | 같은 교사가 동등한 수준의 글에 오전·피로한 오후에 다른 기준을 적용한다. |
| Test-retest | 시간 간격을 두고 반복한 같은 검사의 결과 | 학습·연습에 따른 변화도 고려 | 같은 학생·같은 검사의 두 시점 점수를 비교한다. |
| Equivalent forms | 동등하게 제작한 두 검사형의 결과 | 같은 검사를 반복하는 것과 구별 | 같은 능력용으로 만든 A형·B형의 결과를 비교한다. |
| Internal consistency / split-half | 한 검사 안 문항들의 일관성 / 두 부분의 결과 | Split-half는 internal consistency를 추정하는 방법 중 하나 | 한 검사 안 두 부분의 점수 관계로 internal consistency를 추정한다. |
피로·불안·소음은 점수에 영향을 주는 조건입니다. 이 조건들과 표의 관찰 대상·추정 방법을 모두 같은 층위의 배타적 유형으로 외우지 않습니다.
좋은 test라도 비용·시간·운영 조건이 맞지 않으면 classroom assessment로 쓰기 어렵습니다.
원문 읽기 · Practicality
A good test is practical. It is within the means of financial limitations, time constraints, ease of administration, and scoring and interpretation.A test of language proficiency that takes a student 10 hours to complete is impractical.출처: Brown, H. D. (2007). Teaching by Principles: An Interactive Approach to Language Pedagogy (3rd ed.), pp.446–447.
해설 · 기출 판별 측정하려는 능력뿐 아니라 비용·시간·시행·채점 및 해석의 부담을 살핀다. 측정 내용이 적절해도 실제로 실시하기 지나치게 어렵다면 practicality 문제가 남는다.
24 시험 출제자·채점자·시설·item bank와 준비 시간의 확보는 practicality의 근거입니다. 온라인 상호작용 방식이라는 사실과 실행 가능성을 구별합니다.
Practicality는 주어진 자원으로 평가를 끝까지 운영할 수 있는가의 문제입니다. 시험지를 만들 수 있다는 것만으로 충분하지 않습니다. 과제를 준비하고, 학생에게 실시하고, 답안을 채점하고, 결과를 해석하여 돌려주는 전체 과정에 비용·시간·인력이 필요합니다. 따라서 같은 면접 검사도 학생 수, 교사 수, 녹음 장비, 결과 제출 기한에 따라 운영 가능성이 달라집니다.
시간을 줄이는 방법은 다른 평가 원리와 함께 검토해야 합니다. 면접을 선택형 문항으로 바꾸면 실시와 채점은 빨라질 수 있지만, 목표가 실제 대화 능력이라면 학생이 말을 이어 가고 상대에게 반응하는 모습을 볼 기회가 줄어듭니다. 가장 빠른 검사가 항상 가장 적절한 검사는 아닙니다.
원서 연결: Brown (2007), Teaching by Principles, Ch.23, pp.446–448은 “scoring and interpretation”까지 practical한 운영의 범위에 포함합니다. 아래는 이 원리를 적용한 자체 제작 상황입니다.
학생 40명을 한 수업 시간 안에 개별 면접하고 교사 한 명이 바로 채점해야 한다면, 과제 내용이 적절하더라도 실제로 운영할 수 있는지 따져 봐야 합니다. 준비부터 실시, 채점, 결과 해석까지 필요한 시간과 자원을 모두 고려합니다.
채점 시간이 짧다는 것은 practicality의 근거이지 validity의 증거 자체가 아닙니다. 반대로 실제 언어 사용과 닮은 과제도 채점 기준과 운영 계획이 부족하면 쓰기 어렵습니다.
상황의 결정 단서: 과제와 채점 기준은 그대로 두고 실시 일정을 나누었다면, 달라진 것은 시간 제약 안에서의 실행 가능성입니다. 따라서 practicality의 개선이며, 이 조치만으로 reliability나 validity가 높아졌다고 결론내리지는 않습니다.
Internal-consistency, student, test administration, intra-rater, inter-rater, test-retest, equivalent-forms, split-half reliability를 구분합니다.
14 듣고 쓴 같은 글을 두 채점자가 같은 척도로 평가했는데 점수가 달라지는 조건을 확인합니다. 평가 기능의 결합과 채점자 간 일치도는 다른 분석 축입니다.
기출 원문 · Rater reliability
Each contestant’s composition was evaluated by two English teachers using the same rating scale. Below is part of the two teachers’ scoring results.
| Students | Criteria | Teacher A | Teacher B |
|---|---|---|---|
| Giho Lim | Content | 2 | 5 |
| Organization | 1 | 4 |
* 1 = lowest ↔ 5 = highest
출처: 한국교육과정평가원, 2014학년도 중등 임용 영어 전공A 7번, 인쇄면 3쪽. 제공된 기출 원문
해설 · 기출 판별 같은 학생의 같은 답안을 같은 척도로 평가했는데 두 채점자의 점수가 다르다. 이 사례에서는 채점자 간 일관성(inter-rater reliability)을 본다. 한 채점자가 시간이나 피로에 따라 일관성을 잃는 intra-rater reliability와 구분한다.
21 한 채점자의 피로와 시간에 따른 기준 변화는 intra-rater 문제입니다. 25 같은 사람의 일관성이 확보되어도 두 채점자의 기준이 다르면 inter-rater 문제가 남습니다. 누구의 어떤 점수들을 비교하는지 확인합니다.
Inter-rater reliability는 여러 채점자가 같은 답안에 부여한 점수가 얼마나 일치하는지를 뜻합니다. Intra-rater reliability는 한 채점자가 얼마나 일관된 기준으로 채점하는지를 뜻합니다. 같은 답안에 두 교사가 서로 다른 점수를 주는 경우와, 한 교사가 피로 때문에 채점 기준을 다르게 적용하는 경우를 구별해야 합니다.
Test-retest reliability는 같은 검사를 일정한 시간 간격을 두고 다시 실시한 뒤 두 결과를 비교하여 확인합니다. Parallel/equivalent-forms reliability는 같은 능력을 측정하도록 동등하게 제작한 두 검사형의 결과를 비교하여 확인합니다. Internal consistency는 한 검사에서 같은 능력을 측정하는 문항들이 얼마나 일관된 결과를 보이는지를 뜻하며, split-half method는 이를 추정하는 방법 중 하나입니다.
학생의 일시적인 피로·불안, 교실의 소음, 녹음 자료의 음질, 모호한 문항 때문에 점수 차이가 생길 수 있습니다. 다만 같은 검사를 반복할 때에는 실제 학습이나 연습의 효과로 점수가 달라질 수도 있으므로, 모든 점수 차이를 측정 오류로 보아서는 안 됩니다.
같은 답안과 동일한 rubric을 사용해도 채점자마다 descriptor를 다르게 해석할 수 있습니다. 답안의 차이와 채점자의 판단 차이를 나누어 관찰합니다.
Inter-rater reliability를 높이려면 rubric에 각 수행 수준을 구체적으로 설명해야 합니다. 여러 채점자가 동일한 답안을 채점하고 결과를 비교하면서 기준을 맞추는 연습도 필요합니다. rubric이 있다고 해서 채점 결과가 반드시 일치하는 것은 아닙니다.
조건·방법·관찰 대상을 나누기: 학생의 피로와 실시 장소의 소음은 점수에 영향을 줄 수 있는 조건이고, inter-/intra-rater는 채점 일관성의 관찰 대상입니다. Test-retest·equivalent forms·split-half는 서로 다른 자료를 비교하는 방법입니다. 같은 층위의 이름 목록으로만 외우지 말고 누구/무엇을 고정하고 어떤 점수를 비교했는지를 확인합니다.
24 원문은 검사 전체의 internal consistency에 Cronbach’s alpha를, 개별 문항 변별도에 item-total correlation을 사용합니다. 검사 전체의 계수와 개별 문항의 계수를 같은 수치로 읽지 않습니다.
Brown, H. D. (2007). Teaching by Principles (3rd ed.), Ch.23, pp.447–448: 학생·실시·채점 관련 reliability와 명확한 scoring criteria.
| 관점 | 확인할 대상 | 짧은 예 |
|---|---|---|
| Content validity | 목표 영역의 대표성과 coverage | 읽기 목표가 다양하지만 reference 문항만 출제되었는지 검토 |
| Construct validity | 정의한 능력과 과제·채점·점수 해석의 관계 | 대화 능력에 interaction을 포함했는데 채점에서 빠졌는지 검토 |
| Face validity | 응시자가 검사 목적에 적절하다고 느끼는 인상 | 학생이 말하기 과제를 적절하다고 느낌 |
| Concurrent evidence | 비슷한 시점의 적절한 외적 criterion과의 관계 | 새 읽기 검사와 같은 시기 관련 검사 점수를 비교 |
| Predictive evidence | 이후 관련 수행과의 관계 | 입학 시 읽기 점수와 이후 학업 수행을 비교 |
서로 배타적인 다섯 상자가 아닙니다. Content·construct는 연결되며, concurrent·predictive는 criterion-related evidence를 구별합니다. Face validity의 인상만으로 점수 해석이 입증되지는 않습니다.
실제 대화 수행을 목표로 하는데 paper-and-pencil 문법 선택형 문항만 사용한다면 목표 행동을 충분히 다루기 어렵습니다.
원문 읽기 · Validity의 판단 기준
Content validity
If a test actually samples the subject matter about which conclusions are to be drawn, if it requires the test-taker to perform the behavior that is being measured, it can claim content validity.Face validity
Does the test, on the ‘face’ of it, appear from the learner’s perspective to test what it is designed to test?Construct validity
Does this test actually tap into the theoretical construct as it has been defined?출처: Brown, H. D. (2007). Teaching by Principles: An Interactive Approach to Language Pedagogy (3rd ed.), pp.448–450.
해설 · 기출 판별 내용·행동을 적절하게 표집했는지, 학습자에게 검사 목적에 맞아 보이는지, 정의한 이론적 구인을 실제로 측정하는지의 질문을 구분한다. 시험의 겉모습이 그럴듯하다는 사실만으로 구인 타당도가 입증되지는 않는다.
Validity를 살필 때는 “이 점수로 무엇을 말하려는가?”부터 묻습니다. 시험에서 나온 숫자는 학생의 능력 그 자체가 아니라 특정 과제에서 얻은 수행 결과를 요약한 것입니다. 그 숫자로 읽기 이해, 대화 능력, 특정 수업의 성취 등을 판단하려면 과제와 채점 기준이 그 판단에 알맞다는 근거가 필요합니다. 따라서 같은 검사라도 허용되는 해석의 범위가 달라질 수 있습니다.
Content를 검토한다는 것은 문항 몇 개가 좋아 보이는지 보는 데서 끝나지 않습니다. 먼저 목표 영역을 정하고, 각 문항이 무엇을 다루는지 대조한 뒤, 문항 전체가 중요한 영역을 빠뜨리거나 특정 부분에 지나치게 치우치지 않았는지 확인합니다. 쉬운 문항과 어려운 문항을 섞었다는 사실만으로 목표 내용이 골고루 포함되는 것은 아닙니다.
원서 연결: Brown (2007), Teaching by Principles, Ch.23, pp.448–450. 아래 비교는 content와 construct를 서로 독립적인 합격 항목으로 나누려는 것이 아니라, 점수 해석을 뒷받침하는 근거가 어디에 있는지를 구별하기 위한 것입니다.
수업에서 main idea 파악, inference, reference 파악을 목표로 삼았는데 시험에는 지시 대상을 묻는 문항만 있다면, 목표 영역을 충분히 다루었다고 보기 어렵습니다. 개별 문항이 평가하려는 영역을 대표하는지(item representativeness)와 문항 전체가 그 영역을 충분히 다루는지(domain coverage)를 구별합니다.
학교 수업의 성취를 평가할 때는 가르친 내용과 목표에 맞는지가 중요합니다. proficiency test는 특정 수업이 아니라 평가 대상으로 정한 language-use domain을 기준으로 합니다. 따라서 특정 교과서와 내용이 다르다는 이유만으로 content validity가 낮다고 단정할 수는 없습니다.
content validity와 construct validity는 서로 무관한 개념이 아닙니다. 문제의 단서가 문항 전체의 대표성을 가리키는지, 이론적으로 정의한 능력과 점수 해석의 관계를 가리키는지 살펴보고 가장 직접적으로 관련되는 근거를 제시합니다.
20 문항을 test specifications에 대조하는 검토와 다른 검사의 점수와 비교하는 검토는 근거가 다릅니다. 무엇과 비교했는지를 먼저 확인한 뒤 validity evidence의 종류를 설명합니다.
Oral interview score를 pronunciation과 grammar만으로 결정하면 intended construct를 충분히 측정하지 못할 수 있습니다.
원문 · Construct-irrelevant variance
Depending on the detailed definition of the construct, vocabulary knowledge or reading speed might also be irrelevant components.출처: AERA, APA, & NCME (2014). Standards for Educational and Psychological Testing, p.12.
해설 · 기출 판별 어휘 지식이나 읽기 속도가 항상 무관한 요소라는 뜻은 아니다. 평가하려는 능력을 어떻게 정의했는지 먼저 확인해야 한다. 목표 능력의 일부를 빠뜨린 문제와, 목표 밖의 요인이 점수에 섞인 문제를 구분한다.
Construct는 평가하려는 능력을 이론적으로 정한 것입니다. 예를 들어 대화 능력에 무엇을 포함할지 정하지 않으면 발음 점수가 대화 능력을 충분히 나타내는지 판단할 수 없습니다. 먼저 목표 능력의 구성 요소를 밝히고, 그 요소를 드러낼 과제와 채점 기준을 설계해야 합니다.
문제가 생기는 방향은 두 가지입니다. 필요한 능력을 과제나 채점이 놓치면 construct underrepresentation을 의심합니다. 목표와 무관한 요인 때문에 점수가 달라지면 construct-irrelevant variance를 의심합니다. 무엇을 목표 능력에 포함했는지에 따라 같은 쓰기 요구도 필요한 요소가 될 수 있고 불필요한 요소가 될 수 있습니다.
Construct underrepresentation: 평가하려는 communicative speaking ability에 fluency와 interaction이 포함되어 있는데 pronunciation과 grammar만 채점하는 경우입니다. 필요한 요소가 빠져 점수가 목표 능력을 충분히 나타내지 못합니다.
Construct-irrelevant variance: 듣기 이해만 평가하려는데 긴 서술형 답안의 철자와 문법이 점수에 크게 반영되는 경우입니다. 들은 내용을 이해한 학생도 쓰기 능력이 부족하면 낮은 점수를 받을 수 있습니다. 이처럼 평가하려던 능력 이외의 요인이 점수에 영향을 줍니다. 다만 듣기와 쓰기를 통합하여 평가하는 것이 목표라면, 쓰기를 요구한다는 사실 자체가 문제는 아닙니다.
reliability가 높다는 사실만으로 점수를 타당하게 해석할 수 있는 것은 아닙니다. 모든 채점자가 일관되게 철자만 채점하더라도, 그 점수로 전반적인 말하기 능력을 판단할 근거는 부족합니다.
목표 정의를 바꾼 경우: 듣기 이해만 측정하는 평가와, 강의를 듣고 학술 요약문을 작성하는 통합 수행 평가를 비교합니다. 글의 구성에 부여하는 점수가 목표 능력과 어떤 관계인지 확인합니다.
판단 근거: 요약문 작성이 목표에 포함되면 구성도 관련 요소일 수 있습니다. 같은 쓰기 요구라도 목표가 달라지면 평가에서의 역할이 달라지므로 목표 정의와 점수 반영 비중을 함께 검토합니다.
도식의 화살표는 설계와 해석의 관계입니다. 과제를 실시하고 점수를 냈다는 사실만으로 마지막 해석이 정당해지는 것은 아닙니다. 누락과 개입은 서로 다른 문제지만 한 검사에서 함께 나타날 수 있습니다.
도식의 진행 방향: 목표 능력을 먼저 정의하고 그것을 드러낼 과제와 채점을 설계합니다. 점수를 얻은 뒤에는 그 점수로 어느 능력까지 해석할 수 있는지 근거를 따집니다. Underrepresentation은 목표의 중요한 부분이 빠진 문제이고, irrelevant variance는 목표 밖 요인이 개입한 문제입니다. 한쪽을 줄였다고 다른 쪽이 자동으로 해결되지는 않습니다.
AERA, APA, & NCME (2014). Standards for Educational and Psychological Testing, Ch.1, pp.11–12: 의도한 사용을 위한 점수 해석의 근거와 construct underrepresentation/irrelevance. 도식과 사례는 설명을 위해 구성했다.
Concurrent validity는 비슷한 시점의 관련 외적 criterion과의 관계, predictive validity는 이후의 관련 performance를 예측하는 근거입니다. 비교 대상도 목적에 적합해야 합니다.
해설
Face validity concerns whether an assessment appears appropriate to those taking it; this perception does not itself establish that the intended ability is measured. Concurrent and predictive evidence instead concern relationships with an external criterion. Concurrent studies obtain criterion information at approximately the same time as the test, whereas predictive studies obtain it later. The distinction is about the timing of the criterion, not whether the test looks realistic.
원서·연구 자료의 개념 설명을 영어로 재구성했습니다.
출처: AERA, APA, & NCME (2014). Standards for Educational and Psychological Testing, Ch.1, p.17; Brown, H. D. (2007). Teaching by Principles (3rd ed.), Ch.23, p.449.
학생이 “말하기 능력을 평가하기에 적절한 과제다”라고 느끼는 것은 face validity와 관련됩니다. 이러한 인상만으로 실제 목표 능력을 측정했다고 입증되지는 않습니다.
새 읽기 검사의 결과를 비슷한 시점에 실시한, 적절성이 확인된 읽기 검사 점수와 비교하면 concurrent evidence를 얻습니다. 입학 시 읽기 점수와 이후 학업 수행의 관계를 조사하면 predictive evidence를 얻을 수 있습니다.
교사가 문항과 test specification을 대조하는 것은 평가 내용을 검토하는 일입니다. 외적 criterion과의 관계를 조사하는 concurrent validation과는 구별해야 합니다.
24 외적 criterion 검사가 같은 시점에 실시되었는지, 이후 수행을 보여 주는지가 concurrent/predictive 구별의 단서입니다. 상관계수가 높다는 사실만으로 어느 종류의 근거인지 정하지 않습니다.
| 개념 | 중심 질문 | 비교 예 |
|---|---|---|
| Authenticity | 과제가 target language use의 특징과 대응하는가? | 문서 입력 업무와 유사한 입력 과제는 업무 대응성이 높을 수 있음 |
| Interactiveness | 수행에 학습자의 언어 능력·주제 지식 등이 얼마나 관여하는가? | 경험을 설명하는 과제는 개인의 지식과 언어 능력을 활용하게 함 |
실제 업무와 비슷한 정도와 개인의 능력·지식이 관여하는 정도는 따로 판단합니다. 두 사람이 대화했다는 사실만으로 interactiveness가 높다고 단정하지 않습니다.
Natural language, contextualized items, thematic organization, meaningful topic이 관련됩니다.
원문 읽기 · Authenticity
the degree of correspondence of the characteristics of a given language test task to the features of a target language task출처: Bachman & Palmer (1996), p.23, Brown, H. D. (2007), Teaching by Principles: An Interactive Approach to Language Pedagogy (3rd ed.), p.450에서 재인용.
해설 · 기출 판별 겉보기에 현실적인 소재인지보다 시험 과제의 특성이 목표 언어 사용 과제의 특성과 얼마나 대응하는지 비교한다. 무엇을 읽고, 왜 읽고, 어떤 반응을 해야 하는지가 판단 단서다.
25 친구와의 경험을 말하는 Item 1의 real-life 주제는 authenticity, 원하는 응답을 분명히 안내한 Item 2는 clarity의 근거입니다. 현재 적용된 원칙과 운영상의 약점, 다음 평가의 개선 계획을 구별합니다. 시간이 오래 걸렸다는 말은 practicality의 문제이며, 향후 통합 과제를 넣겠다는 계획은 현재 통합 평가를 했다는 증거가 아닙니다.
영어로 도서 대출을 안내하는 능력을 평가한다면, 이용자의 요청을 듣고 조건에 맞는 대출 절차를 안내하게 하는 과제는 target language use를 잘 반영합니다. 반면 같은 안내문에서 전치사만 고르게 하는 과제는 실제 자료를 사용하더라도 실제 업무의 언어 사용 방식과는 차이가 클 수 있습니다.
먼저 누구를 위한 검사인지, 응시자가 실제로 어떤 언어 과제를 수행해야 하는지 확인합니다. 그런 다음 시험의 목적과 상황, input, response가 그 과제를 얼마나 반영하는지 살펴봅니다. “원어민 자료”나 “role play”라는 이름만으로 authenticity를 판단하지 않습니다.
Role play도 target language use와 실제 수행 방식이 맞고 learner가 언어·전략·주제 지식을 활용할 때 두 특성이 높아집니다.
원문 구절 · Interactiveness
the extent and type of involvement of the test taker’s individual characteristics in accomplishing a test task해설 · 기출 판별 두 사람이 서로 말하는지보다, 과제를 수행하면서 수험자의 어떤 특성이 어느 정도 동원되는지를 본다. 혼자 수행하는 과제도 언어 능력·배경지식·전략 등을 충분히 요구할 수 있다.
Interactiveness는 과제 수행에 language ability, topical knowledge, affective schemata, 전략이 얼마나 관여하는지와 관련됩니다. 두 사람이 대화했는지만으로 판단하지 않습니다. 혼자 글을 읽고 근거를 비교하여 의견을 쓰는 과제에도 이러한 능력과 지식 등이 관여할 수 있습니다.
교재의 비교 방식을 응용한 예시입니다. 문서를 그대로 입력하는 업무의 지원자가 영어 목록을 보고 그대로 입력한다면, 실제 업무와는 비슷하지만 내용을 이해해야 할 필요는 적을 수 있습니다. 같은 지원자에게 여행 경험을 자유롭게 설명하게 하면 개인의 지식과 언어 능력을 많이 활용하겠지만, 문서 입력 업무와의 관련성은 낮을 수 있습니다.
따라서 authenticity와 interactiveness는 별도로 판단합니다. 실제 업무의 언어 사용을 얼마나 반영하는지, 학습자의 능력과 지식 등이 얼마나 관여하는지 각각 근거를 제시해야 합니다.
구체적인 feedback과 후속 학습은 beneficial washback을 돕습니다. 점수만 돌려주는 방식은 개선 정보를 충분히 주지 못하며, 시험 대비가 수업을 편중시키는 negative washback도 살펴야 합니다.
원문 읽기 · Washback
Informal assessment is by nature more likely to have built-in washback effects, because the teacher is usually providing interactive feedback. Formal tests can also have positive washback, but they are also subject to an inadvertent absence of washback if students simply receive a letter grade or a single overall numerical score.출처: Brown, H. D. (2007). Teaching by Principles: An Interactive Approach to Language Pedagogy (3rd ed.), p.451.
해설 · 기출 판별 평가 형식만으로 긍정적 washback이 보장되지는 않는다. 원문은 상호작용적 피드백과 단순한 점수 통지를 대비한다. 학생의 다음 학습에 도움이 되는 정보가 전달되는지를 확인한다.
22 교사가 평가 결과에 따라 fluency 활동을 늘리려는 변화와, 학생이 시험 점수 때문에 쓰기 연습을 소홀히 하는 변화를 함께 읽습니다. Washback의 존재와 그 영향이 바람직한지는 별도로 판단합니다.
교사가 발표 평가 결과를 보고 다음 시간에 내용을 자연스럽게 연결하는 표현을 지도하고, 학생이 피드백을 반영하여 다시 발표한다면 positive washback을 기대할 수 있습니다. 평가 결과로 보완할 점을 파악하고 실제 수업과 학습에 반영하는 것이 중요합니다.
시험에 문법 선택형 문항만 나온다는 이유로 학생이 듣기·말하기 연습을 중단한다면, 시험 전에도 negative washback이 생긴 것입니다. 따라서 washback은 시험이 끝난 뒤 제공하는 피드백만을 뜻하지 않습니다.
점수만으로는 구체적인 개선 방법을 알기 어렵습니다. 그렇더라도 점수만 제공하는 시험이 학생의 시험 준비나 수업 내용에 아무 영향도 주지 않는다고 볼 수는 없습니다.
16 점수 이후 어떤 항목을 틀렸는지와 앞으로 무엇을 학습할지 안내받지 못한 성찰을 봅니다. 구체적 feedback과 후속 학습의 연결이 부족하다는 근거이며, 시험이 아무 영향도 주지 않았다는 뜻으로 확대하지 않습니다.
Brown, H. D. (2007). Teaching by Principles (3rd ed.), Ch.23, pp.451–452: 시험 전 준비와 시험 후 feedback을 포함한 washback.
Portfolio assessment는 formal이면서 formative일 수 있습니다.
해설
Formative assessment uses evidence of current performance to identify the next steps for instruction or learner improvement. Summative assessment uses evidence to summarize attainment over a completed period of learning. The distinction depends on how the evidence is used, not simply on when the assessment takes place. The same quiz results may serve both purposes when they are used to summarize attainment and also to plan further instruction.
출처: Brown, H. D. (2004). Language Assessment: Principles and Classroom Practices, Ch.1, pp.6–7.
Assessment는 학습에 관한 근거를 모아 판단하는 넓은 과정이고, test는 그 방법 중 하나입니다. 수업 중 학생의 설명을 듣는 일도 assessment가 될 수 있습니다. Formal/informal을 구별할 때는 일정·절차·채점 기준이 얼마나 미리 정해져 있는지 확인합니다. 반면 formative/summative는 모은 근거를 어떤 결정에 쓰는지를 묻습니다.
Formative 기능은 현재 수행과 목표 사이의 차이를 확인하고 다음 학습을 조정할 때 나타납니다. 학생에게 무엇을 바꾸면 되는지 알려 주고, 바꿔 볼 기회가 있어야 학습을 돕는 연결이 분명해집니다. Summative 기능은 일정한 시점의 성취를 종합하여 기록·판단하는 데 있습니다. 성적에 반영했는지와 후속 학습에 활용했는지를 각각 확인하면 한 활동에 두 기능이 함께 있다는 점도 설명할 수 있습니다.
교사가 단원 퀴즈 결과를 성적에 반영하면 summative assessment의 용도로 사용한 것입니다. 같은 결과로 학생들이 어려워하는 내용을 파악하여 다음 수업을 조정하고 다시 연습하게 한다면 formative assessment의 용도로도 사용한 것입니다. 하나의 평가 결과를 두 목적으로 활용할 수 있습니다.
Formal/informal은 평가가 얼마나 계획적이고 체계적으로 이루어지는지를, formative/summative는 결과를 어떤 목적으로 사용하는지를 구분합니다. 계획된 시험도 formative assessment의 목적으로 활용할 수 있습니다.
시험을 자주 치른다는 이유만으로 formative assessment가 되는 것은 아닙니다. 결과가 피드백과 이후의 수업·학습 조정으로 이어지는지 확인해야 합니다.
| 질문 | 구분 | 판별할 근거 | 발표 평가 예 · 학습용 |
|---|---|---|---|
| 절차가 얼마나 계획·체계화되었는가? | Formal / informal | 평가 일정, 과제, 채점 기준 | 정해진 일정·rubric으로 발표를 평가하면 formal. |
| 결과를 무엇에 쓰는가? | Formative / summative | 후속 학습 조정 또는 성취의 종합 판단 | 점수를 성적에 반영하면 summative; 피드백으로 다음 발표를 고치면 formative. |
| 점수를 무엇과 비교하는가? | Norm / criterion-referenced | 다른 응시자 또는 정해진 목표·기준 | 학급 내 순위는 norm, 사전 수행 기준 달성 여부는 criterion. |
| 목표 수행을 직접 하게 하는가? | Direct / indirect | 실제 수행 관찰 또는 다른 지표로 추론 | 발표를 직접 관찰하면 direct; 다른 문항의 점수로 발표 능력을 추론하면 indirect. |
Norm-referenced는 rank order, percentile, relative standing과 관련되고 criterion-referenced는 정해진 목표·기준에 비춘 수행 정보를 제공합니다. 이를 구체적인 feedback에 활용할 수 있지만, 기준에 따른 해석 자체와 feedback의 질은 구분합니다.
원문 읽기 · 점수 해석의 기준
Norm-referenced 점수 해석의 참조값 · 원문 구절
a mean, median, standard deviation, and/or percentile rankCriterion-referenced tests · 원문 구절
designed to give test-takers feedback on specific course or lesson objectives, that is, the ‘criteria.’출처: Brown, H. D. (2007). Teaching by Principles: An Interactive Approach to Language Pedagogy (3rd ed.), p.447.
해설 · 기출 판별 다른 응시자 집단에서의 상대적 위치를 해석하는지, 특정 수업 목표의 달성 정도를 해석하는지 구분한다. 점수를 숫자로 제시했다는 사실이나 시험 규모만으로 norm/criterion을 결정하지 않는다.
두 criterion의 의미를 구별합니다. Criterion-referenced testing은 수행을 정해진 목표·기준과 비교하는 점수 해석입니다. Criterion-related validity는 검사 점수와 적절한 외적 criterion의 관계를 근거로 해석을 뒷받침하는 것입니다. 기준에 따른 성취 판단과 외적 준거와의 관계 검증은 같은 분류가 아닙니다.
점수와 점수의 해석을 구별합니다. 80점이라는 숫자만으로는 다른 학생보다 잘했는지, 목표를 달성했는지 알 수 없습니다. Norm-referenced interpretation에는 비교 집단에 관한 정보가 필요하고, criterion-referenced interpretation에는 달성해야 할 기준이 필요합니다. 기준은 시험 뒤에 순위를 보고 임의로 정하는 것과 다릅니다. 같은 수행 자료도 어떤 비교를 하느냐에 따라 제공하는 정보가 달라집니다.
“이 학생은 비교 집단의 80%보다 높은 점수를 받았다”는 norm-referenced interpretation입니다. “과제 목표 세 가지 중 두 가지를 달성했다”는 criterion-referenced interpretation입니다.
정해진 기준에 따라 평가하면 모든 학생이 그 기준을 충족할 수도 있습니다. 반면 상위 몇 %만 선발한다면 다른 학생들의 수행에 따라 선발 여부가 달라집니다. 숫자로 표시된 점수라도 어떤 기준과 비교하느냐에 따라 해석이 달라집니다.
Direct/indirect는 점수 해석의 기준이 아니라 평가 방식을 구분하는 개념입니다. 실제로 글을 쓰게 하여 쓰기 능력을 평가하면 direct testing, 오류 찾기 점수로 쓰기 능력을 추론하면 indirect testing입니다. Integrative/discrete-point는 한 과제에서 여러 능력을 함께 평가하는지, 개별 요소를 분리하여 평가하는지를 구분합니다.
서로 다른 분류의 조합: 실제 발표를 관찰하는 것과 발표 기준의 충족 여부로 결과를 해석하는 것을 나누어 봅니다. 첫 조건은 평가 방식, 둘째는 점수 해석의 기준을 보여 줍니다.
판단 근거 둘은 배타적인 선택지가 아닙니다. 실제 발표를 관찰했다는 점에서는 direct, 정해진 수행 기준과 비교했다는 점에서는 criterion-referenced입니다. 문제에서 평가 방식과 해석 기준 중 무엇을 묻는지 확인합니다.
Proficiency test는 특정 수업 이수 여부와 독립적으로 의도한 사용 영역의 능력, placement test는 비슷한 level group 분류, diagnostic test는 strengths/weaknesses 파악, achievement test는 instruction outcome 확인입니다.
원문 읽기 · 평가 목적에 따른 유형
Proficiency
A proficiency test is not intended to be limited to any one course, curriculum, or single skill in the language.Diagnostic
A diagnostic test is designed to diagnose a particular aspect of a language.Placement
A placement test typically includes a sampling of material to be covered in the curriculum […]Achievement
An achievement test is related directly to classroom lessons, units, or even a total curriculum.Aptitude
A language aptitude test is designed to measure a person’s capacity or general ability to learn a foreign language and to be successful in that undertaking.출처: Brown, H. D. (2007). Teaching by Principles: An Interactive Approach to Language Pedagogy (3rd ed.), pp.453–455.
해설 · 기출 판별 어떤 과정에 한정하지 않은 숙달도, 특정 영역의 진단, 적절한 단계 배치, 배운 내용의 성취, 앞으로 배울 능력을 구분한다. 같은 문제 형식도 시행 목적에 따라 다른 평가 유형에 쓰일 수 있다.
Aptitude test는 언어를 학습할 잠재력이나 이후 학습의 성공 가능성을 알아보려는 검사입니다. 현재의 언어 사용 능력을 평가하거나 적절한 과정에 배치하는 목적과 구별하며, 미래 성취를 확정하는 검사로 이해하지 않습니다.
18 수업 전이라는 시점보다 준비도·강점·약점 파악이라는 diagnostic 목적이 핵심입니다. 19 명세의 placement 목적과 실제 교사가 밝힌 aptitude 목적을 대조합니다. 말하기 과제를 썼다는 사실만으로 그 과제가 학습 잠재력을 타당하게 측정한다고 인정하는 것은 아닙니다.
placement test는 지원자를 초급·중급 등 적절한 과정에 배치하기 위한 검사입니다. diagnostic test는 중심 내용은 잘 파악하지만 추론은 어려워한다는 식으로 보완할 영역을 찾기 위한 검사입니다. 둘 다 학기 초에 실시할 수 있으므로 실시 시점만으로 구별하지 않습니다.
achievement test는 학습한 단원이나 교육과정의 목표를 얼마나 달성했는지 확인합니다. proficiency test는 특정 수업의 이수 여부와 관계없이 평가 대상으로 정한 언어 사용 영역에서의 능력을 평가합니다. 특정 직무나 학업에 필요한 숙달도를 평가할 수도 있습니다.
동일한 자료가 배치와 진단에 모두 쓰일 수 있습니다. 문제에서 요구하는 결정이 반 배치인지, 취약점 보완인지 먼저 확인한 뒤 목적을 설명합니다.
원문 읽기 · The argument for integrative testing
The claim was, in short, that communicative competence is so global and requires such integration (hence the term “ integrative” testing) that it cannot be captured in additive tests of grammar and reading and vocabulary and other discrete points of language. Others (Cziko, 1982; Savignon, 1982) soon followed in their support for integrative testing.출처: Brown, H. D. (2007). Teaching by Principles: An Interactive Approach to Language Pedagogy (3rd ed.), p.456; 단일 특성 가설에 대한 후속 논의는 p.457.
해설 · 기출 판별 Brown이 소개하는 초기 통합적 평가의 논거다. 문법·어휘 등의 분리된 점수를 단순히 더하는 것과, 여러 자원을 함께 써서 과제를 해결하는 것은 다르다. 다만 이 논거를 모든 언어 능력이 하나의 구분 불가능한 능력이라는 주장까지 확장하면 안 된다. Brown은 다음 쪽에서 단일 특성 가설에 대한 반론도 소개한다.
Cloze test는 글의 일부를 비워 두고 문맥과 언어 지식을 이용해 복원하게 하는 형식입니다. 무엇을 삭제했는지와 어떤 응답을 정답으로 인정하는지는 별개의 결정입니다.
공통 원문 · 학습용: “The students carry books and bags after lunch.”
| 형식 | 삭제·복원 단서 | 삭제 모양 · 학습용 |
|---|---|---|
| Fixed-ratio deletion | 매 n번째 단어처럼 일정 간격으로 삭제합니다. | 첫 문장을 둔 뒤 매 3번째 단어 삭제: “The students ___ books and ___ after lunch.” |
| Rational deletion | 복수 명사 등 목적에 따라 특정 단어·요소를 골라 삭제합니다. | 복수 명사만 삭제: “The ___ carry ___ and ___ after lunch.” |
| C-test | 전형적으로 매 두 번째 단어의 후반부를 삭제하고 남은 부분을 단서로 복원하게 합니다. | 첫 문장을 둔 뒤 매 2번째 단어의 후반부 삭제: “The stud____ carry bo___ and ba__ after lu___.” |
Exact-word scoring은 원문과 같은 단어를 인정하고, acceptable-word scoring은 문법·문맥에 맞는 다른 응답도 인정합니다. 허용 답의 기준을 명확히 해야 채점자가 일관되게 적용할 수 있습니다. 단어 일부를 남겼거나 답을 하나로 제한했다는 사실만으로 목표 능력을 타당하게 측정한다고 보장하지 않습니다.
10 특정 content words를 골라 지운 자료와 단어 일부를 복원하는 C-test를 비교합니다. 19 일정 간격 삭제·복수 명사 선택 삭제·단어 일부 복원이라는 세 활동의 공통 형식을 읽습니다. 문항이 요구하는 단어 수와 문장 구조도 확인합니다.
학습 과정과 결과를 함께 보여 줄 수 있으며, reflection과 feedback에 활용하면 formative 기능을 합니다. 모아 두기만 한다고 학습 개선이 보장되지는 않습니다.
원문 읽기 · Portfolios
A portfolio is “a purposeful collection of students’ work that demonstrates to students and others their efforts, progress, and achievements in given areas” (Genesee & Upshur, 1996, p. 99). Portfolios include essays, compositions, poetry, book reports, artwork, video- or audiotape recordings of a student’s oral production, journals, and virtually anything else one wishes to specify.출처: Brown, H. D. (2007). Teaching by Principles: An Interactive Approach to Language Pedagogy (3rd ed.), p.475.
해설 · 기출 판별 Brown이 Genesee & Upshur (1996, p.99)의 정의를 재인용한 문장이다. 자료의 수나 종류보다 학습자의 노력·진전·성취를 보여 주려는 목적이 핵심이다. 작품 모음에 평가 목적과 선정 근거가 있는지를 본다.
Portfolio의 핵심은 자료의 양이 아니라 학습 목표에 맞게 선정한 자료로 progress와 achievement를 보여 주는 것입니다. 초안·수정본·녹음이 모여 있다는 사실에 더해, 어떤 변화를 보여 주려고 선정했는지를 읽습니다.
| 제시된 자료·행동 | 그 자료로 확인할 점 |
|---|---|
| 초안과 수정본을 목표에 맞게 선정 | 같은 학습자의 변화와 성취를 보여 주는 근거 |
| 선정 이유·수정 이유를 설명 | 학습자가 자신의 과정과 결과를 돌아보는 reflection |
| 검토 결과를 다음 수정에 반영 | 후속 학습 조정으로 이어지는 formative 기능 |
예를 들어 같은 학생의 첫 발표와 수정 후 발표를 비교하여, 주장을 뒷받침하는 근거를 제시하는 방식이 어떻게 달라졌는지 기록할 수 있습니다. 초안과 피드백, 수정 이유를 함께 살펴보면 결과뿐 아니라 발달 과정도 확인할 수 있습니다.
portfolio도 최종 성취를 판단하는 데 사용할 수 있습니다. formative assessment의 기능을 하려면 중간 검토와 후속 수정이 필요합니다. Rubric과 자료 선정 기준은 평가 근거를 분명하게 하지만, 자료를 모았다는 사실만으로 학습 개선이 입증되지는 않습니다.
Learner autonomy와 intrinsic motivation을 지원할 수 있으며, 구체적인 checklist와 conferencing이 evidence 기반 판단에 도움이 됩니다.
원문 읽기 · Self- and peer-assessment
What successful learner has not developed the ability to monitor his or her own performance and to use the data gathered for adjustments and corrections? Successful learners extend the learning process well beyond the classroom and the presence of a teacher or tutor, autonomously mastering the art of self-assessment. And where peers are available to render assessments, why not take advantage of such additional input?출처: Brown, H. D. (2007). Teaching by Principles: An Interactive Approach to Language Pedagogy (3rd ed.), p.479.
해설 · 기출 판별 자기평가는 자신의 수행을 점검한 정보를 수정·조정에 쓰는 과정이며, 동료평가는 다른 학습자의 판단을 추가한다. 이 문단은 학습상 이점을 설명한다. 평가의 정확성이 저절로 보장된다는 뜻은 아니다.
“나는 잘했다” 대신 “주장을 뒷받침하는 이유를 두 가지 제시했는가?”처럼 관찰 가능한 기준을 둡니다. 학생은 자신의 글·녹음에서 근거를 찾고, 교사나 동료와 판단을 비교한 뒤 다음 목표를 정합니다.
자기 평가는 autonomy와 intrinsic motivation을 높이는 데 도움이 될 수 있지만, 평가 결과가 항상 정확한 것은 아닙니다. 평가 기준을 이해하는 연습, 예시 자료 검토, 반복적인 자기 평가, 교사와의 conferencing이 더 정확한 판단에 도움이 됩니다.
| 방식 | 점수를 부여하는 단위 | 해석할 때 주의 | 같은 글의 채점 예 · 학습용 |
|---|---|---|---|
| Holistic scoring | 수행의 여러 측면을 종합해 하나의 점수 부여 | 기준 없이 인상만으로 채점한다는 뜻은 아님 | 내용·구성·언어를 함께 읽고 전체 descriptor에 따라 4점 하나를 부여한다. |
| Analytic scoring | 내용·구성·언어 등 각 기준에 별도 점수 부여 | 항목 점수를 가중 합산해 총점을 낼 수도 있음 | 내용 4·구성 3·언어 2를 각각 부여한다. 나중에 합계 9점을 보고해도 analytic이다. |
보고된 총점보다 실제 채점 절차를 확인합니다. 두 방식 모두 목표에 맞는 rubric, 명확한 descriptor와 rater training이 필요합니다.
| 지표 | 분석 단위·의미 | 예 / 구별 단서 |
|---|---|---|
| Item facility | 개별 문항 · 해당 응답 집단의 정답 비율 | 18/24 = .75 → 그 집단의 75%가 정답 |
| Item discrimination | 개별 문항 · 수행 수준을 구별하는 정도 | 상·하위 정답률 차이: .75 − .25 = .50. Item-total correlation은 다른 계산법 |
| Cronbach’s alpha | 검사 전체 · internal consistency를 살피는 계수 | 개별 문항의 정답률이나 변별도 계수와 동일하지 않음 |
예시 계산은 아래 기존 설명과 같습니다. 집단·계산법·검사 목적을 함께 봅니다. 숫자 하나로 자동 유지·삭제하지 않으며, alpha만으로 validity를 입증하지 않습니다.
항목별 점수가 구체적인 설명과 후속 학습에 쓰이면 formative feedback에 도움이 됩니다. 채점 방식만으로 효과가 보장되지는 않습니다.
12 Performance-based assessment에서는 목표 수행을 실제로 하게 하고 관찰한 근거로 평가합니다. 대본 작성과 공연은 기능 통합, 공연의 직접 관찰은 direct observation, 항목별 채점은 analytic scoring, 미리 정한 통과 기준은 criterion-referenced interpretation의 근거입니다. 총점을 합산하거나 PASS/FAIL로 보고해도 채점 방식이 자동으로 holistic 또는 norm-referenced가 되지는 않습니다.
holistic rubric은 여러 측면을 종합하여 수행 전체에 하나의 점수를 부여합니다. 기준 없이 느낌대로 채점한다는 뜻은 아닙니다. analytic rubric은 내용, 구성, 언어 사용 등 각 기준에 별도의 점수를 부여하여 강점과 보완할 점을 보여 줍니다.
analytic scoring의 항목별 점수는 필요에 따라 가중치를 적용하여 합산할 수 있습니다. 따라서 총점을 제시했다는 이유만으로 holistic scoring이라고 판단해서는 안 됩니다. 실제 채점 과정에서 항목별로 점수를 부여했는지 확인해야 합니다.
어느 방식도 그 자체로 reliability나 validity를 보장하지는 않습니다. rubric이 평가 목표에 맞아야 하고, descriptor가 명확해야 하며, rater training도 필요합니다.
Stem은 concise and simple, single clearly formulated problem이어야 하며 distractors는 측정 목표와 무관한 단서로 제거되지 않도록 구성합니다. 어휘 의미를 묻는 문항에서는 품사와 문법적 적합성을 맞추는 것이 중요합니다.
23 수정 전후에 불필요한 표현이 줄었는지, 평가할 문제 자체가 하나로 정리되었는지를 각각 확인합니다. 지침 이름과 실제 변경을 연결합니다.
Item analysis의 수치: Item facility는 해당 집단의 정답 비율, item discrimination은 문항이 수행 수준을 구별하는 정도, alpha는 검사 전체의 internal consistency를 살피는 계수입니다. 계산 방식과 분석 단위를 먼저 확인합니다. 24
좋은 문항 수정은 평가하려는 것과 무관한 어려움을 줄입니다. 먼저 무엇을 알아야 정답을 고를 수 있는지 정한 뒤, 문장의 길이·보기의 차이·불필요한 단서가 그 목표와 관련되는지 살펴봅니다. 문항이 짧아지는 것과 한 가지 문제에 초점을 맞추는 것은 서로 다른 개선입니다.
23 간결성은 stem과 options의 표현을 필요한 만큼 직접적으로 쓰는 문제이고, single clearly formulated problem은 서로 다른 지식 차이가 정답 단서로 섞이지 않도록 하는 문제입니다. 둘 중 무엇을 바꾼 수정인지 근거를 찾습니다.
불필요하게 긴 stem을 줄이는 것은 문항을 간결하게 만드는 수정입니다. 한 문항에서 서로 다른 문제를 섞어 묻지 않도록 하는 것은 하나의 명확한 문제를 제시한다는 원리(single clearly formulated problem)와 관련됩니다. 두 원리는 구별해야 합니다.
어휘 의미를 묻는데 정답만 부사라면 품사 단서로 풀릴 수 있습니다. 그러나 목표 자체가 필요한 품사를 고르는 것이라면 품사 차이는 관련 단서가 될 수 있습니다. 무엇을 측정하려는가가 우선입니다.
Passage dependence: 지문을 이해해야 답을 고를 수 있어야 합니다. Item independence: 다른 문항의 답이나 표현이 정답을 알려 주지 않아야 합니다. 둘은 반대말이 아닙니다.
Item facility는 정답자 수를 해당 문항 응답자 수로 나눈 값입니다. 24명 중 18명이 맞으면 .75이며, 값이 클수록 그 집단에는 쉬웠습니다. Item discrimination을 상·하위 집단 정답률 차이로 계산하면, 각 12명인 두 집단에서 9명과 3명이 맞은 경우 .75 − .25 = .50입니다. 중간 집단을 제외했다면 이 두 집단만으로 전체 집단의 facility를 계산하지 않습니다.
상·하위 집단 정답률 차이로 계산한 discrimination이 음수라면 하위 집단의 정답률이 더 높다는 뜻이므로 문항을 검토해야 합니다. 정답이 잘못 지정되었는지, 문항이 모호한지, 다른 능력이 개입했는지 확인하되, 이 값 하나를 검사 전체의 reliability와 동일시하지 않습니다. 아무도 고르지 않은 distractor나 상위 집단이 더 많이 선택한 distractor도 검토 대상입니다. 매우 쉬운 문항을 유지할지는 목표 달성 여부 확인 등 검사의 목적에 따라 판단합니다.
수정 범위 비교: Stem의 길이만 줄인 경우와, 보기에 섞인 서로 다른 지식 단서를 정리한 경우를 비교합니다. 어느 변경이 간결성에, 어느 변경이 한 가지 문제에 집중하는 데 기여하는지 따로 설명합니다.
판단 근거 짧아졌다는 사실은 간결성의 근거입니다. 시제와 어순이 함께 달라져 어느 지식으로 답했는지 분리하기 어렵다면, 한 가지 문제에 초점을 맞추었다는 근거는 아직 부족합니다. 바뀐 부분이 어떤 지침을 충족하는지 각각 따져야 합니다.
24 이 문항의 discrimination은 item-total correlation이며 앞에서 예로 든 상·하위 집단 정답률 차이와 계산법이 다릅니다. 음수 값은 정답 지정·보기 구성 등을 조사할 단서이지, 곧바로 자동 삭제하라는 처방은 아닙니다. 원문의 .3과 .8은 문항에서 제시한 해석 조건으로 읽고 모든 검사에 적용되는 절대 경계로 외우지 않습니다.
수치의 크기와 표본: Facility .75는 정답률이 75%였다는 뜻이며 능력이 75% 완성되었다는 뜻이 아닙니다. 다른 집단에서 다시 실시하면 값도 달라질 수 있습니다. 변별도 검토와 함께 목표 내용을 충분히 다루는지 확인해야 하므로, 숫자 하나만으로 문항을 유지·삭제하지 않습니다.