벌써 두 번째 글입니다~ 요즘 3학년에서도 시험 기간, 수행평가 많이 겹쳐서 저희 언론부도 바쁘게 돌아가고 있지만 많은 글을 올리기는 쉽지 않네요ㅜㅜ.
원래는 제가 학술지를 올리려고 초반에는 계획을 했었는데, 좋은 것도 많지만 다른 잡생각들도 많이 들더구요. 그래서 계속 학술지를 올릴까 아니면 다른 잡다한 것도 좀 올려볼까 생각하다가, 오! 이런. 작년에 주제탐구 했던 기가막힌 아이디어가 생각나서 오늘은 학술지 말고 다른 것도 좀 올려봤습니다.
작년에 확률과 통계를 공부하면서 주제 탐구 활동으로 “통계 품질 진단”이라는 주제를 잡았습니다. 사실 확률과 통계에서 세특에 좋은 주제탐구 활동이 마땅히 잘 찾아지는 것도 아니고 또 찾기도 어려운데, 이 주제를 보고 되게 흥미롭다고 생각했습니다.
여러분들도 통계 많이 쓰시는데 이런 통계 품질에 대해서는 크게 잘 생각 안 해보셨잖아요? ‘진부하지도 않고, 또 통계 부분에 어울리면서 실생활과도 연관된 아주 좋은 주제’라고 저 개인적으로 생각하고 있습니다 ㅎㅎ.
그러면 단순히 말해 통계가 얼마나 믿음직스러운가를 진단하는 일종의 건강검진같은 개념인 “통계 품질 진단”에 대해 본격적으로 알아보겠습니다!
통계 품질 진단이란?
현대사회에서는 정보의 집적물인 통계가 사회 현상을 탐구할 때 굉장히 중요시되면서 학생들 사이에서도 사회문화 수행평가 등등 여러 과목에서 통계를 접하게 되었습니다. 저 또한 최근에도 탐구활동 하면서 통계 항상 확인하거든요. 사실 문과들은 통계 빼면 시체잖아요.
통계 품질(Statistics Quality)은 정의적으로 말하자면, 만들어진 통계의 신뢰도와 정확도를 측정하고 만들어지기 이전 과정에서의 공정성을 확인하는 것을 말합니다. 최근에는 우리가 쉽게 생각할 수 있는 “신속하고 정확한 정도”를 넘어서 “이용하기 적합하게 작성되는 정도”에 대한 다차원적인 개념으로 확대되었다고 합니다.
통계 품질이 중요한 가장 큰 이유는, 이 SQ가 국가적 통계의 신뢰도를 평가하는 지표가 될 수 있기 때문입니다. 우리나라에서 생산된 국가 정보 관련 통계는 국내에서뿐만 아니라 국제적 통계를 낼 때에도 사용되는데, 만약 질이 떨어진다면 다른 국가들 사이에서도 우리나라의 통계를 적극적으로 사용하지 않게 되겠죠. 자연스럽게 무시당하는 겁니다.
예를 들어서 한 빈곤한 독재 국가를 예로 들어봅시다. 이 국가에서 우수한 통계 품질을 기대하는 것은 사실 멍청한 짓이라고 봐도 되겠죠. 이러한 나쁜 품질은 신뢰성없다는 인식을 주어서 만약 신뢰성 있는 자료를 우연히 생성했더라도, 묻히게 될 것입니다. 이러한 영향으로 국가 수출입에 대한 자료 부족으로 투자가 감소하거나 외교관계에서도 분명 불이익이 있을 겁니다. 신뢰성은 현대 국제 관계에서 가장 중요시되는 능력 중 하나니까요.
통계 품질 진단의 길
통계품질을 분석하고 탐구하는 통계 품질 조사 (SQC)는 에드워드 데밍이 1944년에 발표한 통계에 영향 13가지를 제시하며 처음으로 유형화가 되었습니다. 이런 식으로 만들어진 “총오차조사”는 측정 오차, 과정 오차 등등의 모든 종류의 누적오차를 줄이는 것이 SQC의 목표라고 설명합니다.
하지만, 이러한 “총오차조사”는 현대에 들어와서 한계를 맞이합니다. 현대에는 품질 관리 기준으로 “신뢰 가능성, 적합성, 추정치 품질, 자료 품질 등이 기준으로 제시지만, 총오차조사에서는 이 중 “추정치 품질”만을 제공했거든요. 그래서 이러한 문제점이 이어지다, TQM, EFQM과 같은 프레임워크의 출현으로 통계품질진단의 패러다임이 바뀌게 됩니다.
통계 품질 관리의 국제적 흐름
이로써 SQC는 지금과 같은 현대적 기틀을 다지게 되었고, OECD 등 여러 국제기관에 수용되면서 많은 국가들이 이 SQC에 관심을 가지기 시작했습니다. OECD는 2001년부터 통계품질에 관심을 가지며 2003년 OCED Quality Framework를 만들고 2012년에는 “적합성”, “정확성”, “신뢰 가능성”, “해석 가능성” 등등의 기준을 제시하였습니다.
EFQM(European Foundation for Quality Management) 프레임워크를 도입하여 성공적으로 효과를 거둔 사례로는 스웨덴 통계청이 있습니다. 스웨덴 통계청은 공공통계 작성이 탈중앙화되면서 통계 작성에 대한 경쟁이 일어났고 2010년에 소비자물가지수와 국민계정과 관련한 통계 오류가 발견되면서 이를 보완하는 EFQM를 사용한 강력한 통계품질관리 시스템을 구축하게 되었습니다. 이 시스템사업은 ISO 20252(국제 표준화 기구)의 450여가지의 요구 조건을 점차 달성해 나갔고 ASPIRE라는 통계품질관리 시스템을 제시하며 통계 품질관리에 지속적인 개선을 추구하는 등 선진적인 면모를 보였습니다.
그렇다면, 우리나라는?
이러한 국제적 흐름 속에서 우리나라도 물론 동참했습니다. 1997년 외환위기가 찾아오면서 정확하고 건전한 통계의 필요성을 인식한 통계청은 2006년부터 “정기통계품질 5개년 계획”을 추진하면서 585종의 국가 SQC사업을 완수하였습니다. 통계법 제9조에 따라 정기 통계품질이 진행되고 있는데 연간 1, 2차 진단과 보완을 포함한 2차례의 결과 보고회를 포함해서 연말인 12월에 진단 결과를 보고를 합니다.
정기 SQC 뿐만이 아니라 소관 통계에 관해 스스로 품질을 진단하는 ‘자체SQC’, 언론의 동향 및 주요 이슈와 관련한 통계에 대해서 모니터링하는 ‘수시SQC’등도 모두 통계법 제10, 11조, 시행령 제13, 14, 15조에 명시되어 있습니다.
우리나라 통계 진단의 문제점, “비용 효율성”
이러한 우리나라의 통계 절차에도 문제점이 제기가 되는데 그중 가장 독특한 단점은 “비용 효율성”입니다. 스웨덴과는 다르게 국가 통계청에서 운영하는 프로젝트인 만큼 지원 예산에 한계가 있다는 점에서, ‘비용 효율성’에 문제가 발생하고 있다고 합니다.
이 문제점은 2015년 통계청이 기존의 연구 용역 방식에서 위탁 사업으로 변화시키면서 부각되었는데,조사 예산이 적다보니 저가 예산으로 위탁업체를 입찰하게 되고, 민간 위탁 업체는 ‘위탁 경력’에만 가치를 두다 보니 실적확보를 한 이후에는 참여를 포기하는 결과를 낳는다고 합니다. 이러한 불성실한 태도는 품질을 악화시킬 우려가 큽니다.
이러한 단점을 타개할 방법은 없을까요? 쉽게 생각하면 연구 지원 예산을 늘려서 이러한 폐해를 막을 수 있겠지만, 현실적 여건이 안되기 때문에 다른 해결책을 찾아봐야 합니다. 그래서 제시한 방법이 ‘비용 효율성’에 대한 기준을 명시하면서 위탁사업에 대한 기준단가를 정해 위탁 업체의 횡포를 막아 ‘비용 효율성’을 고려해야합니다.
SQC로 주제 선정? 무쁘지 않다.
이처럼 우리가 국가 통계 품질에 관심을 기울이고 문제점에 대한 해결 방안을 모색해 통계 품질를 챙긴다면, 국내에서의 사용은 물론, 해외에서의 국가 위신도 높아지지 않을까요?
제가 쓴 글은 통계품질진단의 새 발의 피밖에 되지 않습니다. 만약에 이 주제가 마음에 드셨다면 꼭 통계청 홈페이지 정기통계품질진단이나 브런치, KCI 학술지에 관련 정보 키워드 검색하셔서 더 풍부한 정보 얻으시길 바랍니다.
“남의 책을 많이 읽어라. 남이 고생한 것을 가지고 쉽게 자기 발전을 이룰 수 있다.”
– 소크라테스
이상으로 글 마무리하겠습니다. 감사합니다!
