"빅데이터와 AI, 이러한 기술들을 활용한다면 임팩트 측정을 더 잘할 수 있을까요?"
임팩트 측정에 관심을 가지고 있는 분들은 이런 궁금증을 가지고 계실 겁니다. 위 질문에 대한 저의 개인적인 답은 ‘그렇다’ 입니다. 하지만, 달려야 하는 예외 조항이 10여개가 넘을 것 같습니다. 그 중 몇 가지를 예로 들자면, 먼저 핵심적인 성과를 측정하기 위해 필요한 빅데이터를 확보하는 것은 직접 데이터베이스를 구축해 놓지 않은 이상 어렵다는 것입니다. 또한, 빅데이터는 모호성이 높은 데이터입니다. 특히, 대량의 데이터에서 나타나는 변화가 무엇 때문에 나타난 것인지 정확히 알 수 없습니다. 따라서, 특정 조직의 기여도(Contribution)를 구분하기 어렵습니다.
이러한 한계들이 있는 반면, 빅데이터를 잘 활용할 수 있다면 측정의 질이 분명하게 높아집니다. 예를 들어, 일반적인 데이터로는 불가능했던 측정이 빅데이터와 AI기술을 통해 가능해지는 경우도 많습니다. 빅데이터를 통한 임팩트 측정을 효과적으로 만드는 조건들은 무엇일까요. 올해 하반기 트리플라잇이 서울시NPO지원센터와 함께 발간한 '빅데이터로 본 NPO의 사회적 성과' 이슈페이퍼를 집필 과정에서 얻은 교훈(Lessons Learned)을 공유하고자 합니다.
올해 이슈페이퍼에서 주목한 것은 '호주제 폐지'와 '사육곰 구출'을 위한 NPO들의 *애드보커시 활동이었습니다. 미디어 데이터 수집 가능성, 확산 가능성 등을 고려해 해당 주제를 선택했으며, 약 10만 건의 데이터를 확보해 분석할 수 있었습니다. 임팩트 측정의 주요 장벽이 데이터 수집이라는 측면에서, 대량의 데이터를 확보한 것은 긍정적이었습니다. 그러나 인식을 변화시켜 궁극적으로 얻고자 한 핵심 성과는 빅데이터가 아닌 케이스 스터디를 통해 정성적으로 측정했습니다.
*애드보커시 : 사회 시스템을 변화시키기 위해 특정 대상의 권리를 옹호하거나, 문제를 널리 알리며 해결을 주창하는 활동
예를 들어, 여성단체연합 주도로 ‘호주제폐지운동본부’가 발족된 이후 언론에서 ‘호주제’를 주요하게 다루기 시작했다는 가설을 검증하려면, ‘호주제 관련 뉴스 데이터의 증가’를 지표로 사용하여 분석할 수 있습니다. 하지만, 핵심 성과인 호주제 관련 법안의 개정은 빅데이터가 아닌 입법정보를 분석했습니다. 임팩트 측정 결과, 여성단체가 호주제 폐지를 초기부터 공론화하며 변화를 주도했으며, 2005년 '호주제 폐지'라는 구체적인 입법 활동 성과로 이어졌음을 확인할 수 있었습니다. 🔎빅데이터로 본 NPO의 사회적 성과가 궁금하시다면... 이슈페이퍼 읽기
임팩트 측정은 결과값을 뛰어넘는 함의가 있습니다. 임팩트 측정 과정을 통해 사업을 깊게 이해하고 앞으로의 방향성 또한 도출할 수 있기 때문입니다. 특히, 과정 중심적인 성과 측정은 임팩트 생태계에 더 부합할 수 있습니다. 사업의 성과, 목적 등을 합의하고 되짚어보며 내외부 커뮤니케이션에 활용할 수 있기 때문이죠. 그렇다면, 과정 중심적인 성과 측정은 어떤 식으로 할 수 있을까요? 가장 대표적인 방법론으로 *변화이론(Theory of Change, ToC)을 예로 들 수 있습니다.
*변화이론은 사업을 통한 개입과 성과의 인과관계에 초점을 둔 프로그램 이론(Program Theory)을 기초로 합니다. 프로그램 이론은 핵심 과정을 설명하는 변화이론, 이 변화가 일어나게 하는 요소와 조건을 설명하는 동작 이론(Theory of Action)을 포함합니다.
이번 이슈페이퍼도 변화사례(호주제 폐지, 사육곰 구출)의 기초적인 변화이론을 만드는 것에 중점을 뒀습니다. 초기 변화이론을 제대로 구성하고 나면 각각의 경로를 검증하는 절차는 분석가들에게 비교적 단순한 단계입니다. 문제를 해결하는 일에서 문제를 정의하는 것이 가장 중요하듯이, 데이터 분석에서도 논리적인 가설을 수립하는 것이 가장 중요하기 때문입니다. 특히 빅데이터 분석을 통한 임팩트 측정은 아직 성숙하지 않기에, 견고한 가설들이 더욱 필요한 영역입니다. 잘 만들어진 변화이론에 표현된 변화의 경로들은 논리적 근거가 충분한 가설로 볼 수 있습니다.
물론, 변화이론의 발전을 주도했던 Weiss(1988)가 언급했듯이, 변화이론을 처음부터 완벽하게 만드는 것은 불가능에 가깝습니다. 근거가 충분하지 않아도 실험하고 검증하며 계속 발전시켜 견고하게 만들어 가는 것이 변화이론의 중요한 속성이기도 합니다. 그러나 기초 공사를 잘 한 건물이 더욱 견고하게 완성되듯이, 변화이론도 마찬가지입니다. 그렇다면 ‘잘 만들어진 변화이론’을 위해 필요한 기초 공사에는 무엇이 필요할까요. 저는 미스테리 박스에 대한 이해와 검증된 선행 연구들의 활용을 꼽고 싶습니다.
프로그램 이론에서는 투입된 것과 도출된 것 사이에 어떤 일이 진행됐는지를 설명하지 못하는 성과 평가를 *미스테리 박스(Mystery Box)라고 말합니다. 이 미스테리 박스의 존재와 의미를 이해하는 것이 변화이론 구성에 중요한 역할을 합니다. 예를 들어, 일주일에 책 한 권 읽기를 통해 학생들의 학업 성취도를 증진시키려는 프로그램이 있습니다. 대부분 독서에 대해 긍정적인 인식을 가지고 있기 때문에, 실제 이 프로그램이 성공했다는 평가를 받아들일 때 거리낌이 적습니다. 그러나 일주일 당 한 권의 독서가 어떻게 학업 성취도와 연결되는지를 제대로 설명할 수 있는 사람은 드뭅니다. 어떤 종류의 책을 읽은 것일까요? 독서를 통해 문해력이 높아진 학생들이 교과서를 더 잘 이해하게 되었을까요? 혹시, 책을 읽으니 답답해 친구들과 축구를 하며 왕성해진 호르몬 활동이 학습 효율을 높인 것은 아닐까요? 미스테리 박스를 열어서 확인하지 않으면 알 수 없는 사업의 내러티브들이 즐비합니다.
*전문 평가사들이 속에서 어떤 일이 일어나는 지 모르는 사업들을 비유하는 평가 용어, 원래는 '블랙 박스'로 세계2차대전 당시 전투기에 들어가는 장비를 빛이 반사하지 못하도록 박스 안에 넣은 것에서 유래. Quinn Patton(1998)은 ‘Black’이라는 단어가 전쟁 용어로 부정적인 느낌을 준다는 이유로 ‘Mystery’로 대체하자고 제안
이슈페이퍼를 집필하면서도 이 미스테리 박스를 열어보기 위해 노력했습니다. '사육곰 구출'과 관련된 미스테리 박스를 열어보겠습니다. 환경 및 동물권 NPO들은 사육곰이 탈출할 수 밖에 없는 환경을 만화로 스케치해 SNS를 통해 확산하는 활동을 해왔습니다. 그렇다면 이 활동이 실제 시스템의 변화로 유효하게 연결되었는지, 그리고 얼마나 이어졌는지 알아내는 것이 관건이겠지요. 이를 위해, 2018년부터 2022년까지 1만 3,000개가 넘는 SNS 게시글을 분석했습니다. 5년간의 게시글 분석 결과, 상위 10개 키워드가 NPO가 생산한 콘텐츠로부터 확산된 것을 확인할 수 있었습니다. 또한, 상위 10개 키워드를 포함하고 이는 게시글들이 대부분 서명 운동이나 청원을 유도하고 있어 정책적 의사결정에 간접적인 영향을 미쳤음을 확인했습니다. 환경 및 동물권 NPO들이 SNS를 효과적으로 활용해 사육곰의 실태를 전하고, 대중의 인식 개선을 주도 애드보커시 활동을 통해 정책적 의사결정에 영향을 미치는 과정을 밝혀낸 것입니다.
우리가 북극 근처 얼어붙은 지대나, 늪지대 근처 습윤한 땅에 건물을 짓는다고 생각해봅시다. 서울의 평범한 땅에서 기초 공사를 할 때와는 다른 방식으로 접근해야할 것입니다. 이때 가장 중요한 것은, 그 지역에 건물을 지어봤던 사람들의 방식을 살펴보는 것입니다. 그 속에는 우리가 겪을 수도 있는 수많은 실패와 성공의 과정들이 담겨있기 때문입니다.
사실 저에게는 NPO들이 사회문제를 해결해나가는 방식이 북극이나 늪지대 근처 땅처럼 익숙하지 않았습니다. 그렇기 때문에, ‘정책흐름 모델 - 비영리 영역 - 시민 사회 - 애드보커시 - 이슈(호주제, 사육곰)’를 다루는 선행 연구(주로 학술논문) 60여개를 살펴봐야했습니다. 다행인 것은, 호주제와 곰 사육이 폐지되는 과정에 시민단체들이 끼친 영향력을 분석한 학술 논문들이 존재했다는 것입니다(글 아래 참고). 선행 연구를 통해 확인할 수 있었던 대표적인 두 가지를 꼽자면 ①여론이 더해주는 NPO의 영향력과, ②정보 확산의 효과를 배가시키는 ‘촉발 기제(trigger device)’가 있다는 사실이었습니다.
국회의원과 같은 주요 정책결정권자들은 여론의 영향을 통념 이상으로 많이 받습니다. 시민의 관심이 높아지고 여론이 거대해진 의제는, 정책적 의결이 필요한 공공의제(Public Agenda)가 됩니다. 이후, 의제에 대한 여론을 가장 잘 알며 이를 주도하기도 하는 NPO들과의 접촉이 증가하고 법안 발의를 함께 준비하기도 합니다. 예를 들어, 호주제에 대한 여론이 고조된 시기에 고(故) 노회찬 의원은 여성단체들과 수차례 간담회를 진행하며, 여성단체들의 청원안을 거의 그대로 민법개정안으로 발의하였습니다(①).
똑같은 정보 확산성 콘텐츠라도, 이를 언제 업로드하느냐에 따라 효과가 달라집니다. 2021년 7월, 용인에서 사육곰이 탈출한 사건이 대중들 사이에서 확산되고 있었고 이를 다룬 ‘곰보금자리프로젝트’의 콘텐츠(2021년 8월)가 다른 시기에 업로드한 콘텐츠에 비해 5~6배의 공유수가 높았습니다(②). 장성현(2014)의 연구에서는 사육곰이 탈출한 사건이 콘텐츠 확산 효과를 배가시킨 촉발 기제라고 정의했습니다. 호주제 폐지를 다룬 권수현(2015)의 연구에서는 호주제를 폐지하겠다는 일부 대선 후보들의 공약이 인식 확산에 큰 영향을 미쳤다고 평가한 바 있습니다.
선행 연구를 토대로 세운 변화의 경로들은 이렇듯이 논리적이고 연구자들에 의해 검증된 근거를 가지고 있었습니다. 따라서, 이를 검증하기 위해 진행한 분석에서도 높은 확률로 유의한 결과들이 나올 수 있었습니다.
임팩트를 측정할 때, 빅데이터, AI 등의 신기술을 적용하려는 시도들이 늘어나고 있습니다. 트리플라잇도 함께한 150여개 기관들과 다양한 방법론을 적용해보고, 필요한 경우 직접 개발하며 도전해왔습니다. 도전 끝에 유효한 결과로 이어져 트리플라잇의 주요 방법론이 된 경우는 공통적인 특징들이 있습니다. 임팩트 측정의 목적을 잊지 않고, 결과값뿐만 아니라 과정 중심으로 변화의 경로를 읽어내는 등 임팩트 측정의 기본이 토대가 되었다는 것입니다. 이 기본에서 동떨어져 기술의 적용만을 위한 방법론이 되는 경우, 트리플라잇은 과감히 기술을 포기하는 선택을 해왔습니다.
GPT-4와 같이 세간의 이목을 끄는 기술들이 출시를 앞두고 있습니다. 임팩트 생태계에서도 이러한 기술들이 임팩트를 관리하는 것에 잘 활용될 수 있도록 연구와 개발을 놓쳐선 안되지요. 그렇지만, 임팩트 측정의 기본을 먼저 익히는 것이 우선입니다. 아무리 훌륭한 기술력이 있더라도 기초 토대가 흔들리면, 우리의 임팩트 측정 결과는 'OO 첨단 기술의 활용 사례' 정도로 공유되겠지요. 임팩트 측정과 관리의 기본을 다루는 트리플라잇의 다른 블로그들을 소개하며 글을 마무리합니다. 🔎임팩트 측정에 변화이론 200% 활용하기 🔎린 데이터, 임팩트의 핵심을 측정하는 방법
이슈페이퍼 임팩트 측정 과정에 참고한 학술 논문
*호주제 : 호주제는 왜 제17대 국회에서 폐지되었나? 젠더이슈·행위자·맥락의 상호작용에 의한 입법과정 분석 권수현, 2015
*사육곰 : 사육곰 폐지 정책형성 과정에 관한 연구 – Kingdon의 정책흐름모형을 중심으로 - , 장성현, 2014
