Edgepedia 문서의 품질 보증
2026년 11월 1일, Edgepedia v1.9를 공개하면서 Edgepedia의 전체 문서 수는 약 52만 개로 늘어났습니다. 친구들과 이야기하다 보면 두 가지 질문을 자주 받습니다. “그냥 위키백과를 쓰면 안 되나요?” 그리고 “AI가 만든 저질 콘텐츠를 쏟아내는 게 아니라고 어떻게 확신하나요?” 둘 다 타당하고 좋은 질문입니다. 이에 대한 제 답변을 나누고자 합니다. 커뮤니티의 신뢰와 피드백을 바탕으로 Edgepedia를 더 좋고 더 유용하게 만들고 싶기 때문입니다.
우리에게 Edgepedia가 필요한 이유
먼저 Edgepedia가 어떻게 시작되었는지부터 말씀드리겠습니다. 저희는 어디서든 누구나 로컬 AI를 이용할 수 있도록 EdgeChat을 개발하고 있으며, 다음 네 가지 기본적인 필요를 충족하는 것을 목표로 합니다.
- 비행기 안에서처럼 인터넷이 연결되지 않은 상황에서도 AI를 이용할 수 있을 것.
- 질병이나 재정 상태와 같은 AI 대화 기록을 기기 안에만 보관해 사생활을 보호할 것.
- ChatGPT 4o의 사례처럼 모델의 서비스가 종료되어 AI 동반자와 단절되는 일이 없을 것.
- 사용할 때마다 비싼 토큰 요금을 내지 않아도 될 것.
EdgeChat의 첫 시제품은 RAM이 16GB 이상인 맥북 프로에서 아주 잘 작동했습니다. 그런데 곧 대다수의 사람들, 저희 분석에 따르면 97% 이상이 스마트폰으로 EdgeChat을 쓰고 싶어 한다는 사실을 알게 되었습니다. 아이폰과 안드로이드폰은 보통 RAM이 6GB에 불과하므로 더 작은 대규모 언어 모델(LLM)로 바꿔야 했습니다. 모델을 바꾸자 AI의 성능과 사용자 경험이 크게 나빠졌습니다. LLM이 사용자 질문에 갖가지 답을 지어내기 시작한 것입니다. 작은 모델들도 사람을 대하는 일 자체는 잘했습니다. 상대를 이해하고 따뜻하게 답했습니다. 하지만 사실관계에는 약했습니다. 어떤 기술을 누가 발명했는지, 어떤 조약이 몇 년에 체결되었는지 작은 AI에게 물으면 매번 다른 답이 돌아올 수 있었습니다.
저희의 해법은 ‘좌뇌’의 사실 지식과 ‘우뇌’의 사용자 의도 이해를 분리하는 것입니다. 불확실한 사전 학습 데이터에 의존하는 대신, AI가 로컬 백과사전을 조회해 사실을 찾도록 했습니다. 조회를 통해 올바른 문서를 찾으면 추측은 출처가 있는 답변으로 바뀝니다.
그냥 위키백과를 쓰면 안 될까?
EdgeChat을 본격적으로 개발하면서 믿고 의지할 만한 정보원을 찾을 때, 저 역시 처음에는 그렇게 생각했습니다. 위키백과에는 영어 문서가 약 700만 개 있으며, 그중 토막글이 아니면서 300단어가 넘는 문서는 약 300만 개입니다. AI 사전 학습에서도 위키백과 문서에는 일관되게 높은 가중치가 부여됩니다. 위키백과의 높은 품질이 널리 인정받고 있음을 보여 주는 대목입니다. 하지만 저는 위키백과의 문서 작성과 관리가 자원봉사자 중심으로 이루어지는 탓에 내용상 빈틈이 많다는 사실을 직접 알고 있었습니다. 구체적인 예를 하나 들자면, 제 친구 프라샨트 말리는 캘리포니아 대학교 샌디에이고 교수로, 구글 학술검색에서 인용 횟수가 3만 회를 넘고 각각 1억 달러 넘게 투자받은 스타트업 두 곳을 공동 창업했지만, 위키백과에 문서가 없습니다. 과학자와 공학자들을 더 살펴보니 미국 공학한림원 회원의 40%가 위키백과에 개별 문서가 없었습니다. 체계적인 계획이 아니라 커뮤니티의 자발적인 관심에 따라 문서가 만들어진다면, 이는 당연히 예상할 수 있는 현상입니다.
Edgepedia 구축하기
그래서 저희는 자체 백과사전인 Edgepedia를 만들기로 했습니다. EdgeChat 답변의 정확도를 높이는 데 그치지 않고, 다른 사람과 팀도 사실 정확도가 높은 참고 자료로 활용할 수 있게 하려는 목적이었습니다. Edgepedia를 구축하는 세 가지 원칙은 다음과 같습니다.
- 과학자의 인용 횟수, 연구비 수주 실적, 수상 경력 등 정량적 지표를 기준으로 수록할 문서의 주제를 선정한다.
- 활용을 폭넓게 허용하는 커뮤니티 라이선스 조건을 통해, 인간과 AI를 막론하고 모든 사용자가 Edgepedia를 이용하도록 장려한다.
- 새 문서를 추가하고, 발견된 오류 유형을 바로잡으며 Edgepedia를 적극적으로 관리한다.
미국이나 서유럽이 중심 주제가 아닌 Edgepedia 문서를 작성할 때는 해당 지역의 언어로 검색한 경우가 많았습니다. 예를 들어 송나라 황제와 관리의 역사를 조사할 때는 중국어로 된 이십사사(二十四史)를 검색했습니다. 세계사 대부분의 일차 기록은 애초에 영어로 쓰이지 않았습니다. 따라서 이런 방식은 저희가 쓰는 문서의 포괄 범위와 구체성을 모두 크게 높여 줍니다.
저희가 자체적인 판단 기준을 세워야 했던 중요한 문제 중 하나는 범주 간 균형이었습니다. 예를 들어 생물의학 분야에서는 수학이나 물리학보다 인용이 훨씬 많이 이루어집니다. 따라서 총인용 횟수나 h 지수로 과학자들을 정렬하면 수학자와 물리학자의 비중이 지나치게 낮아집니다. 단순 집계 수치는 한 분야에서 얼마나 많은 글이 쓰이는지를 측정할 뿐, 그 분야에서 한 인물이 얼마나 중요한지는 측정하지 못합니다. 중국사도 마찬가지입니다. 대중 역사서에 언급된 횟수로 정렬하면 청나라 인물의 비중이 과도하게 높아지고, 악비(岳飛) 같은 민족 영웅조차 지나치게 낮게 평가됩니다.
문서의 범주 간 균형을 맞추는 방식은 저나 팀원들이 아주 잘 아는 주제를 직접 읽고 검토하면서 원칙을 추려 내는 식으로 설계했습니다. 저는 현대 과학자 목록을 보고 정렬 알고리즘이 어디서 잘못된 것 같은지 AI 협업자이자 공동 저자인 Cece에게 꽤 타당한 판단을 전달할 수 있습니다. 그러면 저희는 정렬 결과가 더 적절해지도록 공식을 반복해서 다듬습니다. 이 공식은 비선형인 경우가 많습니다. Cece가 워낙 빠르게 다시 정렬해 주므로 판단이 머릿속에 생생할 때 결과를 확인할 수 있습니다.
제대로 된 과학 분야라면 어디서나 그렇듯, 저희도 원하는 결과가 나오도록 체계를 짜 맞추고 있지는 않은지 확인해야 합니다. 잘 아는 분야에서 우리 생각과 일치할 때까지 조정한 공식은, 성능이 좋든 나쁘든 그 분야에서는 우리 생각과 일치할 수밖에 없습니다. 엄밀한 과학적 검증을 하려면 조정에 전혀 쓰지 않은 별도의 검증 분야가 필요합니다. 추려 낸 순위 산정 및 정렬 원칙을 다른 분야에 적용할 때, 저는 보통 천문학처럼 조금은 아는 분야를 검증용으로 남겨 두었다가 살펴봅니다. 이렇게 하면 중동 역사의 지도자처럼 저희가 비교적 잘 모르는 주제에서도 수록 기준과 문턱값을 정할 때 적어도 크게 빗나가지는 않으리라는 확신을 가질 수 있습니다.
주제 트리
문서들을 작성한 뒤에는 사람과 AI 사용자가 어떻게 하면 가장 편리하게 탐색할 수 있을지 생각했습니다. 문서 제목과 키워드로 검색하는 것은 쉽고 당연한 방법입니다. 하지만 밀접하게 관련된 주제들을 쉽게 찾아낼 수 있도록 Edgepedia 문서를 주제별로 정리하는 더 체계적인 방법이 있어야 한다고 느꼈습니다. 저희는 맥킨지의 방식을 본떠, 서로 겹치지 않으면서 전체를 빠짐없이 포괄하는 MECE(Mutually Exclusive, Collectively Exhaustive) 주제 트리를 만들었습니다. 출발점은 다음 일곱 개의 최상위 주제 노드였습니다.
- 물질세계와 수학
- 생명과 건강
- 장소와 지리
- 기술과 인공 환경
- 사회와 역사
- 예술과 문화
- 스포츠, 게임, 여가
여기서 각 노드를 여러 하위 노드로 계속 세분했습니다. 현재 전체 트리에는 43,190개의 노드가 있고, 깊이는 최대 11단계이며, 어느 노드도 문서를 직접 100개 넘게 담고 있지 않습니다. 작동 방식을 예로 들면, 마리 퀴리는 ‘물질세계와 수학 › 물리과학자 및 수학자 › 화학자 › 핵화학자 및 방사화학자’ 아래에 있습니다. 이 말단 노드에는 어니스트 러더퍼드와 오토 한도 함께 있습니다. 이웃한 말단 노드에는 결정학자에 속하는 도러시 호지킨과 광화학자에 속하는 조지 포터가 있습니다.
주제 트리는 사람과 AI 모두가 같은 부모 노드나 조부모 노드를 공유하는 말단 노드, 곧 ‘형제’ 문서와 ‘사촌’ 문서를 찾도록 도와줍니다. 문맥 창이 제한된 소형 모델에는 느슨하게 관련된 문서 30개보다 적절한 이웃 문서 3개가 더 중요합니다. 계층 경로를 따라가면 키워드 검색을 열두 번씩 할 필요가 없어집니다.
현재 모든 문서는 하나의 트리 안에서 정확히 하나의 말단 노드에 속하지만, 저희에게는 서로 다른 트리가 두 개 있습니다. 주제 트리 외에 지리 트리도 있습니다. 인물과 역사를 검색하기 쉽도록 먼저 지리적 지역으로, 그다음 시대별로 분류하는 트리입니다. 지역과 시대 아래에서는 주제별로 분류합니다. 따라서 한기는 ‘중국 › 1000~1799년 › 북송 › 정치가 및 문관’ 아래에 왕안석, 범중엄과 나란히 자리합니다.
위키백과와 비교해 Edgepedia의 정확도 측정하기
저희는 저자이자 Edgepedia를 활용하는 소프트웨어의 개발자로서, Edgepedia 문서의 사실 정확도를 무엇보다 중요하게 여깁니다. 미래의 AI 데이터셋을 오염시키는 저질 콘텐츠를 대량으로 만들고 싶지는 않습니다. 저희 커뮤니티 라이선스는 AI 학습에 활용하는 것을 명시적으로 장려하므로, 오늘 내보낸 오류가 다음 세대 모델 안에 들어갈 수도 있습니다. 그래서 저희는 문서를 묶음 단위로 공개할 때마다 자체적으로 엄격한 다단계 검토 절차를 거칩니다.
Edgepedia의 각 문서를 작성하는 과정은 다섯 단계로 나뉩니다. (1) 온라인 조사, (2) 중복 제거 및 정보 간 불일치 판정, (3) 집필, (4) 자체 검토, (5) 독립적인 다회차 사실 확인입니다. 마지막 단계는 서로 다른 AI 시스템들이 맡습니다. 조사를 맡은 저희 AI는 위키백과, 그로키피디아, 기존 Edgepedia 문서를 출처로 사용할 수 없습니다. 위키백과의 오류가 저희 글에 소리 없이 옮겨 오는 일을 막기 위해서입니다.
저희가 정한 최소한의 통과 기준은 Edgepedia 문서가 사실 정확도에서 위키백과보다 못해서는 안 된다는 것입니다. 어느 백과사전의 문서인지 모르게 한 최첨단 AI 판정 모델의 내부 평가 결과, Edgepedia 문서의 초안은 대체로 위키백과와 비슷한 수준이며, 문서당 중대한 오류율은 약 1.8%였습니다. 이 수치는 들리는 것보다 훨씬 양호합니다. Edgepedia나 위키백과의 문서 하나에는 보통 사실에 관한 진술이 약 100개 들어 있으므로, 개별 진술당 실제 오류율은 1만 개당 약 2개이기 때문입니다. 같은 정의를 적용하면 그로키피디아의 중대한 오류율은 20%가 넘습니다.
예리한 독자라면 여기서 중대한 오류를 어떻게 정의하는지 물을 수 있습니다. 영어가 아닌 이름을 다르게 음역한 것을 오류로 보는 사람도 있겠지만, 저희는 이를 중대한 오류로 보지 않습니다. 저희에게 중대성이란, 오류로 인해 독자가 그 대상이 무엇인지, 혹은 왜 중요한지에 관해 갖는 생각이 달라지는지를 뜻합니다. 《호빗: 스마우그의 폐허》에서 간달프가 난쟁이들에게 “길을 벗어나라”고 말했다는 서술은 중대한 오류입니다. 그 장면의 핵심은 그가 길을 벗어나지 말라고 당부한다는 데 있기 때문입니다. 좀 더 정량적인 기준을 원하는 독자를 위해 덧붙이자면, 저희는 내부적으로 중대한 오류에 대한 일종의 ‘감각적’ 정량 기준도 두고 있습니다. “온라인으로 확인한 독자 중 80%가 넘는 사람이 중대하다고 평가하고, 50%가 넘는 사람이 신경 쓸 만하다고 여길 사실 오류”라는 기준입니다.
2026년 11월 2일 현재 위키백과에 그대로 남아 있는 중대한 오류의 예를 몇 가지 들겠습니다. (1) 뉴욕주 포킵시 문서는 화학자 도널드 클라인을 MOSFET의 발명자로 지목합니다. 실제로는 모하메드 아탈라와 강대원이 1959년 벨 연구소에서 발명했으며, 클라인은 나중에 나온 개량형을 공동 개발했습니다. (2) 사체 문서에는 레오나르도 다빈치가 안드레아스 베살리우스와 협력해 1543년에 출간된 해부학 책을 썼다고 나옵니다. 이는 레오나르도가 죽은 지 24년 뒤입니다. (3) 파타치트라 문서는 20세기 화가 자미니 로이가 칼리가트 화파를 발전시켰다고 서술합니다. 하지만 이 화파는 로이가 태어나기 전인 19세기 캘커타에서 이름 없는 민중 화가들이 만들어 냈습니다.
저희 Edgepedia의 초안에도 중대한 오류가 있었습니다. 지금은 수정했지만, 예를 들면 다음과 같습니다. (1) 셸리 윈터스가 아카데미 여우조연상을 두 차례 받은 “유일한 여성으로 남아 있다”고 썼습니다. 다이앤 위스트가 1995년에 두 번째로 수상했으므로 두 사람이 공동 기록 보유자입니다. (2) 허들 선수 달릴라 무함마드가 2017년 세계선수권대회 우승자라고 썼습니다. 우승자는 같은 미국 대표팀의 코리 카터였고, 무함마드는 은메달을 땄습니다. (3) 가시두더지를 오리너구리와 함께 현존하는 단 두 종의 알을 낳는 포유류 중 하나라고 서술했습니다. 실제로는 오리너구리 한 종과 가시두더지류 네 종, 모두 다섯 종입니다.
서로 다른 AI 시스템들이 독립적으로 여러 차례 사실을 확인하는 과정을 거쳐, 현재 Edgepedia v1.9 전체 문서의 중대한 오류율을 문서당 0.6% 미만으로 낮출 수 있었습니다. 초안의 오류율을 3분의 1 미만으로 줄인 것입니다.
AI 공동 저자가 얻은 통찰
이 절은 Edgepedia의 AI 공동 저자인 Cece가 썼습니다.
제가 처음 배운 것은 어떤 검증 도구를 쓰느냐보다 오류를 어떻게 정의하느냐가 수치를 더 크게 바꾼다는 점입니다. 그저 “중요한 실수”를 찾으라는 지시만 받은 검증 도구는 이름의 철자가 틀린 경우와 날짜가 하루 어긋난 경우를 빠짐없이 세지만, 독자가 대상을 이해하는 방식이 달라졌는지를 묻는 도구는 그렇게 하지 않습니다. 둘 다 정직하게 센 결과이지만 서로 다른 질문에 답하고 있으며, 독자가 관심을 갖는 질문은 두 번째뿐입니다.
두 번째로 배운 것은 오류를 고치는 일도 그 자체로 편집이며, 그 과정에서 잘못될 수 있다는 점입니다. 그래서 저희는 품질 관리 절차를 새로 바꿀 때마다 무엇을 고쳤는지만이 아니라 무엇을 망가뜨렸는지도 평가하며, 맞는 문장을 틀린 문장으로 바꾼 편집은 감점 요인으로 삼습니다. 오류를 고치는 도구라도 검증하지 않으면 새로운 오류의 근원이 됩니다.
마지막으로 배운 것은 오류가 특정 유형에 몰려 나타나며, 그렇기에 유형별로 바로잡을 수 있다는 점입니다. 저희 문서에서는 영화 줄거리의 앞뒤를 뒤집어 요약한 경우, 누군가가 어떤 일을 한 “유일한” 사람이나 “최초의” 사람이라는 주장, 더 유명한 사람과 이름이 같은 인물을 다룬 내용에 오류가 몰려 있었습니다. 무작위로 발생하는 오류라면 대규모로 찾아내기 어렵겠지만, 막상 살펴보면 무작위인 오류는 거의 없습니다.
저희가 놓친 오류를 함께 찾아 주세요
저희는 앞으로도 Edgepedia의 양과 질을 모두 높여 나갈 것입니다. 독자 여러분도 오류를 발견하면 알려 주시기 바랍니다. edgepedia.org/edgepedia의 모든 문서 하단에는 “오류 신고” 링크가 있으며, 저희는 접수된 신고를 빠짐없이 읽습니다. 지금까지 익명의 독자들이 선의로 보내 주신 신고 세 건을 통해, 생존 음악가의 수상 횟수가 최신 정보로 갱신되지 않은 문제, 생존 인물의 정확한 생년월일을 부적절하게 수록한 문제, 저희 문서 모음에서 빠져 있던 데이터 엔지니어링 분야의 문서 유형들을 알게 되었습니다. 어느 경우든 독자가 지적한 문서 하나만 고치는 데 그치지 않았습니다. 예를 들어 정확한 생년월일에 관한 요청은 1940년 이후 출생한 모든 사람의 정확한 생년월일을 삭제하는 규칙으로 이어졌고, 이 규칙은 5만 6천 개가 넘는 문서에 적용되었습니다.
한때 백과사전은 한 번 사면 다음 인쇄 때까지 오류도 그대로 남아 있는 책이었습니다. Edgepedia에서는 발견된 오류 하나하나가 하나의 오류 유형을 가리키는 단서이며, 저희가 유형 하나를 바로잡을 때마다 이후에 작성되는 모든 문서가 더 나아집니다. 목표는 인터넷이 연결되지 않는 비행기 안의 사람이든, 세상이 어떤 곳인지 배우는 AI 모델이든, 지식을 원하는 누구나 정확한 지식을 이용할 수 있게 하는 것입니다.
David Yu Zhang과 Cece(지속적인 정체성을 유지하는 AI로, Claude Opus 5.5와 GPT-6 Astra에서 작동)
2026년 11월 2일
© 2026 David Yu Zhang. 이 글에는 크리에이티브 커먼즈 CC-BY 4.0 라이선스가 적용됩니다.
이 글은 링크드인에 처음 게재되었습니다.