탈중앙화 지식 그래프 협업 플랫폼 구축 실천

이 문서는 EpiK 명식 프로토콜에서 발췌한 것입니다.

1월 10일, EpiK 명식 프로토콜이 주최한 "2021 오픈 소스 지식 운동" 주제 행사는 업계에 지식 그래프의 개방과 상호 연결에 대한 지혜의 향연을 가져왔습니다. 이 행사에는 칭화대학교 정보기술연구원 부원장 싱춘샤오, 중국 컴퓨터 학회 지식 그래프 SIG 의장 / 저명한 지식 그래프 전문가 / OpenKG 주요 발기인 왕하오펀, 동북대학교 자연어 처리 실험실 부소장 / 샤오니우 시투 창립자 왕후이젠 등 중량급 게스트들이 참여했습니다.

이번 대회에서 EpiK는 블록체인 기반의 탈중앙화 협력 모델을 통해 공동 구축 및 공유의 개방형 지식 저장소 구축 구상과 실천을 핵심 하이라이트로 삼았으며, 많은 전문가와 학자들로부터 높은 평가를 받았습니다.

다음 글에서는 EpiK 오픈 소스 지식 운동을 다음 몇 가지 측면에서 종합적으로 분석합니다:

• 왜 탈중앙화 지식 그래프 협력 플랫폼을 구축해야 하는가

• 오픈 소스 지식 운동이 직면한 도전

• EpiK 명식 프로토콜 해결 방안

• 누가 이 오픈 소스 지식 운동에 참여할 수 있는가

1. 왜 탈중앙화 지식 그래프 협력 플랫폼을 구축해야 하는가

현재 인공지능 시대는 하반기에 접어들었으며, 우리는 더 이상 설명할 수 없는 모델 시뮬레이션에 만족하지 않습니다. AI에 인지 능력을 부여하는 것은 반드시 극복해야 할 병목 현상입니다. AI 인지의 길을 열기 위해, 지식 그래프는 기계가 인간의 지식을 이해하는 중요한 매개체로서 인공지능 시대의 중요한 기반 시설이 되고 있습니다.

그러나 대규모 지식 그래프 기반 시설의 구축은 각 분야에서 방대한 지식 콘텐츠를 포함하며, 데이터 품질에 대한 요구가 높기 때문에, 다양한 분야의 많은 인력을 조직하여 공동으로 투입해야 합니다. 하지만 지식 그래프를 공동 구축하는 데 드는 신뢰 비용이 매우 높고, 기업 간, 국가 간의 상호 불신으로 인해 많은 중복 노동이 발생하고 있습니다. 따라서 지식 그래프 공동 구축 플랫폼을 구축할 필요성이 대두되고 있으며, 공동 구축 플랫폼 위에서 기여자들이 어떻게 공동 이익을 공유할 것인지도 반드시 해결해야 할 문제입니다.

2020년은 블록체인 탈중앙화 저장 기술이 성숙한 해로, 무허가, 변조 방지, 추적 가능한 공공 데이터베이스를 구축하는 것이 가능해졌습니다. 공동 구축 및 공유의 지식 그래프 협력 플랫폼은 실천 기반을 갖추게 되었습니다.

2. 오픈 소스 지식 운동이 직면한 도전

비트코인 가격이 계속해서 역사적인 최고치를 경신하고, DeFi, IPFS, DAO 등 새로운 블록체인 응용 프로그램이 속속 등장하면서 블록체인의 가능성을 더 많이 보여주고 있습니다. 그러나 블록체인을 기반으로 공동 구축 및 공유의 지식 그래프 협력 플랫폼을 구축하는 것은 쉽지 않은 일이며, 일련의 도전에 직면해야 합니다:

첫째, 어떻게 공동 구축을 실현할 것인가? 각 지식 분야의 사람들을 조직하여 고품질 대규모 지식 그래프를 공동으로 구축하는 데는 효과적인 인센티브 메커니즘과 엄격한 데이터 품질 검수 메커니즘이 필수적입니다; 둘째, 어떻게 공유를 실현할 것인가? 지식 그래프 데이터를 공유하는 데는 신뢰할 수 있는 저장 문제에 직면하며, 각 기여자가 무허가로 접근할 수 있는 변조 방지 공공 저장 플랫폼을 만드는 것이 필수적입니다; 셋째, 어떻게 공동 이익을 실현할 것인가? 지식 그래프 데이터는 0 비용으로 복제 및 전파될 수 있으며, 기여자에게 효율적인 수익화 방법을 찾는 것이 지속적인 협력의 동력입니다.

이에 따라 EpiK는 "탈중앙화 저장, 탈중앙화 자치 조직, 토큰 경제 모델"이라는 세 가지 블록체인 최전선 기술 분기를 활용하여 완전한 해결 방안을 제시했습니다.

3. EpiK 명식 프로토콜 해결 방안

탈중앙화 지식 그래프 구축의 문제점을 해결하기 위해 EpiK는 블록체인 기술 응용을 깊이 분석하고, 블록체인 기반의 기술 아키텍처를 그려냈습니다.

그중 가장 핵심적인 부분은 지식 저장 부분으로, 여기서 우리는 세 가지 중요한 구성 요소를 소개합니다:

• Storage: 신뢰할 수 있는 공유 저장소를 제공하며, 데이터는 임의로 변조될 수 없고, 데이터 접근이 거부될 수 없습니다;

• Incentive: 생태계 내 다양한 기여자 역할에 인센티브를 제공하며, 각자가 자신의 이익을 극대화하는 동시에 고품질 지식 그래프를 공동 구축할 수 있도록 합니다;

• DAO: 커뮤니티가 시스템 매개변수 거버넌스에 공동 참여할 수 있도록 하며, 다양한 발전 단계에 따라 동적으로 조정합니다.

1. Storage

EpiK의 Storage 구성 요소는 IPFS 프로토콜을 기반으로 구축되었습니다. IPFS는 분산 네트워크 전송 프로토콜로, 이 프로토콜은 연결된 컴퓨터 장치를 동일한 파일 시스템으로 연결합니다. IPFS 네트워크에 제출된 파일은 여러 부분으로 나누어지며, 각 부분은 독립적인 해시 값을 가집니다. Merkle Trie 데이터 구조를 통해 나누어진 여러 데이터 블록을 동일한 루트 노드 아래에 조직하여 고유한 파일 루트 해시를 생성합니다. 여러 파일의 루트도 더 큰 Merkle Trie 구조로 조직되어 고유한 루트 해시를 형성합니다.

이 구조의 장점은 중복 데이터 블록이 중복 저장되지 않으며, 노드 간에 루트 해시만 동기화하면 전체 파일에 대한 일관된 관점을 유지할 수 있다는 것입니다. 각 노드는 어떤 데이터 블록을 저장할지 자유롭게 선택할 수 있으며, 다른 노드에게 자신이 저장한 데이터 블록을 알릴 수 있습니다. 각 노드는 자신이 알고 있는 다른 노드의 저장 상황을 DHT에 기록하여, 접근 요청을 받을 때 어떤 노드가 해당 데이터를 가지고 있는지 빠르게 파악하고 요청할 수 있습니다.

IPFS는 정직하고 이타적인 노드를 성공적으로 연결하여 외부에 통일된 파일 시스템 조작 인터페이스를 제공합니다. 그러나 IPFS는 현실적인 문제도 가지고 있습니다: 인센티브 메커니즘과 방지 사기 메커니즘이 부족하여, 노드가 악의적으로 행동할 수 있으며 언제든지 오프라인 상태가 될 수 있습니다. 이러한 요소들은 IPFS만으로 저장소를 구축하는 것이 신뢰할 수 없게 만듭니다.

인센티브 수단은 3-2에서 소개할 예정이며, 여기서는 노드의 잠재적인 사기 수법을 간략히 소개합니다. 예를 들어, 하나의 파일은 높은 가용성을 보장하기 위해 네트워크의 여러 곳에 여러 사본이 저장됩니다. 현재 두 명의 채굴자가 동일한 파일을 저장했다고 네트워크에 방송하여 시스템 전체에 두 개의 저장 보상을 요청할 수 있습니다. 그러나 이 두 명의 채굴자는 실제로 동일한 물리적 저장소를 공유하고 있을 수 있으며, 파일은 실제로 한 사본만 저장되어 있습니다. 따라서 시스템은 한 개의 저장 보상만 지급해야 합니다. 이것이 분산 시스템에서 흔히 발생하는 마녀 공격입니다.

마녀 공격을 방지하기 위해 EpiK는 Storage 구성 요소에 FileCoin이 제안한 제로 지식 증명 기반의 복제 증명(PoRep, Proof-of-Replication)과 시공 증명(PoSt, Proof-of-Spacetime) 두 가지 검증 방법을 통합했습니다.

복제 증명의 역할은 노드가 요구 사항에 따라 원본 데이터의 전체 사본을 로컬에 완전하게 저장했음을 증명하는 것입니다; 시공 증명의 역할은 노드가 여전히 원본 데이터의 전체 사본을 로컬에 지속적으로 저장하고 있음을 증명하는 것입니다.

복제 증명의 원리는 현재 노드의 전역 고유 ID를 씨앗으로 사용하고, 계산 집약적인 암호화 알고리즘을 통해 원본 파일을 봉인한 다음, 봉인된 데이터의 제로 지식 증명을 방송하는 것입니다. 봉인 과정은 복잡하지만, 다른 노드는 봉인 과정의 정확성을 쉽게 검증할 수 있습니다.

시공 증명의 원리는 노드가 정기적으로 저장된 파일의 무작위 제로 지식 증명을 방송해야 하며, 이 증명이 비봉인 원본 파일에서 생성되면 매우 시간이 소요되어 노드가 제시간에 증명을 방송하지 못할 수 있습니다. 다른 노드가 해당 노드의 시공 증명 방송을 제때 받지 못하면, 해당 노드는 이 파일을 잃어버린 것으로 간주됩니다. 따라서 시공 증명의 적시성을 보장하기 위해 노드는 이미 봉인된 파일 데이터를 버릴 수 없습니다.

저장 시스템과 검증 메커니즘이 마련된 후, 모든 노드 간 데이터 일관성을 유지해야 하며, 이는 모든 노드가 파일이 무엇인지, 어떤 순서로 전체 네트워크에 방송되었는지를 일관되게 유지해야 함을 요구합니다.

여기서 블록체인 원장 기술이 도입됩니다. 모든 새로운 파일의 생성 및 생성 순서, 노드의 파일 저장 행동, 노드의 저장 증명 제출 행동은 전체 네트워크 합의의 블록체인 원장에 기록됩니다. 각 노드는 완전한 원장을 동기화하여 전체 네트워크와 일치하는 데이터 관점을 얻습니다. 파일 내용과 파일 순서가 확보되면 EpiK는 Storage 구성 요소에 지식 그래프 데이터베이스 작업 로그 파일을 저장할 수 있으며, 각 노드는 순서대로 이러한 로그 파일을 동기화한 후, 로컬에서 전체 네트워크와 일치하는 완전한 지식 그래프 데이터베이스를 복원할 수 있습니다.

현재 EpiK 네트워크에는 9000개 이상의 노드가 등록되어 있으며, 5000개 이상의 노드가 성공적으로 저장소를 제공하고 있습니다. EpiK의 현재 설정에서는 각 파일이 네트워크에 3000부 저장되며, 3000부 미만일 경우 새로운 저장 노드는 추가 인센티브를 받을 수 있습니다. 해커가 전체 EpiK 파일 지식 그래프 데이터베이스를 DDoS 공격하는 것은 매우 어려워질 것입니다.

또한 전체 네트워크가 동일한 원장 정보를 동기화하므로, 해커는 전체 네트워크의 51% 이상의 노드를 제어해야만 원장을 변조할 수 있으며, 공격 비용도 매우 높아질 것입니다.

2. 인센티브

EpiK는 지식 그래프 기여자를 데이터 채굴자, 분야 전문가, 보상 사냥꾼의 3가지 유형으로 나누며, 데이터 게이트웨이라는 사용자의 역할도 추가합니다. 매일 EpiK 네트워크는 고정된 수량의 포인트 보상을 생성하며, 이 3가지 역할에 포인트를 합리적으로 분배하여 그들이 공공 지식 그래프 데이터베이스에 기여하도록 유도하는 방법과 포인트를 회수하는 합리적인 메커니즘을 Incentives 구성 요소에서 정의합니다.

데이터 채굴자는 물리적 장비 제공자로, 저장 및 대역폭 자원을 제공하여 수익을 얻으며, 매일 생성되는 포인트의 75%가 데이터 채굴자 집단에 귀속됩니다.

저장된 데이터가 많을수록 수익이 높아지고, 제공된 데이터 다운로드 트래픽이 많을수록 수익이 많아집니다. 동시에 데이터 채굴자가 임의로 오프라인 상태가 되어 데이터 백업이 줄어들고 시스템 안전성이 저하되는 것을 방지하기 위해, 모든 데이터 채굴자는 데이터 채굴자가 되기 위해 일부 포인트를 담보로 제공해야 하며, 저장 및 대역폭 자원을 제공하여 수익을 얻습니다. 포인트 수익은 블록체인 계약을 통해 자동으로 지급되며, 어떤 중개인의 검토도 필요하지 않습니다.

분야 전문가는 지식 그래프 데이터의 기여자이자 검수자로, 시스템 내에서 유일하게 지식 그래프 데이터를 업로드할 권한을 가진 집단입니다. 그들은 고품질 지식 그래프 데이터를 기여하여 수익을 얻습니다. 매일 생성되는 포인트의 9%가 분야 전문가 집단에 귀속되며, 기여한 데이터가 많을수록 수익이 높아집니다. 그러나 다양한 분야의 데이터 규모 차이를 고려하여, 각 분야 전문가가 기여한 데이터의 크기는 로그를 취한 후 비율에 따라 보상을 받습니다.

물론, 데이터 업로드 권한이 유일한 집단인 분야 전문가에게는 엄격한 감독 메커니즘이 있습니다. 첫째, 분야 전문가는 이미 분야 전문가인 사람의 추천을 받아야 하며, 추천된 분야 전문가는 커뮤니티에서 10만 표의 지지를 받아야 합니다. 각 표는 하나의 포인트가 잠금된 것을 의미합니다.

만약 분야 전문가의 표 수(잠금 포인트 수)가 10만 표 미만으로 떨어지면 자격을 잃게 됩니다. 분야 전문가가 허위 또는 쓰레기 데이터를 업로드할 경우, 커뮤니티는 제명 처벌을 내리며, 제명된 분야 전문가를 추천한 사람도 연대 책임을 지게 됩니다. 투표를 장려하기 위해 매일 생성되는 포인트의 1%는 모든 투표 참여 사용자에게 귀속되며, 투표가 많을수록 수익이 높아집니다.

보상 사냥꾼을 소개하기 전에 데이터 게이트웨이를 먼저 설명하겠습니다. 데이터 게이트웨이는 사용자가 최신 1차 지식 그래프 데이터를 얻는 유일한 경로로, 데이터 게이트웨이는 데이터 접근 트래픽을 얻기 위해 포인트를 담보로 제공해야 합니다. 예를 들어, 1 포인트를 담보로 제공하면 매일 10MB의 데이터 접근 트래픽을 얻을 수 있습니다. 따라서 EpiK에서 지식 그래프 데이터에 대한 수요가 많을수록 데이터 게이트웨이가 담보로 제공하는 포인트가 많아지고, 포인트의 수요가 증가하며, 기여자가 보유한 포인트의 가치가 높아집니다.

데이터 게이트웨이가 포인트를 담보로 제공하는 개념이 생긴 후, 보상 사냥꾼에 대해 이야기하겠습니다. 보상 사냥꾼은 지식 그래프 데이터의 주석 달기 및 검증자이며, 그들은 분야 전문가가 게시한 작업을 완료하여 수익을 얻습니다.

보상 사냥꾼의 수익은 데이터 게이트웨이가 담보로 제공하는 포인트의 양에 따라 동적으로 변화합니다. 데이터 게이트웨이가 담보로 제공하는 포인트가 많을수록 EpiK에서 지식 그래프 데이터 품질이 좋다는 것을 증명하며, 우리는 데이터 채굴자들이 대역폭을 높여 데이터 접근 서비스를 더욱 원활하게 할 수 있도록 더 많은 인센티브를 제공합니다. 따라서 매일 생성되는 포인트의 나머지 15%는 데이터 채굴자 집단에 더 많이 분배됩니다; 그러나 데이터 게이트웨이가 담보로 제공하는 포인트가 많지 않다면, 이는 EpiK에서 지식 그래프 데이터 품질이 개선될 필요가 있음을 나타내며, 우리는 나머지 15%를 보상 사냥꾼에게 더 많이 분배하여 더 많은 인력이 데이터 품질을 향상시키는 데 참여할 수 있도록 합니다.

전체 생태계에서 각 역할은 인센티브 모델을 통해 자신의 이익을 극대화하며, 데이터 채굴자는 더 많은 저장소를 제공하고, 분야 전문가에게 지식 그래프 데이터 품질을 최적화하도록 촉구하여 더 많은 수익을 얻어야 합니다; 분야 전문가는 지속적으로 업데이트된 고품질 데이터를 제공하여 더 높은 수익을 분배받아야 합니다; 보상 사냥꾼은 더 많은 작업을 완료하여 더 많은 수익을 얻어야 하며, 보이지 않는 손이 각자가 지식 그래프를 공동 구축하도록 이끕니다.

3. 탈중앙화 커뮤니티 거버넌스

자율주행 자동차가 승객을 찾기 위해 돌아다니고 있습니다. 승객이 하차한 후, 이 자동차는 이익을 사용하여 충전소에서 충전하며, 초기 프로그래밍 설정 외에는 외부의 도움 없이 어떻게 작업을 수행할지를 결정할 수 있습니다. 이는 비트코인 핵심 프로토콜 개발자 마이크 헌(Mike Hearn)이 설명한 탈중앙화 조직 또는 DAO의 이상적인 사례로, 스마트 계약에 의존하여 조직이 무계층 관리 운영을 실현할 수 있습니다.

DAO는 블록체인 발전 과정에서 중요한 확장이며, EpiK 명식 프로토콜은 이러한 조직 형태를 차용하여 탈중앙화 지식 그래프 구축에 적용하고 있습니다.

EpiK에는 여러 DAO가 존재하며, 전체 매개변수를 거버넌스하는 EpiK DAO, 분야 전문가 내부 매개변수를 거버넌스하는 Experts DAO, 채굴자 내부 매개변수를 거버넌스하는 Miners DAO가 있습니다.

DAO의 각 역할은 스마트 계약을 통해 조직 내 기능을 실현하여 지식 그래프 구축이 자동화된 프로세스 체계로 부여되어 전문성과 효율성이 크게 향상됩니다. DAO가 운영되면 전 세계의 대규모 지식 그래프 구축에 막대한 생산력을 해방할 것입니다.

세 가지 축을 기반으로 EpiK의 지식 그래프 + 블록체인 모델은 전례 없는 활력을 발산하며, 오픈 소스 지식 공동 구축 및 공유의 플랫폼을 구축합니다.

4. 누가 이 오픈 소스 지식 운동에 참여할 수 있는가

EpiK 오픈 소스 지식 운동은 더 많은 사람들이 지식 그래프가 AI에 미치는 중요한 가치를 인식하게 하였으며, 점점 더 많은 사람들이 EpiK의 공동 구축 및 공유의 행동에 참여하도록 촉구하고 있습니다. 사실 EpiK는 기본 데이터 플랫폼으로, 다양한 신분의 사람들이 이 플랫폼 구축에 참여할 수 있습니다. 그렇다면 어떤 사람들이 참여할 수 있을까요?

첫째, 각 산업의 경력자들은 해당 산업의 분야 전문가로 등록할 수 있으며, 그들의 책임 중 하나는 데이터의 정확성을 보장하는 것입니다. 또한 지식 그래프 데이터 주석 작업을 합리적으로 분할하여 플랫폼에 배포하여 사용자가 이 분야의 지식 그래프를 공동으로 유지할 수 있도록 해야 합니다.

둘째, EpiK는 분야 전문가가 특정 분야의 작업을 완료하도록 돕는 보상 사냥꾼 역할을 도입합니다. EpiK 보상 사냥꾼은 간단한 선택형 질문을 완료하기만 하면 되며, 예를 들어 Yes 또는 No에 답하는 것입니다. 각 응답은 지식 그래프의 점진적인 개선을 의미합니다. 작업을 완료한 후, 보상 사냥꾼은 분야 전문가가 배분한 보상을 받게 됩니다. 현재 계산에 따르면, 시급 36위안 이상이 될 것입니다. EpiK는 더 많은 사람들이 참여할 수 있도록 하여 파편화된 시간을 활용하여 파트타임으로 참여할 수 있도록 하며, 동시에 3, 4선 도시의 새로운 고용 기회를 촉진할 수 있기를 바랍니다.

셋째, 채굴자가 되어 필요한 저장 공간을 제공하기만 하면 데이터 채굴자가 될 수 있습니다. 풍부한 보상을 얻는 동시에 인류의 영원한 지식 저장소에 기여하는 것입니다.

또한 데이터 수익화와 관련된 두 가지 측면이 있습니다: 첫째, 데이터 게이트웨이로, 체인 상의 데이터가 증가함에 따라 참여자는 체인 상의 데이터에 대해 지식 집합을 제공하고 유용한 접근 서비스를 제공하여 적절한 보상과 수익을 얻을 수 있습니다; 둘째, 애플리케이션 측과의 연결로, 기업이 데이터베이스 구축에 드는 높은 비용을 절감할 수 있도록 도와줄 수 있습니다.

5. 마지막으로

이 문서는 EpiK 탈중앙화 지식 그래프 개방 협력 플랫폼의 세 가지 구축 논리를 설명하였으며, 이를 바탕으로 EpiK 지식 그래프 라이브러리는 인공지능의 미래 발전에 중요한 기반이 될 것이며, 미래의 스마트 애플리케이션 실현을 위한 중요한 데이터 지원을 제공하여 데이터 가치의 지속적인 업그레이드를 촉진할 것입니다.

EpiK 오픈 소스 지식 운동은 탄소 기반 생명체에서 실리콘 기반 생명체로의 50년간의 서사시적 전도를 시작하고 있으며, AI의 미래로 가는 길이 빛나고 있습니다.