AI에 초점을 맞춘 탈중앙화 Web3 기본 프로토콜 KIP Protocol #2 이해하기
RAG는 생성형 AI에서 사용되는 혁신적인 기술로, AI의 3가지 핵심 가치 창출자(앱 개발자, 모델 제작자, 데이터 소유자)를 포함합니다. KIP 프로토콜은 세계 최초로 탈중앙화 RAG를 지원하는 프로토콜로, 본질적으로 모든 AI를 탈중앙화할 수 있는 기본 프레임워크를 제공합니다. 이는 AI 거대 기업의 독점을 벗어나는 첫걸음입니다.1）RAG 간략 설명
AI 모델은 대량의 데이터를 투입하여 훈련됩니다. 이들은 데이터에서 학습하고, 내부 가중치를 조정하여 패턴을 인식함으로써 새로운 데이터에 따라 예측이나 결정을 내릴 수 있습니다. 그런 다음 모델은 새로 얻은 "원시" 지식을 바탕으로 사용자 질문에 답변할 수 있습니다.
하지만 이러한 훈련 과정은 전체 데이터 세트를 모델에 노출해야 하며, 이는 기본적으로 데이터가 모델에 "흡수"되는 결과를 초래합니다. 만약 데이터에 기밀 정보나 저작권 정보가 포함되어 있다면, 모델은 미래의 어느 시점에서 이러한 정보를 문자 그대로 누설할 가능성이 있습니다.
그렇다면, 당신의 데이터가 위험에 처하는 것을 원하지 않는다면 어떻게 해야 할까요?
이것이 RAG(검색 강화 생성)가 등장한 이유입니다.
RAG는 AI 모델이 외부 지식 기반 및 데이터베이스에서 데이터와 정보를 검색하여 본래 알지 못했던 답변을 생성할 수 있게 해주는 복잡한 기술입니다.
이는 마치 스마트 어시스턴트와 같아서, 질문에 대한 답을 모르더라도 외부 데이터에서 원하는 답을 전문적으로 찾아낼 수 있습니다.
1. 사용자 질의 입력:
먼저, 사용자는 RAG 시스템을 운영하는 챗봇에 질문을 합니다.
예를 들어, "COVID-19의 증상은 무엇인가요?"
2. 외부 데이터베이스 검색:
모델은 의학 저널, 건강 웹사이트 및 임상 데이터베이스와 같은 연결된 외부 지식 기반 및 데이터베이스를 검색하여 검색 단계를 시작하고, 사용자 질의와 관련된 데이터와 정보만 검색합니다.
3. 데이터 처리, 필터링 및 생성:
검색된 데이터를 처리하고 필터링하여 핵심 정보를 추출하고 관련 없는 데이터를 제거합니다. AI 모델은 검색된 데이터를 사용자 질의의 맥락과 통합하여 답변을 생성합니다.
COVID-19 증상 질의의 경우, RAG는 발열, 기침 및 호흡 곤란과 같은 일반적인 증상을 나열하는 응답을 생성할 수 있지만, 모델 훈련 시 포함되지 않았던 최신 의학 연구 논문 정보를 포함할 수도 있습니다—더 높은 품질의 답변입니다.
4. 응답 전송:
생성된 응답은 챗봇 인터페이스를 통해 사용자에게 제공됩니다.
따라서 RAG는 모델이 이러한 데이터를 먼저 "흡수"할 필요 없이 외부 데이터를 사용하여 AI 질의에 답변할 수 있게 해줍니다.
RAG 기술은 점점 더 성숙해지고 있으며, 우리의 연구 문서에서는 RAG가 제공하는 답변의 품질이 훈련된 모델을 초월할 수 있음을 보여줍니다. https://arxiv.org/pdf/2311.05903.pdf
2）RAG의 중요성
RAG는 점점 더 중요해질 것입니다. 그 이유는 다음과 같습니다:
모델 훈련은 기술적이고 전문적인 작업으로, 일반적으로 비용이 매우 높습니다—모델 훈련에 필요한 기술이나 자원을 갖춘 사람은 많지 않습니다.
많은 데이터(기밀 데이터, 독점 데이터 등)의 소유자는 자신이 완전히 소유하거나 통제하지 않는 모델에 데이터를 노출하는 것에 대해 불안해할 수 있습니다.
당신은 또한 중요한 문제를 주목했을 것입니다:
RAG 프레임워크 하에서, 앱 개발자, 모델 제작자 및 데이터 소유자는 함께 협력하여 사용자 질의에 대한 답변을 제공하는 데 기여할 수 있습니다.
따라서 공정한 상황에서 각 당사자는 자신의 기여에 대해 공정한 보상을 받아야 합니다.
하지만 현재로서는 각 당사자의 독립성이나 소유권을 해치지 않으면서 이를 수행할 수 있는 간단한 방법이 없습니다. (참고로, 이 문제는 우리가 1년 이상 전에 KIP 구축을 시작하게 된 이유입니다).
이것이 바로 "수익 문제"입니다.
3）RAG와 중앙집중화 AI의 "수익 문제"
하나의 실체가 AI 가치 창출의 세 가지 요소를 모두 소유하는 상황을 상상해 봅시다: 사용자로부터 수집된 지불을 당사자 간에 재분배할 필요 없이 내부적으로 직접 정산할 수 있습니다.
하지만 반대로, 우리가 하나의 실체가 AI 가치 창출의 세 가지 요소(앱 개발자, 모델 제작자 및 데이터 소유자)를 모두 소유하는 것을 받아들일 수 없다면, 우리는 다양한 산업의 AI 가치 창출 역할 간의 수익 문제를 해결해야 합니다.
"수익 문제"를 해결하지 않으면 앱 개발자, 모델 제작자 및 데이터 소유자는 각자의 독립성과 거래 자유를 유지할 수 없습니다.
그러나 AI 산업의 독점은 이제 시작되었습니다.
다음은 우리가 OpenAI 독점에 대한 견해입니다:
OpenAI는 분명히 GPT-4와 같은 가장 강력한 모델을 보유하고 있으며, 이러한 폐쇄형 모델은 우리가 수년간 인터넷에 게시한 지식과 콘텐츠를 수집하여 훈련되었습니다. 이는 그들의 앱(예: ChatGPT)과 사용자 제작 GPT에 연료를 제공합니다.
그들의 저작권 보호 조치(즉, 플랫폼에 저작권이 있는 데이터를 업로드한 사람에게 법적 비용을 지불하겠다고 약속함으로써)로 인해, 그들은 사용자가 법적 결과에 대한 걱정 없이 데이터를 그들의 폐쇄형 플랫폼에 대담하게 업로드하도록 장려합니다.
OpenAI가 중앙집중화된 폐쇄형 web2 플랫폼이라는 점을 고려할 때, 우리는 사용자 업로드 데이터(예: ChatGPT 또는 GPT 앱)가 여전히 업로더에게 속하는지 스스로에게 물어봐야 합니다.
따라서 그들의 기존 모델, 모든 데이터에 대한 무제한 "스크래핑", 저작권 보호 조치 및 막대한 자금 조달을 바탕으로, OpenAI는 역사상 가장 탐욕스러운 "데이터 청소기"로, 지속적으로 데이터와 자원을 흡수하여 그들의 모델 요구를 충족시키고 있다는 것을 알게 될 것입니다.
위의 모든 요소(및 그들이 하드웨어를 위해 모금한 70억 달러)를 종합해 보면, 몇몇 회사가 AI 산업을 완전히 독점하는 사실은 피할 수 없다는 것을 쉽게 알 수 있습니다.
우리가 이미 공유한 이유를 바탕으로, 우리는 AI 산업의 독점이 인류에 해롭다고 확신하며, 우리는 독점에서 벗어날 해결책을 적극적으로 모색할 것입니다.
4）탈중앙화 RAG의 의미
RAG는 AI 가치 창출의 세 가지 핵심 요소(앱 개발자, 모델 제작자 및 데이터 소유자)를 포함합니다.
따라서 탈중앙화 RAG 프레임워크를 구축함으로써 KIP는 본질적으로 AI 가치 창출을 탈중앙화하는 프레임워크를 구축하여 모든 가치 창출자에게 공정한 경쟁 환경을 제공하고 AI 독점에서 벗어날 수 있도록 합니다.
우리는 AI가 효율적으로 작동할 수 있도록 허용하며, 수백만의 소규모 및 대규모 창작자들이 공동으로 노력한 결과물이 되도록 하며, 어떤 대기업도 각 핵심 기능을 독점적으로 통제할 필요가 없습니다.
이를 위해 우리는 RAG의 탈중앙화를 방해하는 세 가지 기본 문제를 먼저 해결할 것입니다:
1. 소유권: (앱 개발자, 모델 제작자 및 데이터 소유자)가 쉽게 안전하게 web3에 콘텐츠를 게시할 수 있도록 보장하며, ERC 3525 반동질 토큰(Semi-Fungible Tokens) 형태로 그들의 Web3 "거래 실체"를 구축하여 체인에서 디지털 소유권을 증명할 수 있도록 합니다.
2. 온체인/오프체인 연결: 온체인과 오프체인 상호작용의 매끄러움을 보장하여 앱 개발자, 모델 제작자 및 데이터 소유자가 쉽게 자유롭게 서로 연결할 수 있는 개방된 환경을 제공합니다.
3. 수익화: 각 AI 가치 창출자의 기여를 기록하고 정산하며 자동 수익 분배 및 인출을 위한 보편적인 프레임워크를 제공합니다.
RAG(d/RAG)의 탈중앙화를 실현함으로써 KIP는 AI 독점에서 벗어나는 중요한 청사진을 그리고 있습니다.
모든 AI 가치 창출자에게 디지털 소유권을 해제하여, 모든 사람이 독립성을 유지하면서 거래할 수 있도록 하는 것은 web2의 대형 기술 회사들이 시도하는 목표와 정반대입니다.
KIP 프로토콜은 AI 가치 창출자가 AI 독점에서 벗어나는 데 필요한 도구를 제공합니다.
KIP 프로토콜에 대하여
KIP 프로토콜은 AI 앱 개발자, 모델 제작자 및 데이터 소유자를 위해 Web3 기반 프로토콜을 구축하여 AI 자산이 쉽게 배포되고 수익화될 수 있도록 하며, 완전한 디지털 소유권을 유지합니다.
KIP는 탈중앙화 AI 배포에서 직면하는 문제와 도전을 해결하기 위해 새로운 AI 비즈니스 생태계를 구축하고, 모든 사람이 AI가 가져오는 경제적 이익을 누릴 수 있도록 보장할 것입니다.
KIP 팀은 2019년 이후 AI 연구에 전념해온 경력 박사 및 기술 전문가들로 구성되어 있으며, 동시에 Web3 분야에서 깊은 전문성과 풍부한 경험을 보유하고 있어 AI 탈중앙화를 추진하고, 탈중앙화 AI의 물결을 가속화하는 촉매제가 되고자 합니다.
자세한 정보는 우리의 공식 계정을 팔로우하세요:
