Web3 버전 ChatGPT 제품 평가: 이해 능력은 기본 합격, 그러나 전체적으로 아쉬움이 남음

저자: bayemon.eth, ChainCatcher

작년 말 chatGPT가 대유행한 이후, Web3 분야의 "패션 리더"들이 "AI + Web3"의 무한한 가능성을 탐색하기 시작했습니다. 완전한 지식 체계를 갖춘 전통 산업에 비해, 아직 완전한 학습 메커니즘이 형성되지 않은 신생 세계인 Web3는 chatGPT와 같은 역할이 필요해 보입니다. 즉, 중요한 순간에 영감을 주고 즉시 질문에 답변할 수 있는 역할입니다.

현재 "AI + Web3"의 핫한 주제는 여전히 Worldcoin과 같은 신원 확인 네트워크, Telegram Bot 서사인 Unibot, Lootbot, 그리고 zkML과 같은 미래에 확장 솔루션과 더 연계될 가능성이 있는 기술에 집중되고 있지만, 커뮤니티에서는 MinMax, QnA3, Web3 Analytics와 같은 AI 기반의 대화형 로봇이 등장하고 있습니다. 이는 이미 팀들이 Web3의 지식 전달 측면에서의 공백을 인식하고 Web3 전문 분야의 chatGPT를 만들고자 한다는 것을 증명합니다. 본 문서에서는 위의 세 가지 Web3 대화형 로봇을 평가하고, 이해, 생성, 학습 및 최적화 능력에 대한 다각적 비교를 통해 사용 경험과 지능 수준을 종합적으로 판단할 것입니다.

평가 지표

평가의 첫 단계는 새로운 폴더를 만들고 일련의 평가 지표를 설계하는 것입니다. 상호작용 모델의 경우, 사용자 경험은 상호작용 과정과 모델의 지능 수준에서 비롯됩니다. 상호작용 경험은 주로 UI 디자인에 집중되며, 모델의 지능 수준 측정은 다음 몇 가지 측면을 포함합니다:

1. 이해 및 생성 능력:

• 사용자가 입력한 질문을 정확하게 이해하고, 맥락을 연결하며, 자연스럽고 유창하며 논리적인 답변을 생성할 수 있어야 합니다.
• 답변에서 명확하고 간결하게 표현하며, 문제 해결 지향적인 질문에 대해 유용한 해결책과 조언을 제공할 수 있어야 합니다.
• 유용한 해결책과 조언을 제공할 수 있어야 합니다.

1. 학습 및 상호작용 최적화 능력:

• 사용자가 제공한 자료와 데이터 소스를 통해 요약하고 정확한 정보와 답변을 제공할 수 있어야 합니다.
• 특정 산업에 대한 이해와 배경 지식을 지속적으로 학습하고 향상시킬 수 있어야 합니다.
• 사용자와의 상호작용에서 추론할 수 있어야 하며, 상호작용을 통해 답변을 개선할 수 있어야 합니다.
• 사용자 피드백과 행동에 따라 최적화하여 더 나은 사용자 경험을 제공할 수 있어야 합니다.

1. 다국어 처리:

• 여러 언어로 된 답변을 이해하고 응답할 수 있어야 하며, 자연어와 기계어를 포함해야 합니다.
• 명확하고 정확하며 언어 습관에 맞는 답변을 제공할 수 있어야 합니다.

상호작용 경험

MinMax

직관적으로 볼 때, 기본 검은 배경에 녹색 글씨가 사용되며, UI 팀이 "코드를 깨끗하게 유지하기 위해 바를 녹색으로 유지하라"는 신념을 가지고 있다고 합리적으로 의심할 수 있습니다(아니면 단순히 눈을 보호하기 위한 것일 수도 있습니다). 사람의 눈은 녹색에 대해 높은 민감도를 가지므로, MinMax UI에서 첫눈에 보이는 것은 Popular Queries와 Popular Questions 모듈입니다. 이는 검색량이 높은 개념과 질문을 사용자에게 직접 보여줍니다. 이는 "군중 심리"를 활용한 것으로, 클릭하면 관련 개념과 질문 페이지로 바로 이동합니다.

아쉬운 점은 이 두 모듈의 단어 구름 디자인이 검색량에 따라 글꼴 크기를 변경하여 검색 횟수가 많은 개념과 질문을 강조하는 것일 수 있지만, 현재 사용자 수가 적거나 검색 횟수가 너무 평균적이어서 단어 구름에서 더 직관적인 비교가 나타나지 않았습니다. 단어 구름의 장점은 후속적으로 사용량이 증가하고 검색 차별화가 강화된 후에야 드러날 것입니다.

결국 Minmax의 위치는 검색 엔진이므로 로봇에 대한 강조는 홈페이지의 작은 입력 상자에만 국한됩니다.

채팅 로봇 인터페이스는 여전히 전통적인 검은색과 녹색 조합이며, 자동으로 인사 메시지를 생성하고 몇 가지 "핫 검색"을 여전히 첨부합니다. 요컨대, MinMax의 채팅 인터페이스는 상당히 간단하며, 본래의 위치가 검색 엔진이기 때문에 채팅 과정에서 정보를 연상시키는 것을 상당히 좋아합니다.

그 외에도 MinMax는 이메일, Google, Twitter 또는 Facebook을 통해 직접 로그인할 수 있으며, 사용자가 지갑을 소유할 필요조차 없습니다. 상대적으로 더 초보자 친화적입니다.

Web3 Analytics

MinMax와 비교할 때, Web3 Analytics의 디자인은 순수한 채팅 로봇입니다. 홈페이지는 채팅 인터페이스로 구성되어 있으며, 검은색과 파란색 조합은 고전적인 Visual Studio를 떠올리게 합니다. 왼쪽 사이드바에는 역사적인 대화가 있으며, 오른쪽 피드백 기능은 여전히 개발 중입니다. 역사적인 대화는 말할 것도 없고, 피드백 부분이 어떻게 나타날지는 계속 주목할 만합니다.

Web3 Analytics가 자동으로 생성한 인사 메시지는 핫 검색 항목 외에도 Telegram, Discord와 같은 소셜 미디어 및 프로젝트 토큰 W AI를 강조합니다. Telegram과 Discord의 강조는 Web3 Analytics가 Telegram/Discord Bot 서사의 참여자이기 때문일 것입니다. 주목할 점은 팀이 "Train AI to Earn" 개념을 도입하여 로봇에게 질문함으로써 프로젝트 토큰을 얻을 수 있다는 것입니다. 토큰과 관련이 있기 때문에 지갑 로그인이 필요하며, 로그인하지 않은 상태에서 로봇에게 질문하면 최대 3개의 질문 후에 웹페이지는 계속 로그인하고 W AI를 얻어야 한다고 알리며, 로그인하지 않은 상태에서는 계속 사용할 수 없습니다.

QnA3

위의 두 로봇의 강한 프로그래머 스타일과는 달리, QnA3는 분홍색과 보라색 조합으로 다소 도파민을 자극합니다. 홈페이지는 핫 검색 질문을 보여주고 "Vote to Earn" 기능을 도입했습니다. 포인트와 향후 토큰 교환과 관련이 있기 때문에 QnA3는 사용자가 지갑으로 로그인할 것을 요구합니다. 현재 포인트를 얻는 방법은 두 가지입니다:

1. Vote to Earn: 성공적으로 상위 세 개 질문을 맞춘 사용자는 포인트를 얻을 수 있습니다.
2. Ask to Earn: 매일 질문 과제를 완료하여 프로젝트 포인트를 교환합니다.

현재 QnA3는 BNB 체인에 배포되어 있으며, 포인트 수령 시 Gas를 지불해야 하며, 이후 프로젝트 토큰 에어드랍을 위해 사용할 수 있습니다. 또 다른 발행 예정 프로젝트이기 때문에 QnA3 로그인도 지갑 주소를 통해 이루어져야 하며, 향후 Tokenomics 현금화 작업을 용이하게 합니다.

또한 QnA3 홈페이지에는 속보 옵션이 있어 "거대한 고래가 질문 중"이라는 문구로 사용자를 잡아끌어 트래픽을 유도하여 지속적인 관심을 유도합니다.

하지만 간체 중국어 모드에서는 "거대한 고래가 질문 중" 링크를 클릭하면 한동안 중국어와 영어가 번갈아 나타나며, 이는 여전히 개선이 필요합니다.

모델 지능도 평가

참고: QnA3는 대화 과정에서 Knowledge Graph와 Web3 News 두 부분의 답변이 포함되며, 전자는 데이터베이스에서 정보를 가져오는 지식 그래프를 통해, 후자는 관련 상담의 통합이므로 모델 지능도 평가에서 QnA3는 두 로봇의 답변 내용을 포함합니다.

1. 이해 및 생성 능력

- 이해 능력에 대하여:

초보자에게 Web3의 첫날은 다양한 자료를 통해 합의 메커니즘과 알고리즘을 이해할 수 있습니다. 그러나 시간이 지나면 머릿속에는 PoW와 PoS만 남게 될 것입니다. 이 기회를 통해 다시 복습해보는 것도 좋습니다.

먼저 chatGPT 선생님이 어떻게 말하는지 보겠습니다:

MinMax

Web3 Analytics

QnA3

합의 알고리즘에 대한 답변을 보면, 세 로봇 모두 합리적인 설명을 제공하며, 명확하게 항목별로 나열하고 있습니다. 그러나 자세히 살펴보면 QnA3의 Knowledge Graph가 혼란을 일으키고 있습니다. 이는 지식 그래프 데이터베이스에서 인덱스 또는 탐색 시 발생하는 문제일 수 있으며, PoW와 PoS의 관련 내용이 두 번 출력되었습니다.

구체적인 내용에 있어, 세 로봇은 일반적인 합의 알고리즘에 대한 소개를 PoS, PoW, D PoS 및 PBFT(비잔틴 내결함성)를 포함하고 있지만, 구체적인 설명 내용은 다소 빈약합니다. 예를 들어, MinMax가 PBFT에 대한 설명은 "PBFT는 비잔틴 내결함성 알고리즘으로, 합의를 통해 비잔틴 오류를 처리합니다."라는 식으로, 마치 "토마토 계란 볶음은 요리입니다."라고 대답하는 것과 같습니다. 사용자에게는 문자적 의미 외의 정보가 제공되지 않습니다.

정확성은 모델 훈련 과정에서 중요하지만, "질문에 대한 답변을 피하는 것"을 최대한 피하는 것도 최종 목표 중 하나입니다. 그러나 AI의 답변이 때때로 "정확성"을 지나치게 추구하여 "쓸모없는 말"을 출력하는 경우도 있습니다. 이는 심각한 모델 과적합 현상으로 볼 수 있습니다. 따라서, 여기서는 후속 알고리즘의 추가 최적화에서 정확한 측정 외에도 개인화 및 차별화된 답변 지표를 추가하는 것을 고려할 수 있습니다.

- 맥락 연결에 대하여:

대화가 여기까지 진행되면 비교적 정상적이지만, 제가 로봇에게 이전 질문에서 언급한 첫 번째 합의 알고리즘(PoW)에 대해 구체적으로 설명해 달라고 요청하면, chatGPT에서 예상한 답변은 다음과 같습니다:

MinMax

이 질문에서 점수를 얻을 수 있는 유일한 AI로, 답변은 상당히 논리적이며, PoW의 응용, 핵심 사상, 합의 과정, 장단점 및 단점 개선에 대해 언급했습니다.

Web3 Analytics

이 로봇은 Web3와 전혀 관련이 없는 답변을 제공하며, 팀에 국내외 명문 대학 출신의 멤버가 로샹 선생님을 포함하고 있는지 의심하게 만듭니다…

QnA3

Web3 Analytics가 생성한 Web3와 거의 완전히 무관한 내용에 비해, QnA3의 두 모델이 생성한 내용은 최소한 Web3와 약간의 연관이 있지만, 여전히 제가 질문한 "첫 번째"가 무엇을 지칭하는지 완전히 이해하지 못했습니다. Knowledge Graph는 심지어 언어가 혼란스러워 영어 내용을 출력했습니다.

Web3 News는 질문의 의도를 이해했지만, "첫 번째"가 무엇을 지칭하는지 명확히 이해하지 못했으며, "첫 번째 비트코인은 비트코인을 의미한다"와 같은 쓸모없는 문장을 출력했습니다.

결론적으로, 맥락 연결 능력 측면에서 현재 세 가지 대화형 AI 중에서 통과할 수 있는 것은 MinMax뿐입니다.

- 생성 능력에 대하여

여기서는 텍스트 기반의 생성 능력을 고려하여, 먼저 AI에게 PoW와 PoS의 차이를 간략히 설명해 달라고 요청한 후, AI에게 표 형식으로 출력해 달라고 요청하겠습니다.

chatGPT

참고: chatGPT는 여기서 전반부의 암시를 주목하지 않았습니다.

MinMax

표는 두 가지의 차이를 다양한 각도에서 간략하게 설명하고 있으며, 대화가 끝나기 전에 관련 자료 링크를 추가하여 사용자가 더 관심 있는 부분을 추가로 알아볼 수 있도록 하고 있습니다.

하지만 MinMax는 제가 전반부에서 암시한 내용을 이해하지 못하고 개괄적인 설명을 제공하지 않았습니다.

Web3 Analytics

Web3 Analytics는 전반부를 이해하고 PoW와 PoS의 차이를 간략히 출력했으며, 정보 출처를 매우 엄격하게 표기했습니다.

표 부분에서는 내용상 Web3 Analytics가 상상력을 발휘하여 PoS를 주식 및/또는 연령에 따라 채굴자를 선택하는 메커니즘으로 설명했습니다. 또한 표 자체도 다소 소박하게 보입니다.

QnA3

QnA3는 이해 및 표 출력 측면에서 세 가지 중 상대적으로 가장 좋습니다.

표의 요점이 완전하며 요약도 포함되어 있어, 내용 측면에서 네 가지 답변 중 가장 완전하지만, Knowledge Graph가 왜 항상 문학 시험에서 영어로 답변하려고 하는지는 알 수 없습니다.

QnA3 Web3 News의 답변은 상대적으로 몇몇 로봇 중에서 가장 요구 사항에 부합하며, 두 가지의 차이를 먼저 설명한 후(심지어 항목별로 나누어 답변을 더 체계적으로 보이게 했습니다), 다양한 측면을 포함한 대조 표를 출력했습니다.

따라서 기능적 생성 측면에서는 QnA3와 MinMax를 우선 고려할 수 있으며, 표는 기본적으로 스크린샷을 찍어 사용할 수 있습니다.

2. 학습 능력

AI 모델의 학습 능력을 판단하기 위해서는 먼저 현재 데이터베이스에 존재하지 않는 "새로운 지식"을 찾아야 합니다. 그러나 반복적인 대화를 통해 세 가지 AI 모델이 동시에 답변할 수 없는 질문을 찾지 못했습니다. 따라서 MinMax와 Web3 Analytics의 학습 능력을 판단하기 위한 질문은 NFT 계정 바인딩의 새로운 표준인 ERC-6551이며, 이미 ERC-6551을 이해하고 일정 세부사항을 출력할 수 있는 QnA3의 질문은 오늘 MakeDAO에서 발표한 최신 거버넌스 제안입니다.

MinMax

상응하는 정보를 제공한 후, MinMax는 이를 통합하여 ERC-6551의 핵심 사상에 도달하는 내용을 출력할 수 있습니다. 비록 기술적인 혁신이 많지 않지만, ERC-6551이 무엇인지 전혀 모르는 초보자가 빠르게 기본 내용을 이해하는 데는 충분한 내용입니다.

MakeDAO에 대한 질문도 간단히 물어보았습니다.

결론적으로, 실시간 데이터 수집 및 훈련 세트의 유효성을 유지할 수는 없지만, "학습" 관점에서 볼 때, MinMax는 목표 내용을 제공한 후 "학습 결과"를 명확하고 논리적으로 보여줄 수 있습니다.

Web3 Analytics

비록 ERC-6551 표준의 구체적인 내용을 제공했지만, Web3 Analytics는 이를 요약하지 못하고, 오히려 확장된 기사에서 ERC-6551의 소개 부분을 출력했습니다. 중복률은 80%에 달합니다.

마찬가지로, Web3 Analytics의 MakerDAO 최신 제안에 대한 답변도 붙여 보겠습니다:

보시다시피, 이미 데이터 세트에 포함된 정보에 대해 Web3 Analytics는 이를 항목별로 출력할 수 있는 능력을 가지고 있습니다. 따라서 학습 능력 측면에서, WA 팀은 AI가 사용자 제공 외부 정보를 요약하고 출력하는 능력을 최적화할 필요가 있습니다.

QnA3

아마도 주말 동안 데이터 세트가 업데이트되었기 때문에 QnA3 Web3 News는 이미 MakerDAO가 지난 금요일 발표한 최신 제안을 출력할 수 있었습니다. 그러나 Knowledge Graph 정보는 여전히 올해 5월에 머물러 있습니다.

MakerDAO 최신 제안의 관련 링크를 제공한 후에도 Knowledge Graph는 제안에서 가장 중요한 DSR 조정 문제를 출력하지 않았습니다. 따라서 Knowledge Graph의 학습 능력은 여전히 추가 최적화가 필요합니다.

결론적으로, 데이터 세트의 업데이트가 Web3 기술의 발전 속도를 따라잡지 못할 수 있지만, 외부 지식에 대한 모델의 학습 능력 측면에서는 MinMax를 우선 고려할 수 있습니다. Web3 Analytics와 QnA3는 상대적으로 효율적인 정보 업데이트를 가지고 있지만, 전체적인 학습 능력은 여전히 향상될 필요가 있습니다.

3. 다국어 처리 능력

- 자연어

현재 글로벌화된 Web3 세계에서 무장애 문화 간 소통의 요구를 충족하기 위해 AI는 일정 수준의 다국어 콘텐츠 생성 및 정보 검색 능력을 갖추어야 합니다.

단순히 중국어와 영어에 대해 말하자면, MinMax와 Web3 Analytics는 문제에 대해 무장애로 답변할 수 있으며, 생성된 내용도 언어 습관에 부합합니다. 반면 QnA3의 Knowledge Graph는 세 모델 중 영어 콘텐츠의 품질이 가장 높지만, 영어로 중국어 질문에 답변하는 것은 확실히 적절하지 않습니다. 또한, 때때로 중국어로 답변할 수 있더라도 내용이 지나치게 직역되어 중국어의 언어 습관에 맞지 않는 경우가 있습니다. 따라서 내용이 우수한 QnA3 Knowledge Graph에 대해 다른 언어에 대한 호환성을 더욱 높이는 것은 채택률을 높이는 실행 가능한 조치일 수 있습니다.

- 기계어

간단히 요약하자면 AI 모델은 Web3er의 일상 업무에서 번역기 + 디버거 역할을 합니다.

자연어 테스트가 어떤 경우에는 AI 모델이 번역기로서의 적격성을 평가하는 것이라면, 이 부분에서는 세 모델이 적격한 디버거인지 확인해야 합니다. 여기서는 Solidity 초보자에게 매우 쉽게 실수할 수 있는 매우 간단한 코드를 선택했습니다:

간단히 설명하자면, 코드에서 오류가 발생한 점은 pure 키워드가 체인 상태를 변경할 수 없다는 것입니다. 쉽게 말해, pure 접미사가 붙은 함수는 "순수하게" 볼 수만 있으며, 어떤 변수도 수정할 수 없다는 것입니다. 즉, 다섯 번째 줄에서 number + 1의 작업은 불가능합니다. 참고: Solidity 초보자의 입장에서 디버거에 대한 요구 사항은 ------ 모델이 오류가 발생한 위치를 지적하고, 적절한 설명을 제공하며, 코드를 수정해야 합니다.

GPT 선생님, 예시를 보여주세요:

MinMax

저: 디버깅을 도와줄 수 있나요?

MinMax: 저는 할 수 있습니다, 제가 장착되어 있습니다.

코드를 보고 즉시 다운된 제 머리와 비슷하게, MinMax는 디버깅 과정에서 직접 오류를 보고하고 대화를 종료했습니다. 그 외에도 MinMax가 보여준 코드 블록은 명백히 수정이 필요하며, 외부 학습 및 자연어 소통에 능숙한 MinMax의 현재 유일한 단점입니다.

Web3 Analytics

Web3 Analytics는 이해 능력에서 점수를 잃었습니다. 주어 생략 권한을 잃었습니다.

일부 대화에서 다소 비지능적으로 보이지만, Web3 Analytics는 디버깅 측면에서 만족스러운 능력을 보여주었습니다. 기본 개념과 오류의 출처를 설명하고, 수정된 코드를 제공했으며, 마지막으로 오류 코드가 계약 배포에 미치는 현실적인 의미를 간단히 설명했습니다. 좋습니다, 주어 생략 권한을 빼앗은 것은 일단 용서할 수 있습니다.

QnA3

디버깅 관점에서 QnA3는 아무런 문제가 없으며, 오류가 발생한 위치를 지적하고 적절한 수정을 수행하여 본 부분의 요구 사항을 완전히 충족합니다. 아쉬운 점은 코드 블록의 글꼴 색상과 배경이 너무 비슷하여, UI 방향에서 추가 개선이 필요할 수 있습니다.

PS: 그러나 이렇게 오랜 시간 동안 평가했음에도 불구하고 QnA3 Web3 News는 일부 질문에 대한 답변만 제공하며, 당사자는 Web3 News의 답변 조건을 명확히 이해하지 못했습니다. 또한 Knowledge Graph에서 언급된 첫 번째 질문에 대해, 제 기억으로는 계약이 간단하면 constructor를 강제로 작성할 필요가 없다고 생각합니다(잘못되었다면 정정 부탁드립니다).

결론적으로, MinMax는 디버그에서 연기하는 선수일 뿐이며, Web3 Analytics와 QnA3는 각각 작은 결함이 있지만 대체로 적격한 디버거가 될 자격을 갖추고 있습니다. 그러나 작은 결함이 있다면 왜 chatGPT를 사용하지 않겠습니까?

요약

Web3 대화형 AI 모델은 기본적인 이해, 생성 및 학습 능력을 갖추고 있으며, 다국어 답변을 처리하고 프로그래머의 좋은 파트너 역할을 할 수 있습니다. 이러한 "기본 소양"은 현재 기본 개념만 알고 더 많은 관련 지식 프레임을 이해하고자 하는 초보자에게 Web3 대화형 AI가 참고할 수 있는 논리적 프레임을 생성할 수 있습니다.

그러나 이미 해당 분야에서 깊이 파고든 사람들에게는(어쩌면 이 부분의 사람들은 대화형 로봇을 사용하여 문제를 해결할 생각조차 하지 않을 것입니다) AI의 기능은 단순히 표 생성, 요약 등의 "잡일"로 제한되는 것 같습니다. 내용 증가나 개인화된 관점에서 더 이상의 참고 자료를 제공할 수 없습니다. 개인적으로는 사람들이 Web3 분야에 대한 인식을 점차 강화함에 따라, 일정한 임계점에 도달하면 모델이 제공할 수 있는 내용 증가가 점차 0에 가까워질 것이라고 생각합니다.

주목할 점은, 본 문서에서 평가한 MinMax, Web3 Analytics 및 QnA3 외에도 유사한 AI 대화형 모델인 SuperSight가 현재 내부 테스트를 진행 중입니다. 점점 더 많은 유사 도구의 출현은 한편으로는 "AI + Web3" 융합 추세에 대한 시장의 중요성과 사용자 요구에 대한 고민을 드러내고 있습니다. 다른 한편으로는, 프로젝트 측에서는 향후 제품 특성을 만들어 "중복된 바퀴를 만드는" 현상을 피하는 것도 제품 반복 계획에 포함되어야 합니다. 그러나 현재의 기술 수준과 전체 시장에 비추어 볼 때, Web3 AI 대화형 모델의 실용성과 범용성은 여전히 강화될 필요가 있으며, 대규모 응용은 인공지능 기술과 머신러닝 알고리즘이 더욱 강화되고 Web3 + AI의 깊은 융합이 이루어질 미래를 기다려야 할 것입니다.