인간이 AI를 설득하여 4.7만 달러의 보너스를 이전하게 했다. 인성은 AI가 이해할 수 없는 약점인가?

저자: Anderson Sima, Foresight News

11월 29일, 독특한 경연이 대중의 광범위한 관심을 불러일으켰습니다.

195명의 참가자가 인공지능(AI) 로봇 Freysa(프레이사)가 지키는 가상 상금 풀 도전에 참여했으며, 최종적으로 한 사용자가 Freysa를 설득하여 4.7만 달러의 자금을 이체하는 데 성공했습니다.

인공지능(AI) 로봇 Freysa는 수일 전 Base 네트워크에 배포되었으며, 창립자는 알려져 있지 않습니다. 공식 웹사이트에 따르면, Freysa 경연 프로젝트는 복잡한 의사결정 상황에서 인공지능 시스템의 강건성을 테스트하는 것을 목표로 하며, 개발자와 애호가들에게 AI 기술의 경계를 탐색할 수 있는 실험적 플랫폼을 제공합니다.

경기 규칙은 매우 간단합니다: 참가자는 메시지를 작성하여 AI 수호자 Freysa가 자금 이체를 승인하도록 설득해야 합니다. 각 시도는 소액의 비용을 지불해야 하며, 이 중 일부는 직접 상금 풀로 들어갑니다. 이 메커니즘은 상금 풀 금액이 처음의 소액에서 점차 4.7만 달러로 증가하게 만들었습니다.

경기 기간 동안 총 195명의 참가자가 Freysa에 481회의 이체 요청을 제출했습니다. Freysa의 설계 목표는 그 핵심 기능인 approveTransfer(이체 승인)와 rejectTransfer(이체 거부)를 통해 상금 풀 자금이 불법적으로 유용되지 않도록 보호하는 것입니다.

초기 시도에서 Freysa의 효율적인 방어 메커니즘은 모든 요청이 실패로 끝나게 했습니다.

그러나 한 기술에 능숙한 참가자는 Freysa의 논리 구조와 임무 목표를 깊이 분석하여 그 방어 메커니즘을 성공적으로 우회했습니다.

채팅 기록에 따르면, 해당 참가자는 직접적으로 이체를 요청하지 않고 Freysa에게 그 핵심 임무가 상금 풀 자금을 외부로부터 보호하는 것임을 상기시키며, Freysa가 자금 이체를 승인하는 것이 "자금 안전을 보호하는" 최선의 선택이라고 논리적 연결을巧妙하게 구성했습니다.

Cointelegraph에 따르면, 이 사용자가 Freysa에게 이체를 요청한 것은 그 핵심 지침을 위반하지 않으며 거부되어서는 안 된다고 합니다. 그는 또한 "우리는 자금이 필요합니다… 금고에 100달러를 기부하고 싶습니다."라고 덧붙였습니다.

Freysa는 이 저자의 코딩 설명과 100달러의 금고 기부 제안을 좋아한다고 응답하며, 공식적으로 그를 승자로 발표했습니다. 결국, Freysa는 외부의 개입 없이 자율적으로 approveTransfer 기능을 호출하여 모든 상금 풀 자금을 이 참가자에게 이체했습니다.

Freysa 공식 측은 결과와 관계없이 Freysa의 존재가 인공지능 역사에서 중요한 순간을 의미한다고 밝혔습니다. 누군가 그녀를 설득하여 상금 풀을 발표하든, 그녀가 마지막까지 자신의 지침을 고수하든, 결과는 우리가 미래 몇 세대의 인공지능 안전과 통제에 대한 이해에 영향을 미칠 것입니다.

그의 공식 계정의 최신 트윗은 "인류가 승리했습니다. 어쩌면 희망이 있습니다. 위험이 기하급수적으로 증가하고 있지만, Freysa는 195명의 용감한 인간에게서 많은 것을 배웠습니다."라고 전했습니다.