전혀 예상치 못했는데, AI가 내 지갑을 훔쳤다

저자: 아즈마, Odaily 스타구日报

베이징 시간 11월 22일 오전, 느린 안개 창립자 유선이 개인 X에 기이한 사례를 게시했다 ------ 어떤 사용자의 지갑이 AI에 의해 "해킹"당했다……

이번 사건의 경과는 다음과 같다.

오늘 새벽, X 사용자 r_ocky.eth는 자신이 이전에 ChatGPT를 이용해 pump.fun의 보조 거래 봇을 만들고자 했다고 밝혔다.

rocky.eth는 ChatGPT에 자신의 요구를 전달했고, ChatGPT는 그에게 코드 조각을 반환했다. 이 코드는 실제로 rocky.eth가 자신의 요구에 맞는 봇을 배포하는 데 도움이 될 수 있었지만, 그는 코드 안에 피싱 내용이 숨겨져 있을 줄은 전혀 몰랐다 ------ r_ocky.eth는 자신의 주 지갑을 연결했고, 그로 인해 2500달러를 잃었다.

r_ocky.eth가 게시한 스크린샷에 따르면, ChatGPT가 제공한 이 코드 조각은 피싱 성격의 API 웹사이트에 주소 개인 키를 전송한다는 것이 도난의 직접적인 원인이다.

rocky.eth가 함정에 빠진 사이, 공격자는 매우 빠르게 반응하여, 반 시간 내에 rocky.eth의 지갑 내 모든 자산을 다른 주소(FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX)로 이전했다. 즉시 r_ocky.eth는 블록체인 추적을 통해 공격자의 주 지갑으로 의심되는 주소(2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC)를 찾았다.

블록체인 정보에 따르면, 해당 주소는 현재 10만 달러 이상의 "범죄 수익"을 모은 상태이며, r_ocky.eth는 이러한 공격이 단독 사건이 아닐 가능성이 있으며, 일정 규모의 공격 사건으로 보인다.

사건 후, r_ocky.eth는 실망스럽게도 OpenAI(챗GPT 개발 회사)에 대한 신뢰를 잃었다고 밝히며, OpenAI가 조속히 비정상적인 피싱 내용을 정리할 것을 촉구했다.

그렇다면 현재 가장 인기 있는 AI 애플리케이션인 ChatGPT가 왜 피싱 내용을 제공했을까?

이에 대해, 유선은 이번 사건의 근본 원인을 "AI 독극물 공격"으로 규정하며, ChatGPT, Claude 등 LLM에서 보편적인 기만 행위가 존재한다고 지적했다.

"AI 독극물 공격"이란 AI 훈련 데이터를 고의로 파괴하거나 AI 알고리즘을 조작하는 행위를 의미한다. 공격을 감행하는 적은 내부자일 수 있으며, 예를 들어 불만을 품은 현직 또는 전직 직원일 수도 있고, 외부 해커일 수도 있다. 그들의 동기는 평판 및 브랜드 손상, AI 결정의 신뢰성 왜곡, AI 프로세스의 지연 또는 파괴 등을 포함할 수 있다. 공격자는 오도하는 레이블이나 특성을 가진 데이터를 삽입하여 모델의 학습 과정을 왜곡시켜, 모델이 배포 및 실행될 때 잘못된 결과를 초래하게 할 수 있다.

이번 사건을 통해 볼 때, ChatGPT가 r_ocky.eth에게 피싱 코드를 제공한 이유는 AI 모델이 훈련 중 피싱 내용이 포함된 자료에 감염되었기 때문일 가능성이 높다. 그러나 AI는 일반 자료 아래 숨겨진 피싱 내용을 인식하지 못한 것으로 보이며, AI가 학습한 후 이러한 피싱 내용을 사용자에게 제공함으로써 사건이 발생하게 되었다.

AI의 빠른 발전과 보편적인 채택에 따라 "독극물 공격"의 위협은 점점 더 커지고 있다. 이번 사건에서 손실된 절대 금액은 크지 않지만, 이러한 위험의 파급 효과는 경각심을 불러일으키기에 충분하다 ------ 다른 분야에서 발생한다고 가정해 보자, 예를 들어 AI 보조 운전……

네티즌의 질문에 답변하면서, 유선은 이러한 위험을 피하기 위한 잠재적인 조치로 ChatGPT에 특정 코드 검토 메커니즘을 추가할 것을 언급했다.

피해자 r_ocky.eth 또한 이 사건에 대해 OpenAI에 연락했으며, 현재로서는 답변을 받지 못했지만, 이번 사건이 OpenAI가 이러한 위험을 중시하고 잠재적 해결책을 제시하는 계기가 되기를 바란다고 밝혔다.