AI 안전

비탈릭이 장문 《d/acc: one year later》를 발표하며 AI 안전성과 암호화폐 응용에 대해 논의했다

ChainCatcher 메시지, 이더리움 창시자 비탈릭 부테린이 발표한 장문 《d/acc: one year later》에서 지난해 제안된 d/acc(탈중앙화 가속) 개념의 발전을 회고합니다. 이 글은 세 가지 주요 주제를 중심으로 논의합니다: AI 안전 규제, d/acc에서 암호화폐의 역할, 그리고 공공 제품 자금 조달.비탈릭은 AI 안전을 위해 두 가지 전략을 제시합니다: 첫째, 책임 제도를 구축하여 AI 사용자, 배포자 및 개발자에게 합리적인 법적 책임을 부여하는 것입니다; 둘째, 산업급 하드웨어 수준에서 글로벌 "소프트 정지" 메커니즘을 설정하여 필요 시 전 세계 계산 능력을 90-99% 줄일 수 있도록 합니다. 비탈릭은 d/acc와 암호화폐 간의 세 가지 관계를 언급합니다: 가치관 확장, 초기 채택자 커뮤니티, 그리고 기술 상호 보완성. 특히 암호화폐 커뮤니티가 예측 시장, 제로 지식 증명 등 분야에서 기여한 점을 강조합니다. 글에서는 이차 자금 조달, 소급적 공공 제품 자금 조달 및 심층 자금 조달을 포함한 혁신적인 메커니즘도 언급하며, 탈중앙화 자금 조달이 오픈 소스 프로젝트 발전에 미치는 중요성을 강조합니다. 비탈릭은 현재 기술의 빠른 발전과 글로벌 협력 감소라는 도전에 직면해 있지만, AI, 생명공학 등 새로운 도구가 인류에게 이러한 도전에 대응할 수 있는 능력을 제공한다고 생각합니다.

OpenAI 안전 팀 해체에 대한 더 많은 내부 정보가 공개되었으며, 이는 컴퓨팅 자원 배분 및 안전 문제와 관련이 있습니다

ChainCatcher 메시지, 미 동부 시간 5월 14일(지난 화요일), OpenAI 수석 과학자 일리야 수츠케버(Ilya Sutskever)가 공식적으로 퇴사한다고 발표했습니다. 같은 날, OpenAI 슈퍼 정렬 팀의 책임자 중 한 명인 잔 레이크(Jan Leike)도 퇴사한다고 발표했습니다.지난 금요일, OpenAI는 수츠케버와 잔 레이크가 공동으로 이끌던 "슈퍼 인공지능 정렬 팀"이 해체되었다고 확인했습니다. 5월 18일 새벽, 잔 레이크는 소셜 플랫폼 X에서 13개의 트윗을 연달아 올리며 퇴사의 진짜 이유와 더 많은 내부 정보를 폭로했습니다.요약하자면, 첫째는 계산 자원이 부족하고, 둘째는 OpenAI가 안전을 충분히 중시하지 않는다는 것입니다. 잔 레이크는 새로운 세대 AI 모델을 준비하는 작업에 더 많은 자원과 노력을 투입해야 한다고 말했지만, 현재의 발전 경로로는 목표를 순조롭게 달성할 수 없다고 밝혔습니다. 그의 팀은 지난 몇 달 동안 엄청난 도전에 직면했으며, 때로는 충분한 계산 자원을 확보하기 어려웠습니다.잔 레이크의 폭로에 대해, 5월 18일 올트먼도 긴급히 글을 올려 응답했습니다: "저는 잔 레이크가 OpenAI의 AI 슈퍼 정렬 연구와 안전 문화에 기여한 것에 대해 매우 감사하게 생각하며, 그가 회사를 떠나는 것에 대해 매우 유감스럽게 생각합니다. 그는 우리가 아직 해야 할 일이 많다고 지적했으며, 우리는 이에 동의하고 이러한 작업을 추진하기 위해 노력하고 있습니다. 앞으로 며칠 내에 이 문제에 대해 더 자세한 글을 작성할 것입니다."

OpenAI는 AI 안전성을 보장하기 위한 배포를 소개합니다: 새로운 버전 출시 전 엄격한 테스트, 안전 및 모니터링 시스템 구축

ChainCatcher 메시지에 따르면, ChatGPT 개발 회사 OpenAI는 자사의 공식 웹사이트에 《AI 안전성을 보장하는 우리의 접근 방식》이라는 제목의 기사를 발표하여 AI 모델의 안전성을 보장하기 위한 배포 방법을 소개했습니다.기사에 따르면, AI 도구는 오늘날 인류에게 많은 이점을 제공합니다. OpenAI는 또한 모든 기술과 마찬가지로 이러한 도구가 실제 위험을 초래한다는 것을 인식하고 있으며, 따라서 회사는 시스템의 모든 수준에서 안전 장치를 구축하기 위해 노력하고 있습니다.OpenAI는 새로운 시스템을 출시하기 전에 철저한 테스트를 수행하고, 외부 전문가를 고용하여 피드백을 제공받으며, 인공지능 피드백 강화 학습 등의 기술을 통해 모델의 행동을 개선하고, 광범위한 안전 및 모니터링 시스템을 구축합니다.또한 OpenAI는 강력한 인공지능 시스템이 엄격한 안전 평가를 받아야 한다고 생각합니다. 이러한 관행을 채택하기 위해 규제가 필요하며, 우리는 정부와 협력하여 이러한 규제의 최선의 형태를 마련하기 위해 적극적으로 노력하고 있습니다.동시에 사회는 점점 더 강력해지는 AI에 적응하고 조정할 시간을 가져야 하며, OpenAI는 아동 보호, 개인 정보 존중, 사실 정확성 향상을 ChatGPT 안전 작업의 주요 초점으로 삼고, 효과적인 완화 조치 및 기술을 연구하는 데 더 많은 시간과 자원을 투자하며, 현실 세계의 다양한 사용 사례를 대상으로 테스트를 진행할 것입니다.(출처 링크)
체인캐처 혁신가들과 함께하는 Web3 세상 구축