FWS 상세 설명: Filecoin이 출시한 AWS 오픈 소스 대안

원문 제목：Filecoin이 FWS(Filecoin Web Service)를 출시하다

저자: Filecoin Network

우리 엔지니어 팀에게는 중요한 출시일입니다.

생태계의 엔지니어 팀은 Filecoin Web Services 프로젝트에서 중요한 이정표에 도달했습니다. 이번 FWS 출시로 인해 오픈 소스 대안이 AWS, GCP 및 Azure와 같은 서비스의 대안을 제공하기 시작합니다. 이 플랫폼은 세계에서 가장 큰 탈중앙화 저장 네트워크인 Filecoin의 잠재력을 활용합니다.

이 소식의 발표는 전 세계 개발자에게 실제로 사용할 수 있는 클라우드 서비스 대안을 제공하는 중요한 첫 걸음을 내딛었습니다.

FWS란 무엇인가요?

FWS (Filecoin Web Services)는 Filecoin 네트워크 위에 구축된 일련의 컴퓨팅 및 저장 기술입니다. Filecoin 네트워크는 탈중앙화된 네트워크로, 네트워크 수익 생성 메커니즘과 인센티브 메커니즘이 내장되어 있습니다. 우리는 클라우드 서비스가 훌륭한 개발자 경험을 제공한다는 것을 인식하고, 따라서 우리의 야망 중 하나는 탈중앙화 네트워크가 제공할 수 있는 투명하고 오픈 소스 인센티브 레이어 위에 클라우드 수준의 개발자 경험을 제공하는 것입니다.

이 기술 스택은 컴퓨팅, 저장 및 네트워크 자원과 같은 다양한 구성 요소를 포함하며, 개발자가 탈중앙화 애플리케이션을 구축하는 데 사용할 수 있습니다. Filecoin Web Services에서 제공하는 구성 요소는 설계 시부터 확장성, 유연성 및 보안을 실현하도록 목표로 하여 광범위한 사용 사례에 적합합니다.

FWS 제품군

Estuary

https://estuary.tech

Estuary는 Estuary Node와 같은 다양한 구성 요소로 구성되어 있으며, 이는 쉽게 배포하고 관리할 수 있는 Filecoin 저장 노드입니다. 또한 Estuary Dashboard는 이 네트워크에서 저장 거래 제안을 모니터링하고 관리하기 위한 사용자 친화적인 인터페이스를 제공합니다. Estuary는 또한 개발자가 Filecoin에서 저장 애플리케이션을 구축할 수 있도록 다양한 개발자 도구와 API 인터페이스(예: Estuary API)를 제공합니다. 또한 Estuary SDK는 이 네트워크와의 통합 요구를 위한 일련의 라이브러리와 도구를 제공합니다.

Delta 기술 스택

https://delta.store

Delta 기술 스택(Delta Technology Stack)은 Filecoin 네트워크 저장 거래 제안을 생성하고 관리하기 위한 오픈 소스 도구 모음입니다. 여기에는 Deltac 저장 거래 제안 협상 엔진(Deal Making Engine), Delta 대규모 데이터 세트 관리자(Dataset Manager for large datasets) 및 미봉합 복사본(unsealed copies)에 대한 저장 및 외부 접근 서비스를 제공하는 Edge-UR Gateway 게이트웨이가 포함됩니다.

Delta 자세히 알아보기

Delta는 Filecoin 네트워크에서 저장 거래 제안을 준비하고 관리하는 프로세스를 간소화할 수 있습니다. Delta는 데이터 관리(버전 관리, 메타데이터 관리 및 저장 거래 제안 상태 추적 포함)를 관리하는 데 사용될 수 있으며, 이를 통해 사용자가 Filecoin 네트워크에 자신의 데이터를 게시하는 것이 더 쉬워집니다.

Delta 저장 거래 제안 협상 엔진은 사용자가 저장 거래 제안의 조건(필요한 저장 공간, 가격 및 거래 조건)을 지정할 수 있게 해줍니다. 이후 이 플랫폼은 Filecoin 네트워크의 스마트 계약을 사용하여 저장 거래 제안 조건을 강제하고 거래를 촉진합니다.

Delta는 Filecoin 네트워크에서 저장 거래 제안을 실행하기 위한 복잡한 프로세스를 포장하여, Filecoin 탈중앙화 저장 네트워크에 자신의 데이터 복사본을 저장하고자 하는 사용자에게 원활한 경험을 제공합니다.

특징:

• 저장 거래 제안 계획서 준비 및 공지

• 저장 조각(Piece) 제출 계산 및 최적화

• E2E/가져오기 지원(온라인/오프라인)

• 자동/수동 수정 및 저장 거래 제안 업데이트

• 지갑 할당

• 저장 제공자 할당 및 선택

• Blockstore 정리

• 저장 거래 제안 상태 관리

• 복사본 관리

Delta 데이터 세트 관리자

Delta 데이터 세트 관리자(Dataset Manager, Delta DM) 도구는 저장 거래 제안을 통해 Filecoin 네트워크에 업로드된 데이터 세트의 저장 거래 제안 복사본 관리 추적 서비스를 제공합니다. 이는 대량 데이터의 저장 거래 제안을 신속하게 달성하기 위한 솔루션을 제공하며, 이러한 시나리오는 일반적으로 비대면 프로세스를 사용하여 가속화하는 것이 가장 좋습니다.

Delta DM 플랫폼은 직관적인 웹 인터페이스를 제공하여 데이터 세트 관리 프로세스를 간소화합니다. 이는 복사본과 DataCap 할당을 추적하며, 저장 거래 제안 풀(pull) 메커니즘을 통해 고객 서비스 제공자(Client Service Providers)에게 셀프 서비스 기능을 제공합니다.

이 도구는 데이터 준비 및 데이터 전송 프로세스와 독립적으로 작동할 수 있으며, Boost 및 Lotus 외부에서 실행될 수 있어 Delta DM + Delta가 독립적인 솔루션으로 작동할 수 있게 합니다.

Delta 가져오기 도구

Delta 가져오기 도구(Importer)는 저장 제공자 인프라 위에서 실행되도록 설계된 독립적인 이진 프로그램입니다. 이는 CAR 파일을 파일 시스템에서 Boost 프로세스로 자동으로 가져옵니다. Delta DM과 통합하여 자율 서비스 API에서 저장 거래 제안을 요청함으로써, Delta Importer는 자동화된 저장 거래 협상 및 저장 거래 제안 통합 파이프라인을 촉진합니다. Delta DM은 다양한 데이터 통합 전략을 포괄하는 여러 운영 모드를 가지고 있습니다.

다가오는 기능:

• 무효 저장 거래 제안 자동 수정

• Retrieval-SP------미봉합 복사본에 대한 단일 위치 지정.

• SP 메타데이터------상세한 복사본 매개변수

Edge-UR

Edge-UR은 사용자가 Estuary에서 동일한 API 키를 사용하여 콘텐츠를 업로드하고 검색할 수 있도록 하는 전용 노드입니다. 각 사용자에게는 자신의 노드가 할당되며, 이 노드는 업로드 프로토콜을 원활하게 전환할 수 있습니다. 데이터는 여전히 HTTP 프로토콜을 통해 업로드되지만, Edge-UR 노드는 파일을 Delta 노드로 전송하여 저장 거래 제안을 달성하는 데 도움을 줄 수 있습니다.

전반적으로 Edge-UR은 Estuary에 데이터를 업로드하고 검색하는 프로세스를 간소화하면서 사용자 콘텐츠의 안전성과 제어를 보장합니다.

특징:

• IPFS 노드와 연결할 수 있는 경량 IPFS 노드.

• 업로드 및 검색------사용자는 데이터를 업로드하고 이후 즉시 데이터를 검색할 수 있습니다.

• Delta를 사용하여 비동기적으로 저장 거래 제안을 달성합니다.

• 콘텐츠 및 관련 저장 거래 제안을 추적합니다.

Ptolemy

Ptolemy는 일반적으로 S3 저장소 또는 유사한 파일 시스템에 국한된 대규모 데이터 세트를 처리하기 위한 오케스트레이션 엔진(orchestration engine)으로 설계되었습니다. Ptolemy는 CAR 파일에 전체 파일 시스템 아키텍처를 캡슐화하여 저장 거래 제안을 달성하는 데 사용됩니다. Ptolemy의 목표는 저장 제공자와 최종 사용자에게 데이터 준비와 관련된 번거로운 작업을 제거하는 것입니다.

FWI

Filecoin Web Infrastructure(Web 인프라)는 탈중앙화로 나아가는 중요한 단계를 밟았습니다. 이는 저장 거래 제안 달성 엔진 및 기타 Filecoin 기술, 서비스의 청사진으로, 저비용, 신뢰할 수 있는 컴퓨팅 및 저장 솔루션을 제시하여 Filecoin 네트워크를 한 단계 더 발전시킵니다. 이는 확장 가능한 컴퓨팅 클러스터 저장 시스템 및 시각화 클러스터로, 높은 가용성 설계 및 Kubernetes 오케스트레이션 도구를 포함합니다.

FWI는 오픈 소스 자동화 도구이며, 코드 형태로 제공되는 인프라로, 사용자가 자신의 하드웨어에서 자신의 조건으로 기업 수준의 고객 인프라를 구축할 수 있도록 합니다. 이는 다양한 하드웨어 및 소프트웨어와 호환되며, 모든 구성 요소는 플러그 가능하고 오픈 소스입니다.

FWI는 많은 이점을 가지고 있습니다. 그 중 하나는 고객 전용 인프라(Customer Provisioned Infrastructure)를 구현하여 엔지니어 팀이 고객을 대신하여 인프라를 운영하고 FIL을 보상으로 받을 수 있게 하는 것입니다. 이는 중요한 돌파구입니다. 이 작업은 향후 몇 주 내에 세부 사항을 논의할 것입니다.

저장 시장

https://storage.market/

Storage.market은 데이터 저장 제품에 대한 정보 센터로, 사용자에게 저장 시장의 분석 데이터 및 최신 데이터 저장 관련 뉴스를 제공합니다. 이 서비스는 산업 동향을 신속하게 파악하고 저장 제품 및 서비스와 관련된 신중한 결정을 내리려는 기업과 개인에게 특히 유용합니다.

사용자 온보딩

Filecoin 네트워크에 데이터를 업로드하기 위해 사용자는 특정 도구와 애플리케이션을 사용해야 하며, 이를 통해 네트워크와 상호 작용하고 다양한 작업 프로세스(업로드, 검색 및 데이터 관리 등)를 수행할 수 있습니다. 이것이 Filecoin 생태계가 서비스를 제공하고자 하는 부분입니다: 우리의 엔지니어 팀은 고객과 협력하여, 그들이 Filecoin 네트워크에 데이터를 업로드할 수 있는 솔루션을 구축하는 데 필요한 전문 지식과 도구를 제공하고 있습니다.

여러 고객과 이러한 프로젝트에서 협력하는 것은 도전적입니다. 각 고객마다 고유한 요구 사항, 사용 사례 및 다양한 기술 능력이 있기 때문입니다. 그러나 Filecoin 네트워크 아키텍처, 프로토콜 및 기능에 대한 우리의 이해와 고객의 요구 및 기대에 대한 이해를 바탕으로, 우리는 그들의 요구를 충족하고 탈중앙화 저장의 이점을 활용할 수 있도록 맞춤형 솔루션을 개발할 수 있습니다.

Radiant Earth와의 협력

Radiant Earth라는 혁신 기관은 기계 학습 및 지구 관측(EO) 기술을 사용하여 긍정적인 글로벌 영향을 촉진하는 것을 목표로 하고 있습니다. 그들은 전 세계 전문가와 연구자들의 신뢰를 받는 고품질의 개방형 자원을 제공합니다.

Radiant Earth의 핵심 사명 중 하나는 기계 학습을 통한 지구 관측 작업에서 관련 표준을 개발하는 실천 커뮤니티를 육성하는 것입니다. 이는 기계 학습, 지구 관측 및 관련 분야의 전문가를 모아 협력하고 지식을 공유하며 최선의 관행 표준을 개발하는 것을 포함하여 이러한 기술을 책임감 있고 효율적으로 사용하는 것입니다.

우리가 Radiant Earth와 협력하는 일환으로, 우리는 그들의 일부 기계 학습 및 지구 관측 데이터를 Filecoin 네트워크에 업로드하기 위해 자체 기술 스택을 사용했습니다. 우리는 이 작업을 수행하는 데 필요한 단계를 이해하고, 우리의 도구를 통해 그들의 데이터가 적절한 형식으로 안전하게 저장되고 쉽게 접근할 수 있도록 보장했습니다.

우리가 사용한 도구:

• Ptolemy

• Delta Dataset Manager

• Delta Deal Making Engine

• Delta Importer

Radiant Earth에 대해 더 알아보기: https://mlhub.earth/

SUCHO와의 협력

SUCHO라는 뛰어난 프로젝트는 전 세계 1,500명의 자원봉사자들이 추진하고 있으며, 그들은 온라인에서 협력하여 우크라이나의 문화 유산을 디지털화하고 보호하고 있습니다. 지속적인 갈등 속에서 SUCHO는 우크라이나 문화 기관 소속의 5,000개 이상의 웹사이트와 약 40TB의 데이터를 보존하기 위해 행동에 나섰으며, 이를 통해 이 소중한 자원이 손실되거나 오프라인 상태가 되는 것을 방지하고 있습니다.

우리가 사용한 도구:

• Ptolemy

• Delta Dataset Manager

• Delta Deal Making Engine

• Delta Importer

SUCHO에 대해 더 알아보기: https://www.sucho.org/

Encloud와의 협력

Encloud는 데이터 보안에 중점을 두고 있으며, Filecoin을 사용하여 보안 기능을 더욱 향상시키고 사용자에게 자유로운 접근을 제공하는 것의 중요성을 인식하고 있습니다.

우리는 Encloud와 협력하여 그들에게 우리의 온라인 Edge-UR 노드를 개방하여 개념 증명 모델을 테스트하고 있습니다.

우리가 사용한 도구:

• Delta

• Edge-UR