Skip to content

Latest commit

 

History

History
60 lines (44 loc) · 3.79 KB

user-managed-daos.md

File metadata and controls

60 lines (44 loc) · 3.79 KB

슬롯 안에서 사용자가 직접 DAOS 운영

상태: 설계 및 구현 필요. 초기 공유본에는 적용되지 않았다.

요구사항

두 기관의 사용자는 SSH와 sudo 권한을 가지고 있다. 각자는 자기 작업 차례에 da1~da4 전체에서 원하는 DAOS 버전과 컨테이너 구성을 직접 실행한다. 별도 운영자에게 이미지를 전달하거나 기관 프로필에 버전을 사전 등록하는 절차는 필요하지 않다.

소스는 cxl2의 각자 홈에서 수정하고 컨테이너 이미지로 빌드한다. RPM 패키징은 필수가 아니다. 이미지는 미리 준비하거나 슬롯을 확보한 작업 스크립트에서 빌드할 수 있다. inst1과 inst2는 기관·작업 구분값으로 사용하고 DAOS 버전 선택을 고정하지 않는다.

역할

담당 수행할 작업
사용자 스크립트 이미지 빌드 또는 재사용, 네 서버 배포, 컨테이너 실행, 풀 생성, 실험, 결과 저장
gpuq GPU·네 서버 독점 사용 순서, lease, 시간 제한, 종료 후 정리와 NVMe 초기화

예정 흐름:

  1. 사용자가 실험 스크립트를 큐에 제출한다.
  2. 차례가 되면 GPU와 서버 네 대의 사용권을 확보한다.
  3. 고정된 DAOS 이미지를 자동 시작하지 않고 사용자 스크립트를 실행한다.
  4. 스크립트가 sudo/SSH로 네 서버에 원하는 이미지를 배포하고 DAOS를 시작한다.
  5. 실험이 끝나기 전에 필요한 결과를 cxl2 홈이나 결과 디렉터리에 저장한다.
  6. 종료·실패·취소·시간 초과 시 gpuq가 해당 작업의 프로세스와 컨테이너를 정리한다.
  7. 네 서버의 종료와 지정된 NVMe 초기화가 확인된 뒤 다음 작업을 시작한다.

현재 구현과 차이

  • Broker.run()은 현재 Backend.start() 후 사용자 스크립트를 실행한다.
  • Backend.start()와 node helper는 기관 프로필에 고정된 이미지 ID를 검사한다.
  • 서버와 agent 실행 경로는 현재 /usr/bin/daos_server, /usr/bin/daos_agent로 고정돼 있다.
  • 정리는 broker가 만든 이름과 lease label의 컨테이너를 대상으로 한다.
  • --inst를 생략하면 GPU 전용 경로로 실행되며 네 서버의 정리를 제공하지 않는다.

따라서 GPU 전용 경로로 수동 DAOS를 실행하는 것만으로 목표 방식이 구현되지는 않는다.

구현에서 정할 내용

  • 고정 이미지 자동 시작을 건너뛰어도 네 서버의 lease를 먼저 확보하는 실행 모드.
  • 사용자 root 권한 및 SSH 실행 방법과 스크립트에 전달할 호스트·lease 정보.
  • 사용자가 만든 컨테이너·원격 프로세스를 식별하고 모두 정리하는 공통 실행 규칙.
  • 준비 도중 일부 서버만 시작했거나 이미지 전송이 중단됐을 때의 정리.
  • server/agent/client 바이너리 경로와 버전을 사용자가 고를 수 있는 방법.
  • 현행 자동 시작 경로의 호환 유지 여부와 gpuq daos-exec 동작.

NVMe 삭제 대상의 PCI·시리얼 allowlist, 디스크 사용 여부 확인, 외부 작업 충돌 거부와 정리 실패 시 다음 작업 보류는 유지한다. root 사용자의 큐 외부 실행을 보안적으로 격리하는 구성이 아니라, 모든 사용자가 공유 큐를 따르는 협력적 연구환경을 전제로 한다.

완료 검증

서로 다른 두 이미지로 두 기관이 연속 실행되고 프로필의 이미지 ID를 수정할 필요가 없어야 한다. 소스 빌드만 수행한 작업, 준비 중 실패, 일부 서버 기동 실패, 정상 종료, 사용자 명령 실패, 취소, 시간 초과, broker 재시작을 검증한다. 각 경우 실제 실행 자원이 남지 않아야 하며, 정리를 완료하지 못했으면 후속 GPU 작업을 시작하지 않아야 한다.