소프트웨어: 가상화의 여행 (5) 파일시스템

H/W, OS, Virtual Machine, Container 부터 Cloud 까지(5)

🤔 이 글의 출발점

이런식으로 여러 IT 기술들의 철학, 구성이 하나의 청사진(Blue Print)으로 수렴하는 경우가 많은 것 같습니다. 소프트웨어 시리즈 글은 컴퓨터를 공부하는 분들과 이런 인사이트를 공유하며 함께 생각해보고 싶어 작성했습니다. 그럼 이번 글도 고고띵~
(수정이 필요한 부분은 꼭 알려주시면 감사하겠습니다! 😊)

[OS-파일시스템]
- 파일시스템
[클라우드 서비스]
- Azure Blob(오브젝트 스토리지)
- Azure File Storage
- Azure 빅데이터 서비스
* 사용자가 인식하는 데이터: 레코드 중심
* 컴퓨터가 인식하는 데이터: 블락 중심

OS — 파일시스템

  • 특징
    커널영역에서 동작
    파일 CRUD 기능을 원활히 수행하기 위한 목적
    계층적 Directory 구조를 가짐
    디스크 파티션 별로 하나씩 둘 수 있음
  • 역할
    파일 관리, 보조 저장소 관리, 파일 무결성 메커니즘, 접근 방법 제공
  • 개발 목적
    하드디스크와 메인 메모리 속도차를 줄이기 위함
    파일 관리
    하드디스크 용량 효율적 이용
  • 구조
    1) 메타 영역: 데이터 영역에 기록된 파일 이름, 위치, 크기, 시간 정보
    2) 데이터 영역: 파일의 데이터

접근방법

  1. 직접 접근(Direct Access)
    → 현재 위치를 가리키는 cp 변수만 유지
    → 무작위 파일 블록에 대한 임의 접근을 허용. 순서의 제약이 없음.
    → 대규모 정보할 때 유용. ‘Database’ 에 활용
  2. 기타 접근
    → 직접 접근 파일에 기반하여 색인 구축
    → 크기가 큰 파일을 입출력 탐색할 수 있게 도와주는 방법

Directory 와 디스크 구조

  1. 1단계 Directory
    파일들이 서로 유일한 이름을 가짐. (서로 다른 사용자라도 같은 이름 사용 불가)
  2. 2단계 Directory: 사용자에게 개별적인 Directory
    UFD: 자신만의 사용자 파일 Directory
    MFD: 사용자 이름과 계정 번호로 색인되어 있는 Directory
  3. Tree 구조: 한 비트를 활용하여, 일반 파일(0)인지 디렉터리 파일(1) 구분
  4. 그래프 구조: 순환이 발생하지 않도록 하위 디렉터리가 아닌 파일에 대한 링크만 허용

클라우드 서비스

Azure Blob(오브젝트 스토리지)

[ 특징 ]

  • 전 세계 어디서든 HTTP/HTTPS를 통해 Blob Storage의 개체에 액세스
  • 브라우저에 정적 리소스 제공
  • 비디오 및 오디오 스트리밍
  • 로그 파일
  • 백업/복원, 재해 복구 및 보관용 데이터 저장
  • Azure Data Lake Storage Gen2 를 지원

[ 유형 ]

  • 블록 Blob: 텍스트 및 이진 데이터를 저장.
  • 추가 Blob: 추가 작업에 최적화. 가상 머신의 데이터 로깅 같은 시나리오에 적합
  • 페이지 Blob: Page Blobs are optimized for writes at random location with blob. → support unmanaged disks.

[ 데이터를 Blob Storage 로 Migration 하는 방법 ]

  • AzCopy: Blob Storage, 컨테이너 또는 스토리지 계정 간에 데이터를 복사하는 사용하기 쉬운 Windows 및 Linux 용 명령줄 도구
  • Azure Storage 데이터 이동 라이브러리: Azure Storage 서비스 간에 데이터를 이동
  • Azure Data Factory: Blob 스토리지 간에 데이터 복사
  • Blobfuse: Linux 파일 시스템을 통해 스토리지 계정의 기존 블록 Blob 데이터에 액세스
  • Azure Data Box: 온 프레미스 데이터 → Blob
    (네트워크 제약 조건으로 인해 유선으로 데이터를 업로드 할 수 없는 경우)
  • Azure Import/Export: 대용량 데이터 > 클라우드 → 하드 드라이브

Azure File Storage

Azure 빅데이터 서비스

  • Data Lake[Raw 데이터 저장소 집합]: 가공되지 않은 다양한 종류의 데이터를 한 곳에 모아둔 저장소의 집합. 빅데이터를 효율적으로 분석하고 사용하고자 다양한 영역의 Raw 데이터(가공되지 않은 데이터)를 한 곳에 모아서 관리하고자 하는 것.
    → Azure Data Lake Storage Gen2(빅데이터 분석 솔루션)
  • Azure Data Factory[데이터 시각적 통합]: 서버리스 스케일 아웃 데이터 통합 및 데이터 변환을 위한 Azure의 클라우드 ETL 서비스. 코드가 필요 없는 UI로 직관적 작성 및 단일 창을 통한 모니터링 및 관리를 지원.

I will be a software architect.

I will be a software architect.