/usr/lib/libsora.so

Linux File System

2014년 2학기 시스템 프로그래밍 시험 공부

시스템 프로그래밍 시험 공부하면서 정리한 내용이다. 내용 갱신은 없을 예정이다.

Linux File System

  • File System
    • 커널 및 외부 메모리안의 파일 시스템의 디렉토리를 관리하는 커널 서브 시스템
    • 저장 장치안의 블럭에 파일 이름을 맵핑
  • Linux supports many file system types
    • 다양한 파일시스템마다 별도로 구현되어있다
    • 일반적으로 LKM(loadable module)로 구현
  • Linux supports many file system instance
    • instance == mount된 파일 시스템
    • 리눅스는 “root” file system을 갖는다.

File System Software Architecture

  • Common file system interface
    • open(), close(), seek(), etc
  • VFS Layer
    • ext2, vfat, minix, etc
      • Disk-based file system
      • Block device layer
    • NFS, samba, etc
      • Network-based file system
      • Networking
    • proc, dev
      • Virutal/Speical file system
      • No real disk space

VFS Layer

  • Virtual File System(VFS)
    • 표준 유닉스 파일시스템과 관련된 모든 시스템콜을 수행하는 커널 레이어
  • 목적
    • 유저 모드 프로세스에 동일한 인터페이스를 제공
    • 다양한 파일 시스템 구현체를 위한 커널 추상화
  • 기능
    • 파일, 파일시스템과 관련된 시스템콜
    • 모든 파일과 파일시스템에 관려된 자료구조 관리
    • 파일시스템을 조회, 순회하는 효율적인 함수
    • 특정 파일 시스템 모듈과 상호작용
  • 예제
    • cp /flopy/test /tmp/test
    • src 파일시스템과 dst 파일시스템이 다르더라도 동작
    • 각각의 파일시스템에 독립적

4 Basic VFS Object

super block

  • 파일 시스템 관련
  • 각각의 마운트된 파일시스템은 superblock 객체를 갖는다

inode

  • 특정 파일 관련
  • 모든 파일은 디스크상의 inode 레코드로 표현된다
  • 일부는 커널 메모리에 inode 객체로 로드된다

dentry

  • 디렉토리 트리 구조 관련
  • 디렉토리 안의 각각의 엔트리는 dentry로 표현된다
  • 파일경로-inode를 매핑하는 목적

file

  • 프로세스가 소유하는 열린 파일 관련
  • 각각의 task은 파일 핸들에 의해 열린 파일을 추적

VFS Object Relationships

  • In kernel Memory
    • superblock -> dentry
    • dentry -> dentry or inode
    • inode
    • file -> dentry
  • On disk

    • superblock
    • inode blocks
    • data blocks
  • dentry와 inode

    • dentry는 커널 메모리에만 상주
    • inode는 디스크상에서 상주하지만 접근이 필요할때 메모리로 로드됨
      • 변화가 생기는 경우, 디스크로 다시 커밋
    • 디스크 파일과 inode는 1:1 매핑
    • 하나의 file(inode)는 여러 개의 dentry와 매핑된다
      • hardlink

Object Methods

  • 각각의 VFS 객체마다 operation table을 갖는다
  • 함수 포인터 들어있는 구조체
  • VFS 레이어에서 사용하는 인터페이스
    • 실제 함수는 파일시스템 모듈에서 구현된다
    • operation table은 VFS 객체가 로드/초기화 될 때 채워진다.
  • super_operations
    • read_inode(), sync_fs(), …
  • inode_operations
    • create(), link(), …
  • dentry_operations
    • d_compare(), d_delete(), …
  • file_operations
    • read(), write(), …

Memory Management

  • VFS 객체를 위한 메모리는 slab 할당자가 처리
    • kmem_cache_alloc()

VFS superblock Kernel Code

Data Structure

  • 마운트된 파일 시스템을 위한 커널 자료구조
  • include/linux/fs.h : struct super_block
    • s_op : superblock operation table
    • s_fs_info : 특정 파일 시스템과 관련된 정보. 예를 들면 ext2

Methods (Operations)

  • 파일시스템 인스터스와 관련된 연산 집합
  • struct super_operations
  • 파일시스템 별로 구조체의 함수포인터에 적절히 연결
  • ext2 file system 참고

VFS dentry Kernel Code

Data Structure

  • 디렉토리 엔트리용 커널 자료구조
    • VFS는 종종 디렉토리 특화 연산을 수행할 필요가 있다.(예를 들면 파일경로 조회) dentry 객체는 이를 쉽게 한다.
    • dentry는 경로의 특정 구성 요소
    • dentry 객체는 파일을 포함한 모든 경로 요소이다.
      • /bin/vi 는 3개의 dentry 객체를 가진다. /, bin (directory), vi (file)
    • dentry 객체는 디스크 상의 데이터 구조의 해당하지 않는다.
      • VFS가 시스템 실행도중 문자열로 표현된 경로명에서 dentry를 생성한다.
    • 커널은 프로세스가 조회하는 경로이름의 모든 컴포넌트에 해당하는 dentry 객체를 생성한다. dentry 객체는 해당 inode에 구성 요소를 연결
  • include/linux/dcache.h : struct dentry
    • d_op : dentry operation table

Methods (Operations)

  • 파일시스템 독립적인 dentry 연산 모음
  • 파일시스템 독립점인 일반 함수
    • include/linux/dcache.h
    • d_add(), d_alloc(), d_lookup(), …
  • dentry cache
    • dentry 다루는 효율성 최대화
    • 최근에 접근(또는 해제)한 dentry는 성능목적으로 캐싱된다. (slab cache 사용)

The dentry cache

  • /opt/sysprog/uml/README.txt가 있다고 가정
    • 파일에 접근할때마다 커널은 root dentry /부터 README.txt를 위한 dentry까지 순회해야 한다.
    • 시간이 오래 걸리는 작업
  • dentry cache는 최근에 사용한 dentry를 메모리에 저장해놓는다
    • 해시 테이블과 해시 함수를 이용해서 주어진 경로와 연관된 dentry 객체를 빠르게 찾는다
      • /opt/sysprog/uml/README.txt를 dcache에서 조회
    • dentry가 dcache에 있으면 그것을 반환
    • 없으면 / -> opt -> syprog …를 순서대로 따라가는 작업 수행

dentry Lists (Tree Layout)

  • 트리 구조 : 부모 포인터와 자식 리스트
  • 디렉토리 구조에 따라서 구성
  • dentry 구조체 안의 d_parent, d_subdirs, d_child

dentry Lists (Hash/Free/Alias)

  • dentry 해시 리스트
    • 파일이름을 이용해서 dentry 객체를 빠르게 조회
    • 해시 충돌은 d_hash로 연결됨
  • 사용하지 않는 dentry 목록 (free list)
    • d_lru 필드로 연결됨
  • alias 목록 (같은 inode를 가리키는 다른 dentry)
    • d_alias 필드로 연결

VFS inode Kernel Code

  • file을 위한 커널 자료구조
    • 파일을 처리하기 위해 파일 시스템에 필요한 모든 정보는 inode에 들어있다
    • 디스크에 존재하는 각각의 파일은 하나의 고유한 inode number와 디스크상의 inode 레코드로 표현된다
  • 파일에 접근하려면…
    • VFS inode 객체를 커널 메모리에 할당
    • inode 레코드를 디스크에서 불러오기
  • include/linux/fs.h : struct inode
    • inode_operations : inode operations table

VFS file Kernel Code

  • 프로세스에 의해 열린 파일을 위한 커널 자료구조
  • file 객체는 단지 열려있는 파일의 프로세스의 관점을 나타낸다
  • file 객체는 실제로 열려있는 dentry 파일을 가리킨다
  • file 객체는 열려있는 파일의 메모리상의 표현이다. 그것은 실제 디스크상의 데이터와는 대응되지 않는다.
  • 열기 = open() system call, 파괴 : close() system call
  • 하나에 파일에 대응되는 여러개의 file 객체가 존재할 수 있다.
  • include/linux/fs.h : struct file
    • f_open : file operations

Access from Task Structure

  • include/linux/sched.h : task_struct
  • include/linux/fs_struct.h : struct fs_struct *fs
    • task가 돌아가고 있는 파일시스템 정보
    • struct dentry *root, *pwd field
  • include/linux/file.h : struct file_struct *files
    • task가 연 파일 목록
    • struct file **fd
    • task가 연 파일에 접근하기 : t->files->fd[i]

Filesystem Types

  • 배경
    • VFS는 커널안에 포함된 모든 파일 시스템 코드를 추적해야 한다.
    • 파일시스템 타입 등록의 필요성
  • 파일시스템 타입
    • 파일 시스템 구현체를 위한 커널 레코드
    • include/linux/fs.h : struct file_system_type
    • built-in 또는 파일시스템 모듈 목록. linked list

Mounting a Filesystem

  • 파일시스템 마운트
    • 각각의 파일 시스템 인스턴스는 트리
    • 마운트 : 한 파일시스템 트리의 루트를 다른 것의 leaf로 넣어서 더 큰 트리 만들기
  • 용어
    • 마운트 포인트 : 파일 시스템 트리가 삽입되는 디렉토리
    • 마운트된 파일시스템의 루트 디렉토리
    • 루트 파일시스템
  • mount -t ext2 /dev/fd0 /flp
  • include/linux/mount.h : struct vfsmount
    • 마운트된 파일시스템 인스턴스 표현

Walking a Path

  • 경로이름 조회
    • 어떻게 VFS는 해당 경로에서 inode를 유도하는가?
    • 경로이름 분석 및 그것을 파일이름의 시퀀스로 쪼개기
    • 자주 사용되는 VFS 프로시저
  • dentry부터 시작
    • dentry cache는 속도가 빠른 조회용 프로시저 (LRU 기반. 이전내용 참고)
    • /로 시작하는 경로 이름 : current -> fs -> root
    • 그렇지 않으면… : current->fs->pwd
  • 경로 따라갈때의 특별한 조작
    • 심볼릭 링크 (루프 확인)
    • 접근 권한
    • 다른 파일 시스템에 마운트 포인트를 교차
  • fs/namei.c : path_lookup(name, flags, nd)
    • link_path_walk(name, nd) 호출 : 실제 이름 확인하는 함수. 경로 이름을 최종 dentry로 바꿈
    • nameidata 구조체 (nd)은 경로이름의 조회 작업에 관한 데이터로 채워진다.

open() System Call

  1. 유저 프로세스 : fd = open("xxx", O_RDWR, 0)
  2. System Call sys_open() 호출
  3. sys_open() -> flip_open()
    1. open_namei() 호출해서 파일 여는게 가능한지 확인
    2. dentry_open() 호출
      1. f->f_op->open(inode, f)
      2. f_op : file operations table. 진짜로 파일 열기
  • 다른 시스템콜 (read)도 이와 유사한 구조

Linux File Locking

  • 2가지 advisory lock 제공
    • Advisory lock : 프로그램들이 잠금 파일을 협동적으로 사용
    • fcntl() / flock()
  • POSIX fcntl() : FL_POSIX
    • 프로세스와 inode에 연관됨
    • 파일의 일부에만 락 걸기 가능
      • 하나의 파일, 여러 개의 락
      • overlap 가 없으면 동시 접근 허용
  • BSD flock() : FL_FLOCK
    • file 객체와 연관됨
    • 파일 전체에 락 걸기
  • mandatory lock 제공
    • 커널은 open(), read(), write() 호출될때마다 확인함
    • 파일시스템 별로 활성화/비활성화 가능
    • mount() 시스템콜 사용시 MS_MANDLOCK 플래그 사용 (기본값: off)

VFS Data Structure : Summary

  • 4가지 기본 자료구조
    • superblock : 파일시스템 인스턴스
    • inode : 특정 파일
    • dentry : 디렉토리 트리 구조
    • file : 프로세스에 의해서 열린 파일 핸들
  • 각각의 파일시스템 구현체는 함수 집합을 제공
    • ext2용 file operations, superblock operations,…
  • 다른 자료형
    • file_system_type : 다른 파일시스템 구현 정보
    • vfsmount : 마운트된 파일 시스템 인스턴스
    • nameidata : 경로이름 조회용 함수

Comment

comments powered by Disqus