본문 바로가기
리눅스

zstd

by 다움위키 2023. 12. 24.

Zstandard는, 공통적으로 참조 구현 zstd의 이름으로 알려져 있으며, Facebook에서 Yann Collet에 의해 개발된 무손실 데이터 압축 알고리듬입니다. Zstd는 C에서 참조 구현입니다. 이 구현의 버전 1은 2016년 8월 31일에 오픈-소스 소프트웨어로 출시되었습니다.

Usage

아래에 언급된 것처럼, 데비안에서 아직 zstd를 지원하지 않지만, 여기서 제공하는 dpkg 패키지는 zstd 패치를 적용해서 제공되고 있습니다.

주요 배포판에서 zstd를 지원하는 이유는 다른 압축 알고리듬과 비교해서 압축률, 압축 속도, 압축-해제 속도 등이 쓸만하기 때문입니다.

Features

Zstandard는 DEFLATE 알고리듬 (1991년에 개발되었고 원래 ZIP과 gzip 프로그램에 사용됨)의 압축률에 필적하는 압축률을 제공하지만, 특히 압축 해제에 대해 더 빠르도록 설계되었습니다. 그것은 음수 7 (가장 빠름)에서 22 (압축 속도는 가장 느리지만 압축 비율은 최고) 범위에서 압축 수준으로 조정될 수 있습니다.

Zstd 패키지에는 압축과 압축 해제의 병렬 (다중 스레드) 구현을 포함하고 있습니다. 버전 1.3.2 (2017년 10월)부터 zstd는 rzip 또는 lrzip과 유사한 매우 긴 범위의 검색과 중복 제거 (--long, 128 MiB window)를 선택적으로 구현합니다.

압축 속도는 가장 빠른 수준과 가장 느린 수준 사이에서 20배 이상 차이가 날 수 있지만, 압축-해제는 가장 빠른 수준과 가장 느린 수준 사이에서 20% 미만의 차이로 균일하게 빠릅니다. Zstandard 명령-줄은 I/O 조건, 주로 얼마나 빨리 출력을 쓸 수 있는지에 따라 압축 수준이 달라지는 "적응형" (--adapt) 모드를 가집니다.

최대 압축 수준에서 Zstd는 lzma, lzham, 및 ppmx에 가까운 압축 비율을 제공하고, lza, 또는 bzip2보다 성능이 좋습니다. Zstandard는 유사하거나 더 나은 압축 비율을 가진 현재 사용 가능한 다른 알고리듬보다 더 빠르게 압축을 풀기 때문에 현재의 파레토 경계에 도달합니다.

사전은 작은 파일의 압축률에 큰 영향을 미칠 수 있으므로, Zstandard는 사용자에-의해-제공된 압축 사전을 사용할 수 있습니다. 그것은 역시 표본의 집합에서 사전을 생성할 수 있는 훈련 모드를 제공합니다. 특히, 하나의 사전을 로드하여 파일 사이의 중복성을 갖는 대규모 파일 집합을 처리할 수 있지만, 반드시 각 파일, 예를 들어, 로그 파일 내에서 처리할 필요는 없습니다.

Design

Zstandard는 유한 상태 엔트로피 (ANS의 빠른 테이블 버전, tANS, 시퀀스 섹션에서 엔트리에 사용됨) 및 허프만 코딩 (리터럴 섹션에서 엔트리에 사용됨)을 사용하여 사전-일치 단계 (LZ77)와 대형 검색 윈도우와 빠른 엔트로피 코딩 단계를 결합합니다.

FSE가 기호 사이의 상태를 전달하는 방식 때문에, 압축 해제에는 각 블록의 시퀀스 섹션 내에서 역순 (마지막에서 처음으로)으로 심볼을 처리하는 작업을 포함합니다.

Usage

리눅스 커널은 2017년 11월 (버전 4.14)부터 btrfs와 squashfs 파일 시스템에 대해 압축 방법으로 Zstandard를 포함해 왔습니다.

2017년에, Allan Jude는 Zstandard를 FreeBSD 커널에 통합했고 이후에 코어 덤프 (사용자 프로그램과 커널 패닉 모두)를 위한 압축기 옵션으로 통합되었습니다. 그것은 역시 2020년에 통합된 개념 OpenZFS 압축 방법의 증명을 만들기 위해 사용되었습니다.

AWS Redshift와 RocksDB 데이터베이스에는 Zstandard를 사용한 필드 압축 지원을 포함하고 있습니다.

2018년 3월에, 캐노니컬은 우분투 리눅스 배포판에 대해 기본적으로 deb 패키지 압축 방법으로 zstd를 사용하는 것을 테스트했습니다. deb 패키지의 xz 압축과 비교할 때, 레벨 19에서 zstd는 압축 해제가 훨씬 빠르지만, 패키지 파일이 6% 더 큽니다. 데비안 개발자 Ian Jackson은 공식 채택되기까지 몇 년을 기다리는 것을 선호했습니다.

2018년에, 그 알고리듬은 관련 미디어 유형 "application/zstd", 파일-이름 확장자 "zst", 및 HTTP 콘텐츠 인코딩 "zstd"를 정의하는 RFC 8478로 게시되었습니다.

아치 리눅스는 2019년 10월 pacman 5.2 패키지 관리자의 출시와 함께 패키지 압축 방법으로 zstd에 대한 지원을 추가했고, 2020년 1월 공식 저장소의 패키지에 대해 xz에서 zstd로 전환했습니다. 아치는 zstd -c -T0 --ultra -20 -을 사용하며, 조합된 모든 압축 패키지의 크기는 xz와 비교하여 0.8% 증가하고, 압축-해제 속도는 14배 더 빠르고, 압축 해제 메모리는 다중 스레드를 사용할 때 50MiB 증가하고, 압축 메모리는 증가하지만 사용된 스레드 수에 따라 확장됩니다. 아치 리눅스는 나중에 mkinitcpio 초기 램디스크 생성기의 기본 압축 알고리듬으로 zstd로 전환했습니다.

페도라는 2018년 5월 (페도라 출시 28)에 RPM에 대한 ZStandard 지원을 추가했고, 2019년 10월 (페도라 31) 출시를 패키징하는 데 사용했습니다. 페도라 33에서, 파일-시스템은 기본적으로 zstd로 압축됩니다.

압축 수준을 선택하는 옵션을 갖는 알고리듬의 전체 구현은 Nintendo Switch 하이브리드 게임 콘솔에 대해 홈브류 커뮤니티에 의해 개발된 .NSZ / .XCZ 파일 형식에 사용됩니다.

Zstandard (및 기타 형식)를 지원하는 7-Zip FM의 분기, 7-Zip ZS는 Tino Reichardt에 의해 개발되었습니다.

7-Zip FM에 대해 Zstandard (및 기타 형식) 플러그인, Modern7z는 Denis Anisimov(TC4shell)에 의해 개발되었습니다.

License

참조 구현은 GitHub에 게시된 BSD 라이선스에 따라 라이선스가 부여됩니다. 버전 1.0부터, 그것은 추가로 특허권 부여가 있었습니다.

버전 1.3.1에서, 이 특허 부여가 버려지고 라이선스가 BSD + GPLv2 이중 라이선스로 변경되었습니다.

External links

관련글

티스토리툴바