객체 저장소로 Linux VPS 동기화 (rclone)

Linux VPS를 객체 저장소와 동기화하는 것은 성능 및 스토리지 유연성을 위해 백업, 정적 자산 저장 또는 데이터 오프로드 데이터를 관리하는 현명한 방법입니다.

이 안내서는 대부분의 객체 저장 서비스와 함께 작동하는 가볍고 강력한 도구 인 RCLONE을 사용하여 프로세스를 진행합니다.

전제 조건

시작하기 전에 할 수있는 것은 다음과 같습니다.

Linux VPS : VPS에 대한 쉘 액세스가 필요합니다.동기화하려는 파일 또는 디렉토리가있는 곳입니다.
객체 저장 공급자 : 몇 가지가 있습니다 객체 저장 서비스 제공 업체 선택합니다.자원으로 확장 할 수있는 것을 선택하고 기존 인프라와 통합되며 물론 예산에 맞습니다.
액세스 자격 증명 : 스토리지 제공 업체의 API를 인증하려면 액세스 키 및 비밀 키가 필요합니다.이들은 동기화 도구에 의해 단단히 사용되며 버킷과 상호 작용합니다.

1 단계 : RCLONE을 설치하십시오

RCLONE은 클라우드 스토리지에서 파일을 관리하기위한 무료 오픈 소스 명령 줄 유틸리티입니다.다양한 제공 업체를 지원하며 전송 동기화, 복사, 암호화 및 자동화에 적합합니다.

1. SSH를 통해 VPS에 로그인하십시오.

ssh user@your-vps-ip

2. RCLONE 설치 :

curl https://rclone.org/install.sh | sudo bash

이것은 최신 버전을 가져오고 설치합니다.

시스템 패키지 관리자를 선호하는 경우 :

데비안/우분투 :

sudo apt install rclone

Centos/Rhel :

sudo yum install epel-release
sudo yum install rclone

페도라 :

sudo dnf install rclone

2 단계 : 리모컨 설정

이제 스토리지 버킷과 대화 할 수 있도록 RCLONE을 설정합니다.

대화식 구성 도구 시작 :

rclone config

메뉴에서 다음 단계를 따르십시오.

고르다 엔 새로운 리모컨을 만들려면.
같은 이름을주세요 Myremote.이 이름은 연결을 참조하기 위해 명령에 사용됩니다.
목록에서 스토리지 제공 업체를 선택하십시오.
액세스 키 및 비밀 키를 입력하십시오.
필요에 따라 모든 영역 별 엔드 포인트 또는 구성을 입력하십시오.
구체적인 것이 필요하다는 것을 알지 않는 한 기본 옵션을 수락하십시오.

이제 설정을 테스트하겠습니다.

rclone ls myremote:

모든 것이 올바르게 구성되면 스토리지 버킷 목록이 표시되거나 오류가 표시되지 않고 아무것도 반환하지 않습니다.

이 구성은 계속되고 재사용 가능한 연결 프로파일을 생성하며 여러 디렉토리 또는 스크립트에서 사용할 수 있습니다.

3 단계 : 파일을 동기화합니다

RCLONE이 설정되었으므로 웹 사이트 또는 프로젝트 파일과 같은 로컬 디렉토리를 객체 저장소와 동기화 할 수 있습니다.

예를 들어, 웹 사이트를 백업하고 싶다고 가정 해보십시오. / var / www / html 객체 저장 :

rclone sync /var/www/html myremote:backups/html --progress

이 명령은 다음과 같습니다.

로컬 폴더 (/var/www/html)를 객체 저장소의 대상과 비교 (Myremote : Backups/Html
새 또는 업데이트 된 파일을 전송합니다
지역 소스에 더 이상 존재하지 않는 대상에서 파일을 제거합니다 (이를 피할 수 있습니다 - 아래 참조).

목적지에서 아무것도 제거하지 않고 새 파일 또는 변경된 파일 만 업로드하려면 사용할 수 있습니다. 복사 대신에:

rclone copy /var/www/html myremote:backups/html --progress

4 단계 : CRON으로 프로세스를 자동화하십시오

파일을 자동으로 업데이트하려면 CRON 작업을 설정할 수 있습니다.

1. Crontab을 엽니 다 :

crontab -e

2. 자정에 매일 파일을 동기화하려면이 줄을 추가하십시오.

0 0 * * * /usr/bin/rclone sync /var/www/html myremote:backups/html --quiet

필요에 따라 시간과 경로를 변경할 수 있습니다.RCLONE으로가는 경로가 설치된 위치와 일치하는지 확인하십시오 (RCLONE에게 알려줄 것).

5 단계 (선택 사항) : 파일을 암호화합니다

사용자 파일, 내부 문서 또는 노출을 원하지 않는 민감한 데이터를 처리하는 경우 업로드하기 전에 클라이언트 측 암호화를 추가 할 수 있습니다.

다음은 다음을 설정하는 방법입니다.

1. run rclone 구성 : 다시 :

rclone config

2. 새 리모컨을 추가하고 선택하십시오 토굴 스토리지 유형으로.

3. 원래 리모컨의 폴더를 가리 킵니다 (예 : Myremote : 백업/HTML).

4. 비밀번호를 선택하고 확인하십시오.

그런 다음 암호화 된 리모컨을 사용하여 다음과 같은 파일을 업로드 할 수 있습니다.

rclone sync /var/www/html mycryptremote:html --progress

더 나은 제어를위한 선택적 설정

다음은 사용할 수있는 몇 가지 유용한 플래그입니다.

-빠른 목록 파일 목록 중에 더 많은 메모리를 사용하여 큰 파일을 스캔하는 프로세스 속도를 높입니다.

rclone sync /var/www/html myremote:backups/html --fast-list

-bwlimit 다른 프로세스 속도를 늦추지 않도록 대역폭 캡 :

rclone sync /var/www/html myremote:backups/html --bwlimit 1M

-로그 파일 각 동기화의 세부 레코드를 로그 파일에 보관합니다.

rclone sync /var/www/html myremote:backups/html --log-file=/var/log/rclone.log

RCLONE의 대안

RCLONE은 객체 저장소와 동기화하기위한 가장 유연하고 널리 권장되는 도구 중 하나이지만, 특히 다른 워크 플로우, 더 깊은 통합 또는 특정 호환성을 찾고 있다면 알아야 할 다른 유틸리티가 있습니다.

다음은 몇 가지 대안, 작업 방법 및 귀하의 요구에 따라 더 잘 맞을 때입니다.

한 눈에 도구 비교

도구	가장 좋습니다	메모
rclone	교차 제공자 동기화, 고급 워크 플로	40 개 이상의 클라우드 서비스를 지원하며 매우 사용자 정의 가능합니다
S3CMD	S3 전용 작업, 스크립팅, 단순성	가볍고 간단합니다
S3FS.	파일 시스템 스타일 액세스, 응용 프로그램 호환성	레거시 앱 또는 간단한 드래그 앤 드롭 워크 플로에 적합합니다
AWS CLI	DEEP S3 통합, AWS 네이티브 설정	전체 AWS 환경에 이상적입니다

S3CMD-간단하고 스크립트 친화적입니다

s3cmd는 a입니다 명령 줄 도구 Amazon S3 및 S3 호환 객체 저장 서비스와 상호 작용하기 위해 특별히 구축되었습니다.특히 CRON 작업 또는 자동 배포 파이프 라인에서 간단한 업로드, 다운로드 및 동기화 작업을 스크립팅하는 데 적합합니다.

환경에서 S3 버킷을 관리하거나 S3 API에 밀접하게 달라 붙는 도구를 원하는 경우 S3CMD는 간단하고 친숙한 명령과 견고한 문서를 제공합니다.

사용시기 :

이미 S3 또는 호환 공급자 (Wasabi, S3 API가 활성화 된 Backblaze B2 등)와 함께 작업하고 있습니다.
쉘 스크립트와 잘 어울리는 가볍고 간단한 도구를 원합니다.
S3 프로토콜을 위해 특별히 설계된 도구를 선호합니다.

설치:

sudo apt install s3cmd   # On Debian/Ubuntu

구성:

s3cmd --configure

당신은 다음과 같은 메시지를받을 것입니다.

액세스 키
비밀 키
엔드 포인트 (AWS를 사용하지 않는 경우)
선택적 암호화 또는 HTTPS 설정

기본 동기화 예 :

s3cmd sync /var/www/html/ s3://your-bucket/html/

S3FS - 파일 시스템처럼 마운트 객체 저장소

S3FS를 사용하면 S3 버킷을 로컬 디렉토리 인 것처럼 장착 할 수 있습니다.즉, 표준 Linux 명령 (CP, MV, RSYNC 등)을 사용하여 일반 디스크처럼 클라우드 스토리지와 함께 작동 할 수 있습니다.

클라우드 인식이 아니지만 파일 경로에 쓸 수있는 도구가있는 경우 특히 유용합니다.S3FS를 사용하면 해당 출력을 객체 저장소로 리디렉션하는 것이 완벽합니다.그러나 성능이 항상 기본 파일 시스템만큼 빠른 것은 아니며 고주파 읽기/쓰기 활동에 이상적이지 않습니다.

사용시기 :

파일이 로컬 디스크에있는 것처럼 파일을 읽고 쓰는 응용 프로그램이 필요합니다.
직접 클라우드 업로드를 지원하지 않는 소프트웨어로 작업하고 있습니다.
직접 파일 시스템 액세스의 유연성을 객체 스토리지에 선호합니다.

설치:

sudo apt install s3fs

설정 자격 증명 :

echo ACCESS_KEY:SECRET_KEY > ~/.passwd-s3fs
chmod 600 ~/.passwd-s3fs

양동이 장착 :

mkdir ~/mybucket
s3fs your-bucket-name ~/mybucket -o passwd_file=~/.passwd-s3fs

AWS CLI - Amazon S3 통합에 이상적입니다

AWS CLI는 S3을 포함하여 AWS의 거의 모든 부분을 관리하기위한 Amazon의 공식 명령 줄 도구입니다.

버킷 권한 설정, 버전 관리 또는 Lambda 기능 트리거 등 백업 이상의 백업 이상을 수행하는 경우 AWS CLI는 다른 도구보다 더 많은 제어 및 옵션을 제공합니다.

사용시기 :

이미 AWS 서비스를 사용하고 있으며 스토리지 작업을 워크 플로에 통합하려고합니다.
수명주기 규칙, 권한 및 객체 태깅과 같은 S3 기능에 대한 전체 액세스가 필요합니다.
자동화 또는 CI/CD 파이프 라인과의 호환성을 원합니다.

설치 (Linux) :

curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install

구성 :

aws configure

프롬프트되면 다음을 입력합니다.

액세스 키
비밀 키
기본 영역
출력 형식 (JSON, 텍스트 등)

동기화 예 :

aws s3 sync /var/www/html s3://your-bucket-name/html

마무리

VPS를 객체 저장소와 동기화하는 것은 데이터를 백업하고 컨텐츠에 액세스 할 수있는 안정적인 방법입니다.정기적 인 업로드를 실행하든 라이브 폴더를 동기화하든 RCLONE은 효율적으로 수행 할 수있는 도구를 제공합니다.

암호화, 로깅 및 자동화 옵션을 사용하면 원하는 방식으로 조용히 작동하는 시스템을 설정할 수 있습니다.