Como copiar dados entre AWS e Azure Bucket via Rclone

Los datos sonuno de los productos ms valiosos del mundo y no es difcil ver por qu. Desde o marketing hasta la genmica, a anlisis de grandes conjuntos de dados conduz a modelos preditivos, que conduz a resultados favoráveis ​​para a empresa. Quando os dados são úteis, os melhores são os modelos, o que significa melhores resultados que podem ser produzidos. Por supuesto, esto significa que move dados de un lugar a otro es una habilidad crucial para cualquier ingeniero, pero no siempre es tan fcil como parece.

Por exemplo, se usar o almacenamento de um bucket do AWS S3, mova os dados para outro bucket do S3 e é um comando individual da CLI, aws s3 cp s3://SourceBucket/* s3://DestinationBucket/ . Mover os arquivos mismos para um provedor de nube diferente, como Microsoft Azure ou Google Cloud Platform, requer uma ferramenta completamente diferente.

Ao final deste tutorial, pode sincronizar arquivos de um bucket de AWS S3 para um recipiente de almacenamento de Azure Blob por meio de rclone, uma herramienta de sincronização de dados de cdigo aberto que funciona com a maioria dos provedores de nube e sistemas de arquivos.

índice de conteúdo

  1. Pré-requisitos
  2. Cmo configurar rclone
  3. Azul claro
  4. AWS S3
  5. Ejecutando rclone
  6. Resumo

Pré-requisitos

Para realizar um seguimento, é necessário seguir:

  • Um bucket da AWS S3
  • Um conteúdo do Azure Blob Storage
  • Claves de accesso de AWS e claves de accesso a la cuenta de Azure Storage
  • Um computador com cualquier sistema operacional moderno
    • As capturas de tela filho do Windows 10 com WSL
  • Alguns arquivos para copiar

Cmo configurar rclone

A instalação do rclone é diferente para cada sistema operacional, mas uma vez instalado, as instruções son las mismas: ejecutar rclone config

Ao executar o comando config, se le pedir que vincule las cuentas de seu provador de nube a rclone. O trmino rclone para está a uma distância. Ao executar o comando config, ingrese n para criar um novo comando à distância. É necessário tanto para AWS como para Azure, mas também há muitos outros provadores para eleger.

Azul claro

Despus de seleção Azure Blob Storage, necessário:

  • Um nome para o controle remoto. (En esta demostracin, es "Azure").
  • El nombre de la cuenta de almacenamiento
  • Una de las claves de acceso a la cuenta de almacenamiento

Se le pedir una URL de firma de acceso compartido y, aunque se puede configurar con ella, esta demostracin solo usa una clave de acceso. Despus de inserir o valor predeterminado para o resto dos valores presionando iniciar sesin durante o restauro da configuração, debera poder comentar a usar o controle remoto.

Para enumerar os controles remotos configurados no seu sistema, ingrese rclone listremotes , que mostrará os comandos remotos disponíveis. Tambin puede enumerar cualquier contenedor de almacenamiento de blobs ejecutando rclone lsd <remote_name>: . Assegrese de incluir um : al final del control remote al ejecutar estos comandos porque as como rclone determina se desea usar un control remoto o no. Você pode correr rclone --help no momento qualquier para obter a lista de comandos disponíveis.

Usando el ls Y cat comandos com controle remoto rclone.

AWS S3

A configuração do controle remoto para um bucket de S3 é muito semelhante ao conteúdo de almacenamento de Azure Blob, com algumas diferenças menores. Como há outros provadores de almacenamiento no nube que rclone considera compatíveis com S3, também pode receber algumas solicitações adicionais mientras se rclone config . Necessário:

  • Um nome para o controle remoto. (En esta demostracin, es "AWS").
  • Um clave de acesso da AWS e um clave de acesso secreto correspondente
  • A região da AWS na hora de encontrar o bucket

O resto das indicações se pode configurar para criar outros depsitos ou realizar outras operações, mas para copiar você pode omitir o resto presionando Iniciar sesin en.

Se o usuário tiver permissão para acessar as claves de acesso ao depsito, poderá acessar todos os comandos errados que utilizará para acessar o controle remoto do Azure.

Pode confirmar o tipo de controle remoto agregando o botn --long bandera para el rclone listremotes mando.

Ejecutando rclone

Agora que os controles remotos estão configurados, você pode transferir arquivos, criar novos depsitos ou manipular arquivos da forma que você pode ver usando um conjunto de endereços de comandos. No lugar de confiar em saber cmo trabajar com o CLI de AWS S3 ou Azure PowerShell, você pode comunicar entre ambos os depsitos de almacenamiento com rclone.

Alguns comandos tiles comunes para comentar filho:

  • rclone tree <Remote>:<BucketName> – Mostra o conteúdo do cubo em um formato de rbol. Aade el -C bandera para agregar cor à saliência.
  • rclone size <Remote>:<BucketName> : Veja a quantidade de arquivos no depsito y su tamao total.
  • rclone sync <Source> <Target> Haga que o objetivo coincide com a fonte, apenas altere o objetivo. A origem e o destino remoto podem ser rotas de arquivo locales ou rotas rclones. Aade el -P marca para ver o progresso de forma interativa.

No exemplo siguiente, o bucket do AWS S3 é sincronizado com o controle remoto do Azure, que elimina o arquivo existente no Azure e luego copia os dados do S3. Se precisar manter os arquivos no tapete de destino, use el botn rclone copyto mando.

Resumo

Neste ponto, você sentirá se cmodo instalando rclone e configurando controles remotos, como também usando os controles remotos para copiar dados entre diferentes nubes. rclone é uma herramienta extremamente flexível e não se limita apenas a AWS e Azure, por isso você está usando outras provas ou nube, intente configurar controles remotos para ellos tambin.

  • Como instalar Linux em um Mac M1 com Apple Silicon
  • La botnet BotenaGo apunta a milhões de dispositivos IoT com 33 exploits

Descobre ms contenido

Que é um amplificador integrado?

Google Pixel Watch também tem detecção de cadas, pero no hasta el prximo ao

Las melhores tazas de caf calentadas de 2022

Cmo automatize seu iPhone segn el tiempo, la actividad ou la ubicacin

"Eso debe haber sido antes de mi tiempo"

Por qu la NASA enva a Snoopy a la Luna? – Revisando geek

¿Cuando usar S3?

S3 é um sistema de almacenamento de objetos escalonáveis ​​no Nube (PaaS). Los usos más comunes são como backup de dados e arquivos e aplicativos debido ao custo de sua facilidade de acesso.

O que significa S3 AWS?

Amazon Simple Storage Service ( S3 )-Almacenamiento en la nube- AWS .

Ir arriba