pythonでstorage transfer serviceを使ってみた。

準備

pythonのインストールとかする。

このあたり。
http://kei0310.info/?p=592

サンプルコードを使う

とりあえず、サンプルコードを使ってみる。

このあたりを丸ごとコピって使う。
https://github.com/GoogleCloudPlatform/python-docs-samples/blob/master/storage/transfer_service/aws_request.py

転送元のデータの準備

AWS S3にバケットと転送するデータがあることを確認。

GCSに転送先のバケットを用意する

gcsに転送先のバケットがあることを確認。

ジョブ作成用のサービスアカウントを用意する

IAMからサービスアカウントを新規作成する。
有効なサービスアカウントであれば、権限はつけなくても大丈夫そう。(違うかも)

python用デフォルトサービスアカウントに設定

jsonフォーマットでkeyファイルをダウンロードしてサーバー上にファイルとして配置。
以下のコマンドでpythonが使うサービスアカウントとして定義する。
(必要があれば、.bash_profileとかにも登録してね)

転送用のサービスアカウントを用意する

通常のサービスアカウントと別で、API専用のサービスアカウントの設定を行う。

このあたりを参考にした。
https://medium.com/@karnavatpradip12345/storage-transfer-from-aws-s3-to-gcs-using-api-solution-to-insufficient-permission-error-on-the-ad76c4b89dc0

このページを開く。
https://cloud.google.com/storage-transfer/docs/reference/rest/v1/googleServiceAccounts/get

ページの右側に入力欄があるので、プロジェクトIDを入力して「EXECUTE」を押す。

成功すると、「200」欄に以下が入力されるので、メールアドレス部分をコピーする。

コピーしたメールアドレスを、Cloud Storageコンソールのバケットを選択した後の「権限」タブから「+追加」を選択して、「Storage レガシー バケット書き込み」を付与する。

転送ジョブの実行

転送ジョブを以下のコマンドで実行する

実行結果例

スポンサードリンク

関連記事

no image

[python] 日付の取り扱い(datetime) 現在日付、計算、文字列変換(format)

現在日付 日付の計算 [crayon-5f9d5e59aa7ba699443470/] 文

記事を読む

no image

[python] 配列の扱い方

pythonでの配列の扱い方 python 配列の作成 python 配

記事を読む

no image

[python] 文字列結合

pythonでの文字列結合 サンプル

記事を読む

no image

Compute Engine(GCE)にpyenv環境を作ってみた

pyenvのインストール 必要なOSモジュールのインストール https://

記事を読む

no image

[Python] 型の検査・判定

Pythonでの型の検査・判定方法 isinstance サンプル [crayon-5f9

記事を読む

no image

[Python] Nullの判定方法(None)

Nullの判定方法(None) 表記方法 Pythonでは、Nullを「None」と表記します。

記事を読む

no image

[python] ファイルの読み込み

pythonでのファイルの読み込み方法 基本サンプル CSVファイルの読み込み

記事を読む

no image

aws cliをインストールしたメモ

いつぞやより、めっちゃ簡単になっていた。 インストール   設定 [crayo

記事を読む

no image

BigQueryにテーブル作成からバッチロードまでしたメモ

プロジェクト作成、課金設定までしている前提。 データセットを作成 テーブルを作成 [cra

記事を読む

スポンサードリンク

Message

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

スポンサードリンク

no image
pythonでstorage transfer serviceを使ってみた。

準備 pythonのインストールとかする。 このあたり。

no image
Compute Engine(GCE)にpyenv環境を作ってみた

pyenvのインストール 必要なOSモジュールのインス

no image
aws cliをインストールしたメモ

いつぞやより、めっちゃ簡単になっていた。 インストール &nb

no image
BigQueryにテーブル作成からバッチロードまでしたメモ

プロジェクト作成、課金設定までしている前提。 データセットを作成

no image
[git] Windowsへのインストール(Git for Windows)

概要 Windows環境にGitをインストールします。 インストー

→もっと見る

  • 2020年10月
    « 9月    
     1234
    567891011
    12131415161718
    19202122232425
    262728293031  
  • 2020年10月
    « 9月    
     1234
    567891011
    12131415161718
    19202122232425
    262728293031  
PAGE TOP ↑