pythonでstorage transfer serviceを使ってみた。

準備

pythonのインストールとかする。

このあたり。
http://kei0310.info/?p=592

サンプルコードを使う

とりあえず、サンプルコードを使ってみる。

このあたりを丸ごとコピって使う。
https://github.com/GoogleCloudPlatform/python-docs-samples/blob/master/storage/transfer_service/aws_request.py

転送元のデータの準備

AWS S3にバケットと転送するデータがあることを確認。

GCSに転送先のバケットを用意する

gcsに転送先のバケットがあることを確認。

ジョブ作成用のサービスアカウントを用意する

IAMからサービスアカウントを新規作成する。
有効なサービスアカウントであれば、権限はつけなくても大丈夫そう。(違うかも)

python用デフォルトサービスアカウントに設定

jsonフォーマットでkeyファイルをダウンロードしてサーバー上にファイルとして配置。
以下のコマンドでpythonが使うサービスアカウントとして定義する。
(必要があれば、.bash_profileとかにも登録してね)

転送用のサービスアカウントを用意する

通常のサービスアカウントと別で、API専用のサービスアカウントの設定を行う。

このあたりを参考にした。
https://medium.com/@karnavatpradip12345/storage-transfer-from-aws-s3-to-gcs-using-api-solution-to-insufficient-permission-error-on-the-ad76c4b89dc0

このページを開く。
https://cloud.google.com/storage-transfer/docs/reference/rest/v1/googleServiceAccounts/get

ページの右側に入力欄があるので、プロジェクトIDを入力して「EXECUTE」を押す。

成功すると、「200」欄に以下が入力されるので、メールアドレス部分をコピーする。

コピーしたメールアドレスを、Cloud Storageコンソールのバケットを選択した後の「権限」タブから「+追加」を選択して、「Storage レガシー バケット書き込み」を付与する。

転送ジョブの実行

転送ジョブを以下のコマンドで実行する

実行結果例

スポンサードリンク

関連記事

no image

Compute Engine(GCE)にpyenv環境を作ってみた

pyenvのインストール 必要なOSモジュールのインストール https://

記事を読む

no image

[Python] 型の検査・判定

Pythonでの型の検査・判定方法 isinstance サンプル [crayon-675

記事を読む

no image

[python] 配列の扱い方

pythonでの配列の扱い方 python 配列の作成 python 配

記事を読む

no image

[python] 文字列結合

pythonでの文字列結合 サンプル

記事を読む

no image

[python] ファイルの読み込み

pythonでのファイルの読み込み方法 基本サンプル CSVファイルの読み込み

記事を読む

no image

[Python] Nullの判定方法(None)

Nullの判定方法(None) 表記方法 Pythonでは、Nullを「None」と表記します。

記事を読む

no image

AWS Redshiftの使用ストレージ容量をクエリで調べる方法

用途 AWS Redshfitのコンソールを見れば、使用中のストレージ容量はわかります。

記事を読む

no image

aws cliをインストールしたメモ

いつぞやより、めっちゃ簡単になっていた。 インストール   設定 [crayo

記事を読む

no image

BigQueryにテーブル作成からバッチロードまでしたメモ

プロジェクト作成、課金設定までしている前提。 データセットを作成 テーブルを作成 [cra

記事を読む

no image

[python] 日付の取り扱い(datetime) 現在日付、計算、文字列変換(format)

現在日付 日付の計算 [crayon-6756ebadc0b56077452929/] 文

記事を読む

スポンサードリンク

Message

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

スポンサードリンク

no image
CentOSにdockerをインストールしてみた

前置き dockerをcentos7にインストールしてみました

no image
awkでのgsubを使った文字列置換(正規表現)

まえおき bashなどのシェルスクリプトで、lsした結果とかを

no image
bashで並列処理する方法(xargs)

並列処理とは 通常、意識せずにプログラムを書くと、大体の場合は

no image
AWS Redshiftの使用ストレージ容量をクエリで調べる方法

用途 AWS Redshfitのコンソールを見れば、使用中のス

no image
pythonでstorage transfer serviceを使ってみた。

準備 pythonのインストールとかする。 このあたり。

→もっと見る

  • 2024年12月
     1
    2345678
    9101112131415
    16171819202122
    23242526272829
    3031  
  • 2024年12月
     1
    2345678
    9101112131415
    16171819202122
    23242526272829
    3031  
PAGE TOP ↑