GCP 料金を定期報告する slack bot を作成する

これは何？

[GCP お支払い > レポート] から参照可能な料金体系を…

一日一回、slack に定期報告する bot を作成する

注意事項

• docker, cloud sdk 環境が必要

メールで予算を管理するだけで十分な場合

• [お支払い > 予算とアラート] から、予算とアラートを設定可能

• 機能としては、事前に設定した予算をオーバーした際にアラートメールを送信してくれる

• どちらも設定しておくと安心

GCP の料金を slack で管理する

#01. slack の Messaging API を作成

• slack の Incoming Webhook を設定し、詳細ページに遷移して以下を行う

  • Webhook URL をコピー

  • チャンネルへの投稿 から通知先を選択

  • 名前・アイコンをカスタマイズ

• Webhook URL を用いて以下のスクリプトを実行すると slack に Hello World! というメッセージが送信される

# python の場合
import json
import os
import requests

WEBHOOK_URL = os.environ["WEBHOOK_URL"]
data = json.dumps({"text": "Hello World!"})
requests.post(WEBHOOK_URL, data=data)

#02. BigQuery で課金データを保持するデータセットを作成

• GCP の [BigQuery > エクスプローラ] の左のツリーから、プロジェクト名の右にある [: > データセットを作成] からデータセットを作成

  • ここでは add_billing_data という名前で作成

#03. GCP 課金データをエクスポートする

• [GCP の お支払い > 課金データのエクスポート] から BIGQUERY EXPORT の設定を行う

  • #02. で設定したデータセット名 add_billing_data を指定して保存

#04. Cloud Functions で実行スクリプトを作成

• GCP の Cloud Functions 関数の作成から、❶構成 を設定

• ❷コード にて以下のスクリプトをペーストしてデプロイ
  

  • ランタイム： Python 3.9

  • ソースコード： インラインエディタ

  • エントリポイント： notify_slack

# main.py

# -*- coding: utf-8 -*-
# 標準出力は Cloud Logging にて確認可能

import datetime as dt
import json
import base64
from pprint import pprint
import requests

from flask.wrappers import Request
from google.cloud import bigquery

QUERY = """
SELECT
  service.description as Service,
  (SUM(CAST(cost * 1000000 AS int64))
    + SUM(IFNULL((SELECT SUM(CAST(c.amount * 1000000 as int64))
    FROM UNNEST(credits) c), 0))) / 1000000 as Cost
FROM `{sql_database}`
WHERE project.name = '<project/name>' AND invoice.month = '{month}'
GROUP BY Service
ORDER BY Cost DESC
;
"""

def notify_slack(request: Request, context=None):
    WEBHOOK_URL = "<set/your/URL>"
    SQL_DATABASE = "<sql/database>"
	INVOICE_MONTH = dt.datetime.now(dt.timezone.utc).strftime("%Y%m")
		year, month = INVOICE_MONTH[:4], INVOICE_MONTH[4:]

    # GCP 利用料金取得
		query = QUERY.format(sql_database=SQL_DATABASE, month=INVOICE_MONTH)
    client = bigquery.Client()
    query_job = client.query(query)
    rows = query_job.result()

		# slack にメッセージを送信
    messages = []
    total_cost = 0
    for row in rows:
        desc = row.Service + " "*50
        total_cost += row.Cost
        total = " "*10 + f"{row.Cost:.2f}"
        text = f"・ {total[-10:]} 円 \\t {desc[:20]}\\t"
        messages.append(text)
    messages = [f"{year}年{month}月:\\t計 {total_cost:.2f} 円", "-"*40] + messages
    message = "\\n".join(messages)
    print(message)
    try:
        post_data = json.dumps({
            "text": message,
        })
        r_post = requests.post(WEBHOOK_URL, data=post_data)
        print(r_post.status_code)  # 201
        print(r_post)
        return "success"
    except Exception as e:
        print(e)
        return "error"

# requirements.txt
flask
requests
google-cloud-bigquery

• （注意）上記 Python スクリプト内で実行している SQL クエリ実行時の処理サイズは事前に確認すること
  

#05. Cloud Run で実行スクリプトを実行

• ローカルの適当な workspace に移動

• script.sh を以下のように作成

# Cloud Function のページに指定してある URL に変更
URL="<https://(.*?).a.run.app>"

# 以下を実行
curl -m 70 -X POST $URL \\
-H "Authorization: bearer $(gcloud auth print-identity-token)" \\
-H "Content-Type: application/json" \\
-d '{
  "data": {"message": "Hello World"}
}'

• Dockerfile を以下のように作成

FROM google/cloud-sdk:latest

ENV APP_HOME /app
COPY script.sh $APP_HOME/
RUN chmod +x $APP_HOME/script.sh

CMD $APP_HOME/script.sh

• docker イメージをビルド

PROJECT_ID="<your project>"
NAME="<your app name>"
TAG="gcr.io/${PROJECT_ID}/${NAME}"
docker build . -t $TAG --no-cache

• 以下を実行

# レジストリへプッシュ
gcloud builds submit --tag ${TAG}:latest

# ジョブを作成
gcloud alpha run jobs create ${NAME} \\
  --image ${TAG} \\
  --region asia-northeast1

# 作成したジョブが実行されるか確認
gcloud alpha run jobs execute ${NAME} \\
  --region asia-northeast1

• GCP の Cloud Run から作成したプロジェクトに遷移

  • URL を控えておく

#06. Cloud Scheduler で定期実行

• 以下を実行

PROJECT_NUMBER=$(gcloud projects list --filter="$(gcloud config get-value project)" --format="value(PROJECT_NUMBER)")

# 05. で控えた URL
CLOUD_RUN_URL="<https://(.*?)an.a.run.app>"

# 実行頻度
# 以下は 毎日 12:00 に slack に通知する
UNIX_CRON="0 12 * * *"

# 適当なサービスアカウント
SERVICE_ACCOUNT="<your accout>"

gcloud scheduler jobs create http ${NAME} \\
  --location="asia-northeast1" \\
  --schedule=${UNIX_CRON} \\
  --uri=${CLOUD_RUN_URL} \\
  --http-method="POST" \\
  --time-zone="JST" \\
  --oidc-service-account-email=${SERVICE_ACCOUNT}

• GCP の Cloud Scheduler からジョブが作成されていることを確認する

  • 実行頻度などを修正可能

References

• HTTP ターゲットで認証を使用する - GCP docs

• Cloud Run Jobsを使用してジョブをスケジュール実行する

  • https://tech.rhythm-corp.com/schedule-jobs-to-run-using-cloud-run-jobs/

• unix cron について

  • cron ジョブ スケジュールの構成 - GCP docs

  • https://www.yoheim.net/blog.php?q=20190902