Cách dùng Boto3 lấy các workflow đã tạo trong tài khoản

Cách tiếp cận/Thuật toán giải quyết

Bước 1 − Nhập boto3 và botocore exceptions để xử lý ngoại lệ.

Bước 2 − Không cần tham số cho hàm này. Nó sẽ lấy tất cả trigger liệt kê cho tài khoản người dùng và hiển thị metadata của từng trigger.

Bước 3 − Tạo phiên AWS bằng boto3. Đảm bảo region_name trong profile mặc định. Nếu không, truyền rõ ràng region_name khi tạo phiên.

Bước 4 − Tạo client AWS cho glue.

Bước 5 − Sử dụng hàm list_workflows để lấy tất cả job liệt kê trong tài khoản.

Bước 6 − Gọi batch_get_workflows và truyền tên job lấy được ở hàm trước.

Bước 7 − Nó trả về list_of_workflows và metadata của từng workflow.

Bước 8 − Xử lý ngoại lệ chung nếu có lỗi xảy ra khi kiểm tra job.

Ví dụ

Sử dụng code sau để lấy chi tiết từng workflow tạo trong tài khoản người dùng:

import boto3
from botocore.exceptions import ClientError

def get_resource_maetadata_of_workflows():
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        list_of_workflows = glue_client.list_workflows()
        response = glue_client.batch_get_workflows(Names=list_of_workflows['Workflows'])
        return list_of_workflows, response
    except ClientError as e:
        raise Exception("boto3 client error in get_resource_maetadata_of_workflows: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in get_resource_maetadata_of_workflows: " + e.__str__())

a, b = get_resource_maetadata_of_workflows()
# Danh sách Workflows
print(a)
# Metadata tài nguyên của từng Workflow
print(b)

Kết quả

# Danh sách Workflows
{'Workflows': ['dev-aiml-naviga-ods-load'], 'ResponseMetadata': {'RequestId': '556890ce-bcd1-4bb0-9c33-3ae1db13f3a9', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 27 Feb 2021 13:57:37 GMT', 'contenttype': 'application/x-amz-json-1.1', 'content-length': '91', 'connection': 'keep-alive', 'x-amzn-requestid': '556890ce-bcd1-4bb0-9c33-3ae1db13f3a9'}, 'RetryAttempts': 0}
# Metadata tài nguyên của từng Workflow
{'Workflows': [{'Name': 'dev-aiml-naviga-ods-load', 'DefaultRunProperties': {}, 'CreatedOn': datetime.datetime(2020, 5, 27, 3, 10, 57, 967000, tzinfo=tzlocal()), 'LastModifiedOn': datetime.datetime(2020, 5, 27, 3, 10, 57, 967000, tzinfo=tzlocal())}, 'StartedOn': datetime.datetime(2021, 2, 3, 16, 14, 48, 795000, tzinfo=tzlocal()), 'CompletedOn': datetime.datetime(2021, 2, 3, 16, 28, 6, 207000, tzinfo=tzlocal()), 'Status': 'COMPLETED', 'Statistics': {'TotalActions': 3, 'TimeoutActions': 0, 'FailedActions': 0, 'StoppedActions': 0, 'SucceededActions': 3, 'RunningActions': 0}}], 'MissingWorkflows': [], 'ResponseMetadata': {'RequestId': 'b328d064-24ab-48c4-b058-852387a3d474', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 27 Feb 2021 13:57:37 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '2655', 'connection': 'keep-alive', 'x-amzn-requestid': 'b328d064-24ab-48c4-b058-852387a3d474'}, 'RetryAttempts': 0}}