Cách dùng Boto3 lấy chi tiết tất cả cơ sở dữ liệu từ AWS Glue Data Catalog

Đề bài − Sử dụng thư viện boto3 trong Python để truy xuất định nghĩa của tất cả cơ sở dữ liệu.

Ví dụ − Truy xuất định nghĩa của tất cả cơ sở dữ liệu.

Cách tiếp cận/Thuật toán giải quyết

Bước 1 − Nhập boto3 và botocore exceptions để xử lý ngoại lệ.

Bước 2 − Không có tham số.

Bước 3 − Tạo phiên AWS bằng boto3. Đảm bảo region_name trong profile mặc định. Nếu không, truyền rõ ràng region_name khi tạo phiên.

Bước 4 − Tạo client AWS cho glue.

Bước 5 − Sử dụng hàm get_databases.

Bước 6 − Nó trả về định nghĩa của tất cả cơ sở dữ liệu trong tài khoản người dùng.

Bước 7 − Xử lý ngoại lệ chung nếu có lỗi xảy ra khi kiểm tra job.

Ví dụ

Sử dụng code sau để truy xuất định nghĩa của tất cả cơ sở dữ liệu:

import boto3
from botocore.exceptions import ClientError

def retrieves_all_database_details():
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.get_databases()
        return response
    except ClientError as e:
        raise Exception("boto3 client error in retrieves_all_database_details: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in retrieves_all_database_details: " + e.__str__())

print(retrieves_all_database_details())

Kết quả

{'DatabaseList': [{'Name': 'QA-test', 'CreateTime': datetime.datetime(2020, 11, 18, 14, 24, 46, tzinfo=tzlocal())}, {'Name': 'custdb', 'CreateTime': datetime.datetime(2020, 8, 31, 20, 30, 9, tzinfo=tzlocal())}, {'Name': 'default', 'Description': 'Default Hive database', 'LocationUri': 'hdfs://ip-************.ec2.internal:****/user/hive/warehouse', 'CreateTime': datetime.datetime(2018, 5, 25, 16, 4, 54, tzinfo=tzlocal())}, 'NextToken': 'eyJsYXN0RXZhbHVhdGVkS2V5Ijp7IkhBU0hfS0VZIjp7InMiOiJuLjc4MjI1ODQ4NTg0MSJ9LCJSQU5HRV9LRVkiOnsicCI6InN************Mjk3NywibmFub3MiOjIyNTA***********NvbnRleHQiOmZhbHNlfQ==', 'ResponseMetadata': {'RequestId': 'fa0a2069-***********-a0617', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sun, 28 Feb 2021 12:49:37 GMT', 'content-type': 'application/x-amz-json-1.1', 'contentlength': '25749', 'connection': 'keep-alive', 'x-amzn-requestid': 'fa0a2069-************a0617'}, 'RetryAttempts': 0}}