Trong bài viết này, chúng ta sẽ xem cách người dùng có thể lấy danh sách tất cả các trình thu thập thông tin có trong tài khoản AWS.
Ví dụ
Tuyên bố sự cố: Sử dụng boto3 thư viện bằng Python để lấy danh sách tất cả các trình thu thập thông tin.
Phương pháp tiếp cận / Thuật toán để giải quyết vấn đề này
-
Bước 1: Nhập boto3 và botocore các ngoại lệ để xử lý các ngoại lệ.
-
Bước 2: Không có tham số nào trong hàm này.
-
Bước 3: Tạo phiên AWS bằng boto3 lib . Đảm bảo rằng tên_vùng được đề cập trong hồ sơ mặc định. Nếu nó không được đề cập, thì hãy chuyển region_name một cách rõ ràng trong khi tạo phiên.
-
Bước 4: Tạo ứng dụng AWS cho keo .
-
Bước 5: Bây giờ, hãy sử dụng list_crawlers
-
Bước 6: Nó trả về danh sách tất cả các trình thu thập thông tin có trong danh mục dữ liệu AWS Glue.
-
Bước 7: Xử lý ngoại lệ chung nếu có sự cố xảy ra trong khi kiểm tra công việc.
Mã mẫu
Đoạn mã sau tìm nạp danh sách tất cả các trình thu thập thông tin -
import boto3
from botocore.exceptions import ClientError
def list_of_crawlers()
session = boto3.session.Session()
glue_client = session.client('glue')
try:
crawler_details = glue_client.list_crawlers()
return crawler_details
except ClientError as e:
raise Exception("boto3 client error in list_of_crawlers: " + e.__str__())
except Exception as e:
raise Exception("Unexpected error in list_of_crawlers: " + e.__str__())
print(list_of_crawlers()) Đầu ra
{'CrawlerNames': ['crawler_for_s3_file_job', 'crawler_for_employee_data', 'crawler_for_security_data'], 'ResponseMetadata': {'RequestId': 'a498ba4a-7ba4-47d3-ad81-d86287829c1d', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 13 Feb 2021 14:04:03 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '830', 'connection': 'keep-alive', 'x-amzn-requestid': 'a498ba4a-7ba4-47d3-ad81-d86287829c1d'}, 'RetryAttempts': 0}}