Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Python

Cập nhật scheduler của Crawler trong AWS Glue Data Catalog với Boto3

Hướng dẫn dùng boto3 để cập nhật lịch chạy (scheduler) của một crawler trong AWS Glue Data Catalog. Lịch được biểu diễn dưới dạng cron expression.

Quy trình

  1. Import boto3 và ClientError.
  2. Hàm nhận crawler_name và scheduler (cron expression, ví dụ: "cron(15 12 * * ? *)").
  3. Tạo session và client Glue.
  4. Gọi glue_client.update_crawler_schedule().
  5. Trả về response metadata.
  6. Xử lý ngoại lệ.

Code mẫu

import boto3
from botocore.exceptions import ClientError

def cap_nhat_scheduler_crawler(crawler_name, scheduler):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.update_crawler_schedule(
            CrawlerName=crawler_name,
            Schedule=scheduler
        )
        return response
    except ClientError as e:
        raise Exception("Lỗi boto3 client: " + str(e))
    except Exception as e:
        raise Exception("Lỗi không mong đợi: " + str(e))

print(cap_nhat_scheduler_crawler("Data Dimension", "cron(15 12 * * ? *)"))

Kết quả

{'ResponseMetadata': {'RequestId': '73e50130-...', 'HTTPStatusCode': 200, ...}}