Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Python

Khởi động Scheduler của Crawler trong AWS Glue Data Catalog với Boto3

Dùng boto3 gọi start_crawler_schedule để bật lịch chạy cho crawler (trạng thái SCHEDULED). Ném ngoại lệ nếu crawler đang chạy hoặc đã scheduled.

Quy trình

  1. Import boto3, ClientError.
  2. Hàm nhận crawler_name.
  3. Tạo session, client Glue.
  4. Gọi glue_client.start_crawler_schedule(CrawlerName=...).
  5. Trả về response metadata.
  6. Xử lý ngoại lệ.

Code mẫu

import boto3
from botocore.exceptions import ClientError

def khoi_dong_scheduler_crawler(crawler_name):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.start_crawler_schedule(CrawlerName=crawler_name)
        return response
    except ClientError as e:
        raise Exception("Lỗi boto3 client: " + str(e))
    except Exception as e:
        raise Exception("Lỗi không mong đợi: " + str(e))

print(khoi_dong_scheduler_crawler("Data Dimension"))

Kết quả

{'ResponseMetadata': {'RequestId': '73e50130-...', 'HTTPStatusCode': 200, ...}}