Các ứng dụng máy học thời gian thực (ML) ở khắp mọi nơi - từ việc phê duyệt các giao dịch thẻ tín dụng khi chúng xảy ra, cho đến tạo ngay các đề xuất được cá nhân hóa cho dịch vụ phát trực tuyến yêu thích của bạn. Các ứng dụng này không thể gây ra bất kỳ sự chậm trễ nào; họ yêu cầu quyền truy cập trực tiếp vào dữ liệu mới để cung cấp suy luận có độ trễ cực thấp (100 mili giây hoặc ít hơn). Để cung cấp cho các nhà phát triển và tổ chức khả năng thời gian thực tiết kiệm chi phí cho các ứng dụng ML quy mô lớn, chúng tôi rất vui mừng được cùng nhau công bố tích hợp hạng nhất của Tecton và Redis Enterprise Cloud.
Redis Enterprise Cloud là phiên bản tốt nhất của Redis, mang lại hiệu suất, khả năng mở rộng và hiệu quả chi phí tốt nhất trong các nhà cung cấp đám mây. Redis đã được các nhà phát triển bình chọn là cơ sở dữ liệu được yêu thích nhất trong 5 năm liên tiếp trong cuộc khảo sát dành cho nhà phát triển hàng năm của Stack Overflow. Phổ biến với các ngành dịch vụ tài chính, thương mại điện tử và trò chơi, Redis có thành tích đáp ứng các yêu cầu khắt khe nhất về độ trễ (dưới mili giây) và tính khả dụng cao, khiến nó trở nên lý tưởng để phục vụ nhu cầu của các ứng dụng ML thời gian thực.
Tecton là cửa hàng tính năng hàng đầu dành cho các doanh nghiệp muốn đẩy nhanh thời gian sản xuất cho các dự án ML. Nền tảng của nó đến từ kinh nghiệm xây dựng Uber Michelangelo, nền tảng cung cấp năng lượng cho mọi ứng dụng ML tại Uber. Tecton là một hệ thống vận hành và quản lý các đường ống dẫn dữ liệu và các tính năng cho các ứng dụng ML sản xuất. Các trường hợp sử dụng điển hình bao gồm phát hiện gian lận, đề xuất trong thời gian thực, định giá động và cá nhân hóa.
Giờ đây, Tecton’s Feature Store tích hợp với Redis Enterprise Cloud để phục vụ trực tuyến, việc sản xuất các trường hợp sử dụng ML thông lượng cao, có độ trễ thấp dễ dàng hơn và tiết kiệm chi phí hơn bao giờ hết. Đối với người dùng Tecton đang chạy ở quy mô cao, phân tích điểm chuẩn cho thấy Redis Enterprise đạt được độ trễ nhanh hơn gấp 3 lần trong khi đồng thời rẻ hơn 14 lần so với Amazon DynamoDB (đọc thêm trên blog của Tecton tại đây). Trong bài viết này, chúng ta sẽ xem xét sâu hơn cách Redis Enterprise và Tecton làm việc cùng nhau.
Cách Tecton tích hợp với Redis
Để hiểu vị trí Tecton và Redis phù hợp với nhau để kích hoạt ML thời gian thực, hãy xem các bước để sản xuất một trường hợp sử dụng ML như phát hiện gian lận:
- Đầu tiên, dữ liệu thô là bắt buộc (ví dụ:tất cả các giao dịch lịch sử của người dùng + giao dịch hiện tại của họ trong thời gian thực). Dữ liệu này rất có thể được lan truyền qua các kho dữ liệu và luồng dữ liệu khác nhau trong toàn doanh nghiệp.
- Để tạo các tính năng cho một mô hình, bạn cần kết nối với các nguồn dữ liệu đó và xác định và thực hiện các phép biến đổi dữ liệu sẽ mang lại các tính năng. Ví dụ:một tính năng có thể xem xét số tiền giao dịch trung bình của người dùng trong sáu tháng qua và so sánh nó với giao dịch hiện tại của họ.
- Cuối cùng, bạn cần cung cấp các tính năng của mình cho mô hình ML đang đưa ra dự đoán trong thời gian thực và thực hiện điều này ở độ trễ dưới 100ms để người dùng không nhận thấy bất kỳ độ trễ nào.
Tecton’s Feature Store được thiết kế để xử lý các bước này, loại bỏ tất cả công việc sắp xếp các chuyển đổi tính năng và đường ống dữ liệu để các nhóm khoa học dữ liệu và kỹ thuật dữ liệu của bạn có thể tập trung vào việc xây dựng mô hình. Tuy nhiên, Tecton không phải là một công cụ tính toán hay một cơ sở dữ liệu. Thay vào đó, nó nằm trên cơ sở hạ tầng mà khách hàng đã sử dụng, vì vậy bạn có thể tự do xây dựng ngăn xếp ML phù hợp với mình.
Redis Enterprise Cloud là một trong những thành phần cơ sở hạ tầng này, mang đến cho khách hàng một tùy chọn hiệu suất cao mới cho cửa hàng trực tuyến được Tecton’s Feature Store sử dụng.
Cách Tecton sử dụng cửa hàng trực tuyến so với ngoại tuyến
Tecton’s Feature Store hỗ trợ hai mẫu truy cập chính cho ML:truy xuất hàng triệu hàng dữ liệu lịch sử để đào tạo mô hình và truy xuất một hàng, chỉ trong vài mili giây, để cung cấp các tính năng cho các mô hình đang chạy trong sản xuất. Vì các trường hợp sử dụng này rất khác nhau về hiệu suất và cân bằng chi phí, nên chúng tôi hỗ trợ các loại cơ sở dữ liệu khác nhau để truy xuất tính năng ngoại tuyến so với trực tuyến.
Đối với cửa hàng tính năng ngoại tuyến, Tecton hỗ trợ S3, vì nó cung cấp dung lượng lưu trữ hiệu quả về chi phí có thể mở rộng quy mô để đáp ứng nhu cầu phục vụ tính năng ngoại tuyến của bạn để đào tạo mô hình. Đối với cửa hàng tính năng trực tuyến, Tecton hiện cung cấp cho khách hàng sự lựa chọn linh hoạt giữa DynamoDB (chế độ dung lượng theo yêu cầu) và Redis Enterprise Cloud.
Loại bỏ xiên phục vụ đào tạo
Nếu không có cách tiếp cận cơ sở dữ liệu kép này, nhiều tổ chức triển khai các đường ống dữ liệu riêng biệt để đào tạo ngoại tuyến và phục vụ trực tuyến. Những khác biệt nhỏ về cách các đường ống được triển khai có thể hoàn toàn làm sai lệch hiệu suất của mô hình, bởi vì dữ liệu mà mô hình nhìn thấy trong quá trình đào tạo không khớp với dữ liệu mà nó gặp phải trong quá trình sản xuất. Sự không phù hợp này được gọi là sai lệch phục vụ đào tạo và việc gỡ lỗi tốn rất nhiều thời gian.
Tecton’s Feature Store tự động giải quyết vấn đề sai lệch phục vụ đào tạo bằng cách phối hợp dữ liệu trên các môi trường ngoại tuyến và trực tuyến để dữ liệu luôn được đồng bộ hóa. Người dùng có thể bắt đầu sử dụng cửa hàng ngoại tuyến chỉ với suy luận hàng loạt và khi họ đã sẵn sàng cho suy luận trực tuyến, hãy cập nhật một dòng mã để bắt đầu hiện thực hóa dữ liệu vào cửa hàng trực tuyến.
Ưu điểm của Redis Enterprise Cloud cho người dùng Tecton
Đối với người dùng Tecton hoạt động ở quy mô lớn, một trong những lợi thế chính của việc sử dụng Redis Enterprise Cloud là hiệu suất và tiết kiệm chi phí. Dựa trên phân tích điểm chuẩn về việc cung cấp các tính năng trực tuyến với thông lượng cao, Redis nhanh hơn gấp 3 lần và rẻ hơn 14 lần so với DynamoDB onTecton.
Redis Enterprise Cloud cũng cung cấp khả năng hoạt động tuyệt vời, sẵn sàng đáp ứng nhu cầu lưu trữ có độ trễ thấp hiện tại và trong tương lai. Nó cung cấp tính khả dụng cao với SLA là 99,999% thời gian hoạt động, nhiều tùy chọn cơ sở dữ liệu bền bỉ, sao lưu và phục hồi. Những khách hàng có tập dữ liệu tính năng lớn có thể tiết kiệm thêm chi phí bằng cách xếp hạng cửa hàng tính năng trực tuyến trên DRAM và SSD.
Cách bắt đầu
Nếu bạn chưa sử dụng Redis Enterprise Cloud, bạn có thể đăng ký tài khoản tại đây. Chúng tôi khuyên người dùng Tecton nên triển khai Redis Enterprise Cloud trong AWS để giảm thiểu độ trễ, vì Tecton chạy nguyên bản trong AWS và có thể thiết lập kết nối ngang hàng vào Redis Enterprise Cloud. Trong tương lai, Tecton có kế hoạch bổ sung hỗ trợ gốc cho các nền tảng nhà cung cấp đám mây khác.
Nếu bạn không phải là người dùng Tecton và muốn tìm hiểu thêm, bạn có thể đăng ký dùng thử Tecton miễn phí tại đây.