Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Redis

Tăng Hiệu Suất & Giảm Chi Phí: Cache Phản Hồi OpenAI API Với Upstash Redis

Nếu bạn dùng OpenAI API, có thể nhận ra nó khá chậm và đôi khi không phản hồi. Đặc biệt model GPT-4 hay bị độ trễ cao. Ngoài ra, bạn trả tiền cho mỗi câu trả lời. Đó là lý do tránh phục vụ phản hồi trực tiếp.

Bạn có thể lưu phản hồi trong Upstash Redis để vượt qua vấn đề này. Nếu phục vụ cùng phản hồi cho nhiều client, điều này tiết kiệm khá nhiều tiền, và với triển khai toàn cầu, user nhận info nhanh nhất có thể.

Bài viết hướng dẫn cache phản hồi OpenAI API vào database Upstash Redis.

Tính Năng

Xây dựng web app hiển thị danh sách joke lịch sử cho visitor.

  1. Truy vấn OpenAI API hàng ngày lấy joke lịch sử liên quan đến ngày hiện tại
  2. Cache joke để phục vụ sau
  3. Hiển thị tất cả joke

Công Nghệ

Dùng các công nghệ sau xây dựng app:

  • Node.js làm HTTP server
  • OpenAI API sinh joke lịch sử
  • Upstash QStash trigger request joke mới từ HTTP server đến OpenAI API
  • Upstash Redis lưu joke cho dùng sau

Yêu Cầu Tiên Quyết

  • Tài khoản OpenAI có API access để truy cập AI
  • Tài khoản Upstash gửi request đến OpenAI API và cache phản hồi AI trong Upstash Redis
  • Cài đặt Node.js gọi OpenAI và Upstash APIs

Triển Khai

Bắt đầu tạo HTTP server fetch joke, lưu Upstash Redis, hiển thị cho visitor.

Thiết Lập Dự Án

Trước hết, tạo Node.js project mới cài dependencies.

 $ mkdir history-jokes & cd history-jokes
$ npm init -y
$ npm i dotenv express axios @upstash/redis @upstash/qstash

Triển Khai Server

Tạo file index.js copy code sau:

require("dotenv").config();
const axios = require("axios");
const express = require("express");
const { Redis } = require("@upstash/redis");
const { Receiver } = require("@upstash/qstash");
const redisClient = new Redis({
  url: process.env.UPSTASH_REDIS_URL,
  token: process.env.UPSTASH_REDIS_TOKEN,
});
const qstashReceiver = new Receiver({
  currentSigningKey: process.env.UPSTASH_QSTASH_CURRENT_SIGNING_KEY,
  nextSigningKey: process.env.UPSTASH_QSTASH_CURRENT_NEXT_KEY,
});
const openaiApiClient = axios.create({
  baseURL: "https://api.openai.com/v1",
  headers: {
    Authorization: "Bearer " + process.env.OPENAI_TOKEN,
    "Content-Type": "application/json",
  },
});
const server = express();
server.use("/generate", async (request, response, next) => {
  // return next()
  let validRequest = false;
  try {
    validRequest = await qstashReceiver.verify({
      signature: request.headers["upstash-signature"],
      body: "",
    });
  } catch (e) {}
  if (!validRequest) return response.status(403).end("Forbidden");
  return next();
});
server.post("/generate", async (_request, response) => {
  const today = new Date();
  const month = today.toLocaleString("default", { month: "long" });
  let day = today.toLocaleString("default", { day: "numeric" });
  day = day == 1 ? "1st" : day == 2 ? "2nd" : day == "3" ? "3rd" : day + "th";
  const { data } = await openaiApiClient.post("/chat/completions", {
    model: "gpt-3.5-turbo",
    messages: [
      { role: "system", content: "You are a comedian that tells short history jokes." },
      { role: "user", content: `Please tell me a joke for ${month} the ${day}.` },
    ],
  });
  const joke = JSON.stringify({ date: month + " the " + day, text: data.choices[0].message.content });
  await redisClient.lpush("jokes", joke);
  response.end();
});
server.get("/", async (_request, response) => {
  let html = "<h1>History Jokes for Every Day</h1>";
  const jokes = await redisClient.lrange("jokes", 0, -1);
  html += "<ul>" + jokes
    .map(({ date, text }) => `<li><b>${date}</b><br><pre>${text}</pre></li>`)
    .join("") + "</ul>";
  response.setHeader("Content-Type", "text/html");
  response.end(html);
});
server.listen(3000);

Đi qua phần quan trọng của code.

Dùng redisClient lưu phản hồi vào Upstash Redis và load để hiển thị.

qstashReceiver verify cuộc gọi hàng ngày từ Upstash QStash; đảm bảo chỉ QStash gọi endpoint /generate.

Dùng Axios tạo client OpenAI API, không phải truyền baseUrl và Authentication header mỗi lần gọi API.

Tiếp, tạo Express middleware dùng qstashReceiver verify tất cả request đến /generate. Vì chỉ dùng QStash trigger endpoint không truyền giá trị, dùng empty string làm body.

Lưu ý: Middleware cho phép tất cả request nếu un-comment dòng "// return next()". Dùng để test endpoint /generate trên localhost.

Endpoint /generate lắng nghe POST request tạo và lưu joke thực tế. Tính month và day hiện tại dùng tạo hai prompt cho AI. Một bảo AI hành xử như comedian, hai nhờ kể joke lịch sử về tháng và ngày hiện tại.

Gọi OpenAI API với prompt, lưu kết quả vào LIST trong Upstash Redis.

Endpoint / lắng nghe GET request hiển thị joke đã lưu. Load LIST từ Upstash Redis, format thành HTML list element, gửi cho client.

Triển Khai

Server đã setup, tạo cloud resource và điền API credentials truy cập.

Tạo File Credential

Lưu credentials, tạo file .env với nội dung:

OPENAI_TOKEN=""
UPSTASH_REDIS_REST_URL=""
UPSTASH_REDIS_REST_TOKEN=""
UPSTASH_QSTASH_CURRENT_SIGNING_KEY=""
UPSTASH_QSTASH_NEXT_SIGNING_KEY=""

Các bước sau điền từng string rỗng.

Tạo OpenAI API Token

Bắt đầu với OpenAI API vì chỉ cần key cho API hiện có; không deploy gì.

Vào OpenAI web console nhấn "create new secret key". Đặt tên key, nhấn "Create secret key", copy key mới, dán vào .env làm value OPENAI_TOKEN.

Triển Khai Recurring Request Với QStash

Để QStash gửi request đến endpoint /generate hàng ngày, dùng "Request Builder". Tìm ở Upstash console. Hình 1 chi tiết config.

Tăng Hiệu Suất & Giảm Chi Phí: Cache Phản Hồi OpenAI API Với Upstash Redis

Hình 1: QStash Request Builder

Thay <HOSTNAME> bằng domain host server. Cần hostname công khai cho QStash hoạt động.

Signing keys QStash dùng ở Upstash console trong "Request Builder". Click dropdown "Singing Keys" màu xám, copy key dán đúng chỗ trong file .env.

Triển Khai Database Upstash Redis

Tạo database Upstash Redis, vào Upstash console nhấn "Create Database".

Dialog hiện ra điền config database. Hình 2 giá trị nên dùng.

Tăng Hiệu Suất & Giảm Chi Phí: Cache Phản Hồi OpenAI API Với Upstash Redis

Hình 2: Cấu Hình Upstash Redis

Sau khi tạo xong, cuộn xuống section "REST API", có hai nút "UPSTASH_REDIS_REST_URL" và "UPSTASH_REDIS_REST_TOKEN". Click từng nút copy credentials dán đúng chỗ trong .env.

Test Website

Test website local, tắt validation middleware QStash bằng cách un-comment dòng "// return next()" trong index.js.

Chạy server lệnh:

 $ node .

Mở route / trình duyệt, chỉ thấy "History Jokes for Every Day" vì chưa sinh joke.

Gửi POST request đến /generate sinh joke. Làm bằng lệnh:

 $ curl -X POST https://localhost/generate

Refresh trình duyệt, thấy joke như Hình 3.

Tăng Hiệu Suất & Giảm Chi Phí: Cache Phản Hồi OpenAI API Với Upstash Redis

Hình 3: Website joke

Joke này giờ cached trong Upstash Redis, nên không có request OpenAI API khi ai đó truy cập website. Cho response time sub-second đồng thời tiết kiệm tiền.

Tóm Tắt

AI API là công cụ đa năng sẽ biến đổi Internet như chúng ta biết, nhưng hiện tại chậm và đắt. Caching vital khi dùng API này, Upstash Redis là cách dễ nhất thêm vào stack chỉ với vài click.