Nếu bạn dùng OpenAI API, có thể nhận ra nó khá chậm và đôi khi không phản hồi. Đặc biệt model GPT-4 hay bị độ trễ cao. Ngoài ra, bạn trả tiền cho mỗi câu trả lời. Đó là lý do tránh phục vụ phản hồi trực tiếp.
Bạn có thể lưu phản hồi trong Upstash Redis để vượt qua vấn đề này. Nếu phục vụ cùng phản hồi cho nhiều client, điều này tiết kiệm khá nhiều tiền, và với triển khai toàn cầu, user nhận info nhanh nhất có thể.
Bài viết hướng dẫn cache phản hồi OpenAI API vào database Upstash Redis.
Tính Năng
Xây dựng web app hiển thị danh sách joke lịch sử cho visitor.
- Truy vấn OpenAI API hàng ngày lấy joke lịch sử liên quan đến ngày hiện tại
- Cache joke để phục vụ sau
- Hiển thị tất cả joke
Công Nghệ
Dùng các công nghệ sau xây dựng app:
- Node.js làm HTTP server
- OpenAI API sinh joke lịch sử
- Upstash QStash trigger request joke mới từ HTTP server đến OpenAI API
- Upstash Redis lưu joke cho dùng sau
Yêu Cầu Tiên Quyết
- Tài khoản OpenAI có API access để truy cập AI
- Tài khoản Upstash gửi request đến OpenAI API và cache phản hồi AI trong Upstash Redis
- Cài đặt Node.js gọi OpenAI và Upstash APIs
Triển Khai
Bắt đầu tạo HTTP server fetch joke, lưu Upstash Redis, hiển thị cho visitor.
Thiết Lập Dự Án
Trước hết, tạo Node.js project mới cài dependencies.
$ mkdir history-jokes & cd history-jokes
$ npm init -y
$ npm i dotenv express axios @upstash/redis @upstash/qstash
Triển Khai Server
Tạo file index.js copy code sau:
require("dotenv").config();
const axios = require("axios");
const express = require("express");
const { Redis } = require("@upstash/redis");
const { Receiver } = require("@upstash/qstash");
const redisClient = new Redis({
url: process.env.UPSTASH_REDIS_URL,
token: process.env.UPSTASH_REDIS_TOKEN,
});
const qstashReceiver = new Receiver({
currentSigningKey: process.env.UPSTASH_QSTASH_CURRENT_SIGNING_KEY,
nextSigningKey: process.env.UPSTASH_QSTASH_CURRENT_NEXT_KEY,
});
const openaiApiClient = axios.create({
baseURL: "https://api.openai.com/v1",
headers: {
Authorization: "Bearer " + process.env.OPENAI_TOKEN,
"Content-Type": "application/json",
},
});
const server = express();
server.use("/generate", async (request, response, next) => {
// return next()
let validRequest = false;
try {
validRequest = await qstashReceiver.verify({
signature: request.headers["upstash-signature"],
body: "",
});
} catch (e) {}
if (!validRequest) return response.status(403).end("Forbidden");
return next();
});
server.post("/generate", async (_request, response) => {
const today = new Date();
const month = today.toLocaleString("default", { month: "long" });
let day = today.toLocaleString("default", { day: "numeric" });
day = day == 1 ? "1st" : day == 2 ? "2nd" : day == "3" ? "3rd" : day + "th";
const { data } = await openaiApiClient.post("/chat/completions", {
model: "gpt-3.5-turbo",
messages: [
{ role: "system", content: "You are a comedian that tells short history jokes." },
{ role: "user", content: `Please tell me a joke for ${month} the ${day}.` },
],
});
const joke = JSON.stringify({ date: month + " the " + day, text: data.choices[0].message.content });
await redisClient.lpush("jokes", joke);
response.end();
});
server.get("/", async (_request, response) => {
let html = "<h1>History Jokes for Every Day</h1>";
const jokes = await redisClient.lrange("jokes", 0, -1);
html += "<ul>" + jokes
.map(({ date, text }) => `<li><b>${date}</b><br><pre>${text}</pre></li>`)
.join("") + "</ul>";
response.setHeader("Content-Type", "text/html");
response.end(html);
});
server.listen(3000);
Đi qua phần quan trọng của code.
Dùng redisClient lưu phản hồi vào Upstash Redis và load để hiển thị.
qstashReceiver verify cuộc gọi hàng ngày từ Upstash QStash; đảm bảo chỉ QStash gọi endpoint /generate.
Dùng Axios tạo client OpenAI API, không phải truyền baseUrl và Authentication header mỗi lần gọi API.
Tiếp, tạo Express middleware dùng qstashReceiver verify tất cả request đến /generate. Vì chỉ dùng QStash trigger endpoint không truyền giá trị, dùng empty string làm body.
Lưu ý: Middleware cho phép tất cả request nếu un-comment dòng "// return next()". Dùng để test endpoint /generate trên localhost.
Endpoint /generate lắng nghe POST request tạo và lưu joke thực tế. Tính month và day hiện tại dùng tạo hai prompt cho AI. Một bảo AI hành xử như comedian, hai nhờ kể joke lịch sử về tháng và ngày hiện tại.
Gọi OpenAI API với prompt, lưu kết quả vào LIST trong Upstash Redis.
Endpoint / lắng nghe GET request hiển thị joke đã lưu. Load LIST từ Upstash Redis, format thành HTML list element, gửi cho client.
Triển Khai
Server đã setup, tạo cloud resource và điền API credentials truy cập.
Tạo File Credential
Lưu credentials, tạo file .env với nội dung:
OPENAI_TOKEN=""
UPSTASH_REDIS_REST_URL=""
UPSTASH_REDIS_REST_TOKEN=""
UPSTASH_QSTASH_CURRENT_SIGNING_KEY=""
UPSTASH_QSTASH_NEXT_SIGNING_KEY=""
Các bước sau điền từng string rỗng.
Tạo OpenAI API Token
Bắt đầu với OpenAI API vì chỉ cần key cho API hiện có; không deploy gì.
Vào OpenAI web console nhấn "create new secret key". Đặt tên key, nhấn "Create secret key", copy key mới, dán vào .env làm value OPENAI_TOKEN.
Triển Khai Recurring Request Với QStash
Để QStash gửi request đến endpoint /generate hàng ngày, dùng "Request Builder". Tìm ở Upstash console. Hình 1 chi tiết config.

Hình 1: QStash Request Builder
Thay <HOSTNAME> bằng domain host server. Cần hostname công khai cho QStash hoạt động.
Signing keys QStash dùng ở Upstash console trong "Request Builder". Click dropdown "Singing Keys" màu xám, copy key dán đúng chỗ trong file .env.
Triển Khai Database Upstash Redis
Tạo database Upstash Redis, vào Upstash console nhấn "Create Database".
Dialog hiện ra điền config database. Hình 2 giá trị nên dùng.

Hình 2: Cấu Hình Upstash Redis
Sau khi tạo xong, cuộn xuống section "REST API", có hai nút "UPSTASH_REDIS_REST_URL" và "UPSTASH_REDIS_REST_TOKEN". Click từng nút copy credentials dán đúng chỗ trong .env.
Test Website
Test website local, tắt validation middleware QStash bằng cách un-comment dòng "// return next()" trong index.js.
Chạy server lệnh:
$ node .
Mở route / trình duyệt, chỉ thấy "History Jokes for Every Day" vì chưa sinh joke.
Gửi POST request đến /generate sinh joke. Làm bằng lệnh:
$ curl -X POST https://localhost/generate
Refresh trình duyệt, thấy joke như Hình 3.

Hình 3: Website joke
Joke này giờ cached trong Upstash Redis, nên không có request OpenAI API khi ai đó truy cập website. Cho response time sub-second đồng thời tiết kiệm tiền.
Tóm Tắt
AI API là công cụ đa năng sẽ biến đổi Internet như chúng ta biết, nhưng hiện tại chậm và đắt. Caching vital khi dùng API này, Upstash Redis là cách dễ nhất thêm vào stack chỉ với vài click.