LangChain cung cấp interface đơn giản để thực hiện hội thoại giữa con người và AI. Nó dễ dàng cấu hình dùng BufferMemory, cho phép lưu lịch sử hội thoại trong bộ nhớ. Điều này có thể đủ cho một số use case, nhưng ứng dụng của bạn cũng có thể yêu cầu lưu trữ lâu dài lịch sử chat. May mắn thay, việc thay thế bằng instance Upstash Redis cũng đơn giản như vậy.
LangChain cung cấp nhiều tích hợp cho Redis, bao gồm ioredis, node-redis và Upstash Redis. Vì client Upstash Redis hoạt động qua REST, bạn có thể dùng nó tạo ứng dụng sẵn sàng cho edge, triển khai được trên Vercel, Cloudflare Workers, hoặc bất kỳ môi trường serverless nào. Chúng ta sẽ dùng nó tạo một chat app đơn giản với memory bền bỉ qua các session.
Bạn có thể tìm toàn bộ mã nguồn demo tại đây.
Yêu Cầu Tiên Quyết
- Database Upstash Redis
- API Key OpenAI
Bắt Đầu
Tạo Dự Án
Chúng ta sẽ xây dựng Next.js app cơ bản dùng Vercel AI SDK để demo LangChain với Upstash Redis. Để bắt đầu, tạo Next.js app mới:
npx create-next-app@latest
Điều này sẽ hỏi bạn chọn một vài tùy chọn dự án. Với hầu hết app, mặc định sẽ ổn. Cho demo này, hãy bật TypeScript và thư mục app.
Cài Đặt Dependencies
Sau khi tạo app, cài thêm một vài dependencies:
npm install ai langchain openai @upstash/redis
Mặc dù không bắt buộc, Vercel AI SDK giúp stream phản hồi từ OpenAI đến frontend Next.js dễ dàng hơn. Chúng ta chỉ cần dùng @upstash/redis tạo Redis client—LangChain lo phần còn lại.
Thiết Lập Biến Môi Trường
Cuối cùng, cần các biến môi trường từ yêu cầu tiên quyết. Đặt tên chính xác như mô tả, nếu không chúng sẽ không được đọc tự động! Thêm vào file .env ở root dự án mới:
UPSTASH_REDIS_REST_URL="https://********.upstash.io"
UPSTASH_REDIS_REST_TOKEN="********"
OPENAI_API_KEY="sk-********"
Tạo Chat Client Cơ Bản
Bạn sẽ thấy Next.js tạo nhiều file. Chúng ta chỉ làm việc với vài file trong thư mục app, nên xóa hết thứ hiện tại trong public và app.
Đầu tiên, tạo app/layout.tsx cơ bản chứa app:
import type { PropsWithChildren } from "react";
export default function RootLayout({ children }: PropsWithChildren) {
return (
<html lang="en">
<body>{children}</body>
</html>
);
}
Tiếp theo, cần form cơ bản với input nhận tin nhắn từ người dùng. Thêm vào app/page.tsx:
export default function Home() {
return (
<main>
<form>
<input placeholder="Enter a message..." />
<button type="submit">Send</button>
</form>
</main>
);
}

Vercel AI SDK export hook hữu ích useChat, giúp tạo UI truyền thống cho chat app rất dễ. Nó xử lý streaming tin nhắn chat và quản lý state input chat. Để dùng hook, cần báo cho React đây là client component bằng directive "use client" ở đầu file. Sau đó, destructure vài property từ hook useChat:
messageslà mảng tin nhắn đã gửi và nhận.inputlà giá trị hiện tại của input field.handleInputChangelà function cập nhật giá trị input.handleSubmitlà function gửi tin nhắn đến endpoint.
"use client";
import { useChat } from "ai/react";
export default function Home() {
const { messages, input, handleInputChange, handleSubmit } = useChat();
return (
<main>
<form onSubmit={handleSubmit}>
<input value={input} onChange={handleInputChange} placeholder="Enter a message..." />
<button type="submit">Send</button>
</form>
</main>
);
}
Bên trong, hook useChat tự động append input vào messages khi handleSubmit được gọi, trigger re-render nên không cần tự cập nhật UI. Nó cũng xóa input field và trigger API call đến endpoint chỉ định. Mặc định là /api/chat.
Cuối cùng, render messages phía trên form:
<main>
<section>
{messages.map((message) => (
<p key={message.id}>{message.content}</p>
))}
</section>
{/* snip */}
</main>
Tạo API Endpoint
Bắt đầu tạo file app/api/chat/route.ts chứa endpoint. Next.js dùng file-based routing cho API endpoints cũng như pages—đây là lý do cấu trúc thư mục file mới khớp với endpoint mặc định /api/chat từ trước.
Vì dùng Upstash Redis, endpoint tương thích edge. Chỉ định bằng cách export const runtime = "edge" từ endpoint. Trong endpoint, lấy field messages mà hook useChat điền cho chúng ta. Điều này cho phép truyền tin nhắn mới nhất đến LangChain:
import { type NextRequest } from "next/server";
import { LangChainStream, StreamingTextResponse } from "ai";
export const runtime = "edge";
export async function POST(req: NextRequest) {
const { messages } = await req.json();
const { stream, handlers } = LangChainStream();
const latestMessage = messages[messages.length - 1];
return new StreamingTextResponse(stream);
}
Giống useChat từ trước, LangChainStream cũng trả về vài property có thể destructure.
streamlàReadableStreamcuối cùng chứa kết quả quá trình LangChain.handlerslà object chứa callback function LLM có thể truyền cho LangChain.
Trước khi triển khai chain, import thêm vài class:
import { Redis } from "@upstash/redis";
import { ConversationChain } from "langchain/chains";
import { ChatOpenAI } from "langchain/chat_models/openai";
import { BufferMemory } from "langchain/memory";
import { UpstashRedisChatMessageHistory } from "langchain/stores/message/upstash_redis";
Bây giờ tạo Redis client và thiết lập memory cho chain. Ở đây, tạo ConversationChain gọi thay cho model. Đây là custom chain giúp duy trì hội thoại giữa con người và AI. Có thể truyền custom BaseMemory implementation cho chain, dùng để lưu và truy xuất tin nhắn. Trong trường hợp này, dùng BufferMemory với UpstashRedisChatMessageHistory lưu tin nhắn trong Upstash Redis:
// snip
const latestMessage = messages[messages.length - 1];
const memory = new BufferMemory({
chatHistory: new UpstashRedisChatMessageHistory({
sessionId: new Date().toLocaleDateString(),
client: Redis.fromEnv(),
}),
});
const model = new ChatOpenAI({
modelName: "gpt-3.5-turbo",
streaming: true,
});
const chain = new ConversationChain({ llm: model, memory });
// snip
Xây dựng Redis client mới dùng class Redis export từ @upstash/redis. Nó cung cấp method tiện lợi load biến môi trường tự động, phản ánh hành vi của ChatOpenAI. Miên bạn đặt tên biến môi trường đúng, không cần truyền thêm argument cho cả hai class.
Trong app của bạn, có thể muốn dùng user ID hoặc identifier duy nhất khác cho sessionId để đảm bảo tin nhắn không chia sẻ giữa user, nhưng demo dùng ngày hiện tại. UpstashRedisChatMessageHistory cung cấp thêm config như sessionTTL thiết lập lifetime của cache.
Quan trọng là bật streaming trên model, cho phép dùng object handlers destructure từ trước pipe kết quả chain vào stream. Cuối cùng, gọi chain, truyền tin nhắn mới nhất và object handlers:
// snip
const chain = new ConversationChain({ llm: model, memory });
chain.call({ input: latestMessage.content, callbacks: [handlers] });
return new StreamingTextResponse(stream);
// snip
Object latestMessage từ trước dùng làm prompt cho LLM. Cũng truyền object handlers cho chain, dùng để pipe kết quả vào stream.
Kết Luận
Xong! Bây giờ chạy app với npm run dev và bắt đầu chat với AI. Phản hồi tự động stream về client tạo trước, và lịch sử hội thoại lưu trong Upstash Redis.

