Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Redis

Tạo ứng dụng Caption Ảnh bằng AI với Next.js, Replicate và Redis

Với AI ngày càng dễ tiếp cận, các công ty như Replicate đã làm cho việc tích hợp các mô hình machine learning vào dự án trở nên liền mạch.

Trong bài viết này, tôi sẽ thảo luận về cách tôi xây dựng CaptionAI, một ứng dụng web cho phép người dùng tải lên hình ảnh và nhận chú thích văn bản được tạo bởi AI. Tôi xây dựng dự án này bằng template Vercel này. Cũng có video này giải thích cách dự án được xây dựng.

Tạo ứng dụng Caption Ảnh bằng AI với Next.js, Replicate và Redis

Công nghệ sử dụng

  • Next.js 13 (Front-end và Back-end)
  • Upstash Redis (Rate Limiting)
  • Replicate (Machine Learning API)
  • Tailwind CSS (Styling)
  • Vercel (Deployment)

Điều bạn cần

  • Tài khoản Upstash để tạo cơ sở dữ liệu
  • Tài khoản Replicate để truy cập Machine Learning API

Thiết lập Upstash Redis

Khi bạn đã tạo tài khoản Upstash và đăng nhập, bạn sẽ vào tab Redis và tạo cơ sở dữ liệu.

Tạo ứng dụng Caption Ảnh bằng AI với Next.js, Replicate và Redis

Tạo ứng dụng Caption Ảnh bằng AI với Next.js, Replicate và Redis

Sau khi bạn đã tạo cơ sở dữ liệu, bạn sẽ vào tab Details. Cuộn xuống cho đến khi tìm thấy phần REST API và chọn nút .env. Sao chép nội dung và lưu ở nơi an toàn.

Tạo ứng dụng Caption Ảnh bằng AI với Next.js, Replicate và Redis

Thiết lập Replicate

Khi bạn đã tạo tài khoản Replicate và đăng nhập, bạn sẽ vào tab Account và lưu API token ở nơi an toàn.

*Lưu ý: Bạn có thể sử dụng Replicate miễn phí, nhưng sau một thời gian bạn sẽ được yêu cầu nhập thẻ tín dụng. Giá cả thay đổi tùy thuộc vào mô hình bạn sử dụng. Mô hình chúng ta đang sử dụng, salesforce/blip, tốn khoảng $0.00042 mỗi lần chạy.

Tạo ứng dụng Caption Ảnh bằng AI với Next.js, Replicate và Redis

Thiết lập dự án

Thay vì tạo dự án từ đầu, bạn có thể clone repository từ GitHub.

Khi bạn đã clone repo, bạn sẽ tạo tệp .env. Sao chép thông tin từ tệp .example.env vào tệp .env. Khi bạn đã sao chép xong, bạn sẽ thêm các mục chúng ta đã lưu từ các phần trên.

Nó nên trông giống như thế này:

// .env
REPLICATE_API_KEY="your_replicate_api_key_from_above"
// Optional, if you're doing rate limiting
UPSTASH_REDIS_REST_URL="your_upstash_redis_rest__url_from_above"
UPSTASH_REDIS_REST_TOKEN="your_upstash_redis_rest__token_from_above"

Khi bạn đã bao gồm thông tin này, bạn nên có thể chạy dự án bằng cách nhập các lệnh sau vào terminal:

npm install
npm run dev

Cấu trúc Repository

Đây là cấu trúc thư mục chính cho dự án. Tôi đã khoanh đỏ các tệp sẽ được thảo luận thêm trong bài viết này liên quan đến tải lên hình ảnh, rate limiting và triển khai BLIP ML API.

Tạo ứng dụng Caption Ảnh bằng AI với Next.js, Replicate và Redis

Luồng dữ liệu cấp cao

Đây là sơ đồ cấp cao về cách dữ liệu đang chảy. Đầu vào của chúng ta, hình ảnh do người dùng tải lên, đi qua Upload Component, đến backend để xử lý BLIP ML API và sau đó hiển thị văn bản phản hồi trong UI.

Tạo ứng dụng Caption Ảnh bằng AI với Next.js, Replicate và Redis

Tạo instance Redis

Bên trong dự án, chúng ta sẽ thiết lập client upstash redis của mình mà chúng ta có thể tham chiếu khắp dự án khi cần thiết.

// `/utils/redis.ts`
import { Redis } from "@upstash/redis";
const redis = !!process.env.UPSTASH_REDIS_REST_URL && !!process.env.UPSTASH_REDIS_REST_TOKEN
  ? new Redis({
      url: process.env.UPSTASH_REDIS_REST_URL,
      token: process.env.UPSTASH_REDIS_REST_TOKEN,
    })
  : undefined;
export default redis;

Đoạn mã này nhập module Redis từ gói "@upstash/redis" và tạo một instance Redis mới. Instance được tạo có điều kiện dựa trên sự hiện diện của hai biến môi trường, UPSTASH_REDIS_REST_URL và UPSTASH_REDIS_REST_TOKEN.

Nếu cả hai biến đều được định nghĩa, một instance Redis mới được tạo với URL và token đã chỉ định. Nếu một trong hai hoặc cả hai biến đều chưa được định nghĩa, biến redis được đặt thành undefined. Cuối cùng, biến redis được xuất từ module để sử dụng trong các phần khác của ứng dụng.

Tải lên hình ảnh

// `/pages/captions.tsx`
const uploader = Uploader({
  apiKey: !!process.env.NEXT_PUBLIC_UPLOAD_API_KEY ? process.env.NEXT_PUBLIC_UPLOAD_API_KEY : "free",
});
const options = {
  maxFileCount: 1,
  mimeTypes: ["image/jpeg", "image/png", "image/jpg"],
  editor: {
    images: {
      crop: false
    }
  },
  styles: {
    colors: {
      primary: "#5a5cd1",
      error: "#d23f4d",
      shade100: "#fff",
      shade200: "#fffe",
      shade300: "#fffd",
      shade400: "#fffc",
      shade500: "#fff9",
      shade600: "#fff7",
      shade700: "#fff2",
      shade800: "#fff1",
      shade900: "#ffff",
    },
  },
  onValidate: async (file: File): Promise<undefined | string> => {
    let isSafe = false;
    try {
      isSafe = await NSFWPredictor.isSafeImg(file);
      if (!isSafe) va.track("NSFW Image blocked");
    } catch (error) {
      console.error("NSFW predictor threw an error", error);
    }
    return isSafe ? undefined : "Detected a NSFW image which is not allowed. If this was a mistake, please contact me at hosna.qasmei@gmail.com";
  },
};

Mã này đặt các tùy chọn cấu hình cho component uploader. Uploader được tạo bằng hàm Uploader() và các tùy chọn được truyền dưới dạng đối tượng cho nó.

Tùy chọn cấu hình đầu tiên là apiKey được dùng để xác thực với dịch vụ uploader. Giá trị của apiKey được xác định dựa trên việc biến môi trường NEXT_PUBLIC_UPLOAD_API_KEY có được đặt hay không. Nếu được đặt, giá trị của biến môi trường được sử dụng, nếu không, giá trị "free" được sử dụng.

Đối tượng options chứa các tùy chọn khác nhau cho uploader. Chúng bao gồm:

  • maxFileCount: Đặt số lượng tệp tối đa có thể tải lên cùng lúc thành 1.
  • mimeTypes: Đặt các loại MIME được phép cho tệp tải lên thành "image/jpeg", "image/png" và "image/jpg".
  • editor: Cấu hình tùy chọn cho trình soạn thảo hình ảnh, bị vô hiệu hóa trong trường hợp này bằng cách đặt crop thành false.
  • styles: Định nghĩa các kiểu tùy chỉnh cho UI uploader.
  • onValidate: Định nghĩa một hàm được gọi để xác thực từng tệp trước khi tải lên. Trong trường hợp này, hàm sử dụng NSFWPredictor để kiểm tra xem hình ảnh có an toàn cho công việc không. Nếu hình ảnh không an toàn, một thông báo lỗi được trả về cho biết hình ảnh không được phép.
// `/pages/captions.tsx` continued
const Home: NextPage = () => {
  const [originalPhoto, setOriginalPhoto] = useState<string | null>(null);
  const [caption, setCaption] = useState<string | null>(null);
  const [buttonText, setButtonText] = useState("Copy");
  const [loading, setLoading] = useState<boolean>(false);
  const [error, setError] = useState<string | null>(null);
  const copyToClipboard = () => {
    navigator.clipboard.writeText(caption!);
    setButtonText("Copied!");
    setTimeout(() => {
      setButtonText("Copy");
    }, 2000);
  };
  const UploadDropZone = () => (
    <UploadDropzone uploader={uploader} options={options}
      onUpdate={(file) => {
        if (file.length !== 0) {
          setOriginalPhoto(file[0].fileUrl.replace("raw", "thumbnail"));
          generateCaption(file[0].fileUrl.replace("raw", "thumbnail"));
        }
      }}
      width="670px" height="250px"
    />
  );
  async function generateCaption(fileUrl: string) {
    await new Promise((resolve) => setTimeout(resolve, 500));
    setLoading(true);
    const res = await fetch("/api/generate", {
      method: "POST",
      headers: {
        "Content-Type": "application/json",
      },
      body: JSON.stringify({ imageUrl: fileUrl }),
    });
    let newCaption = await res.json();
    if (res.status !== 200) {
      setError(newCaption);
    } else {
      setCaption(newCaption);
    }
    setLoading(false);
  }
  ...

Có một số biến state được định nghĩa với hook useState.

  • originalPhoto là một chuỗi đại diện cho URL của hình ảnh đã tải lên.
  • caption là một chuỗi chứa chú thích được tạo cho hình ảnh đã tải lên.
  • buttonText là một chuỗi đại diện cho văn bản trên nút sao chép.
  • loading là boolean chỉ ra xem component có đang tải dữ liệu hay không.
  • error là một chuỗi chứa thông báo lỗi nếu có lỗi trong quá trình tạo chú thích.

Component có một hàm gọi là copyToClipboard, sử dụng phương thức navigator.clipboard.writeText để sao chép biến caption vào clipboard. Khi văn bản được sao chép, nó thay đổi biến buttonText thành "Copied!" trong hai giây trước khi đặt lại thành "Copy".

Cũng có một sub-component gọi là UploadDropZone hiển thị một instance của component UploadDropzone với uploader và options đã chỉ định. Callback onUpdate được sử dụng để cập nhật biến originalPhoto và caption với URL của hình ảnh đã tải lên và chú thích được tạo.

Cuối cùng, có một hàm bất đồng bộ tên là generateCaption nhận tham số fileUrl, là URL của hình ảnh đã tải lên. Nó sử dụng fetch để gọi endpoint /api/generate với yêu cầu POST và truyền fileUrl làm payload JSON. Phản hồi sau đó được parse thành JSON và thiết lập caption hoặc biến error, tùy thuộc vào việc phản hồi có thành công hay không. Biến loading cũng được cập nhật để chỉ ra xem yêu cầu có còn đang进行 hay không. Hàm cũng bao gồm độ trễ 500ms bằng hàm setTimeout để tránh vượt quá giới hạn tốc độ API.

Rate Limiting

// `/pages/api/generate.ts`
import redis from "../../utils/redis";
import requestIp from "request-ip";
import { Ratelimit } from "@upstash/ratelimit";
import type { NextApiRequest, NextApiResponse } from "next";
type Data = string;
interface ExtendedNextApiRequest extends NextApiRequest {
  body: { imageUrl: string; };
}
// Create a new ratelimiter, that allows 3 requests every 15 minutes
const ratelimit = redis ? new Ratelimit({
  redis: redis,
  limiter: Ratelimit.fixedWindow(5, "1440 m"),
  analytics: true,
}) : undefined;
...

Mã này nhập các module và kiểu cần thiết để tạo endpoint API trong Next.js, cũng như client cơ sở dữ liệu Upstash Redis và thư viện rate limiter gọi là "@upstash/ratelimit".

Hằng số ratelimit tạo một instance mới của lớp Ratelimit, tạo ra rate limiter cửa sổ cố định cho phép 5 yêu cầu mỗi 1440 phút (24 giờ). Thuộc tính redis được truyền làm tham số cho constructor Ratelimit để bật rate limiting trên nhiều instance của ứng dụng. Nếu redis là undefined (ví dụ: nếu cơ sở dữ liệu Redis không được cấu hình), ratelimit cũng được đặt thành undefined. Điều này có nghĩa là rate limiting sẽ không được áp dụng nếu Redis không có sẵn.

// `/pages/api/generate.ts` continued
export default async function handler(
  req: ExtendedNextApiRequest,
  res: NextApiResponse<Data>
) {
  // Rate Limiter Code
  if (ratelimit) {
    const identifier = requestIp.getClientIp(req);
    const result = await ratelimit.limit(identifier!);
    res.setHeader("X-RateLimit-Limit", result.limit);
    res.setHeader("X-RateLimit-Remaining", result.remaining);
    if (!result.success) {
      res
        .status(429)
        .json("Too many uploads in 1 day. Please try again after 24 hours.");
      return;
    }
  }
  ...

Khối mã này là một phần của hàm xử lý API giới hạn tốc độ yêu cầu mà client có thể thực hiện đến API. Nó trước tiên kiểm tra xem instance rate limiter có sẵn không và nếu có, trích xuất địa chỉ IP của client bằng gói request-ip và truyền nó cho phương thức ratelimit.limit. Phương thức này trả về một đối tượng chứa số lượng yêu cầu còn lại trong khung thời gian chỉ định và xem yêu cầu có thành công hay không.

Nếu yêu cầu thành công, header X-RateLimit-Limit và X-RateLimit-Remaining được đặt trong phản hồi. Nếu giới hạn yêu cầu đã bị vượt quá, mã trạng thái 429 và thông báo lỗi được gửi trong phản hồi, và hàm trả về sớm để ngăn chặn thực thi thêm.

BLIP ML API

// `/pages/api/generate.ts` continued
const imageUrl = req.body.imageUrl;
let startResponse = await fetch("https://api.replicate.com/v1/predictions", {
  method: "POST",
  headers: {
    "Content-Type": "application/json",
    Authorization: "Token " + process.env.REPLICATE_API_KEY,
  },
  body: JSON.stringify({
    version: "2e1dddc8621f72155f24cf2e0adbde548458d3cab9f00c0139eea840d0ac4746",
    input: {
      image: imageUrl,
      task: "image_captioning",
    },
  }),
});
...

Phần mã này lấy imageUrl từ body yêu cầu và gửi yêu cầu POST đến endpoint "https://api.replicate.com/v1/predictions" để lấy chú thích hình ảnh sử dụng tác vụ image_captioning. Yêu cầu bao gồm header Authorization chứa khóa API Replicate để xác thực, và header Content-Type được đặt thành "application/json". Phản hồi từ API được parse thành JSON, và endpointUrl được trích xuất từ đối tượng jsonStartResponse.

Bạn có thể tìm thấy số phiên bản của mô hình bằng cách chọn mô hình bạn muốn sử dụng.

Tạo ứng dụng Caption Ảnh bằng AI với Next.js, Replicate và Redis

Chọn tab API.

Tạo ứng dụng Caption Ảnh bằng AI với Next.js, Replicate và Redis

Cuộn xuống cho đến khi số phiên bản hiện ra, được khoanh đỏ. Và được khoanh xanh là các tham số đầu vào bạn có thể sử dụng.

Tạo ứng dụng Caption Ảnh bằng AI với Next.js, Replicate và Redis

// `/pages/api/generate.ts` continued
let jsonStartResponse = await startResponse.json();
let endpointUrl = jsonStartResponse.urls.get;
// GET request to get the status of the image restoration process & return the result when it's ready
let caption: string | null = null;
while (!caption) {
  // Loop in 1s intervals until the alt text is ready
  console.log("polling for result...");
  let finalResponse = await fetch(endpointUrl, {
    method: "GET",
    headers: {
      "Content-Type": "application/json",
      Authorization: "Token " + process.env.REPLICATE_API_KEY,
    },
  });
  let jsonFinalResponse = await finalResponse.json();
  if (jsonFinalResponse.status === "succeeded") {
    caption = jsonFinalResponse.output;
  } else if (jsonFinalResponse.status === "failed") {
    break;
  } else {
    await new Promise((resolve) => setTimeout(resolve, 1000));
  }
}
res.status(200).json(caption ? caption : "Failed to generate caption");
}

Tiếp theo, một vòng lặp while được sử dụng để poll endpointUrl ở khoảng cách 1 giây cho đến khi caption sẵn sàng. Vòng lặp gửi yêu cầu GET đến endpointUrl với cùng các header Authorization và Content-Type, và phản hồi cũng được parse thành JSON. Nếu status trong đối tượng jsonFinalResponse là "succeeded", caption được trích xuất từ thuộc tính output. Nếu status là "failed", vòng lặp bị chấm dứt. Nếu status không phải "succeeded" cũng không phải "failed", vòng lặp chờ 1 giây bằng phương thức setTimeout trước khi poll lại.

Cuối cùng, caption được trả về dưới dạng phản hồi JSON với mã trạng thái 200 nếu nó không null, ngược lại, phản hồi với thông báo "Failed to generate caption" được trả về với mã trạng thái 200.

Kết luận

Tóm lại, dự án này đã cung cấp kinh nghiệm quý báu trong việc triển khai tải lên hình ảnh, rate limiting và tích hợp machine learning APIs. Bằng cách hoàn thành thành công dự án này, chúng ta đã có hiểu biết tốt hơn về các công nghệ này và cách chúng có thể được sử dụng để tạo ra các dự án nâng cao hơn trong tương lai.