Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Redis

Phát triển ứng dụng khôi phục ảnh sử dụng Replicate, Next.js và Upstash

Cho bài viết này, chúng ta sẽ làm một vài giả định trước khi tiếp tục, nhưng lý tưởng nhất bạn nên có:

  • Tài khoản Upstash với instance Redis đã tạo
  • Tài khoản Replicate với quyền truy cập API token
  • Dự án Next.js để triển khai chức năng mong muốn
  • Tài khoản Vercel để triển khai dự án

Đây là gì?

Bạn đã muốn bắt đầu dùng machine learning để tạo hình ảnh từ các mô hình có sẵn trên Replicate? Vâng, trong hướng dẫn này, chúng ta sẽ khám phá loạt mô hình hosted rộng của Replicate và Redis của Upstash. Không chỉ khám phá các mô hình này, chúng ta sẽ đi qua quy trình thiết lập một mô hình, và chạm đến cách bạn có thể dễ dàng cập nhật triển khai để dùng mô hình khác.

Trong hướng dẫn này, chúng ta sẽ bao gồm việc sử dụng mô hình Bringing Old Photos Back to Life của Microsoft, về cơ bản nhận ảnh cũ, chạy qua mô hình, và xuất ra phiên bản đã chỉnh sửa, và hy vọng là cải tiến của ảnh bạn.

Phát triển ứng dụng khôi phục ảnh sử dụng Replicate, Next.js và Upstash

Kiến trúc là gì?

Nếu bạn có kinh nghiệm React, bạn nên có thể xác định cách kiến trúc ứng dụng hoạt động chỉ bằng cách đọc codebase, nhưng để dễ dàng hơn chút, hoặc nếu bạn đơn giản thích xem tổng quan, có một cái được cung cấp bên dưới.

Phát triển ứng dụng khôi phục ảnh sử dụng Replicate, Next.js và Upstash

Tôi cần gì để bắt đầu?

Để bắt đầu, bạn當然 sẽ cần dự án Next.js. Điều này có thể làm theo hướng dẫn thiết lập Next.js ở đây, hoặc nếu bạn đã có setup sẵn, thì cũng ổn. Trong hướng dẫn này, chúng ta cũng dùng Tailwind CSS, nhưng bạn當然 có thể dùng bất kỳ thiết lập styling nào bạn thích.

Bây giờ chúng ta đã có dự án Next.js cơ bản, chúng ta có thể cài thư viện Redis của Upstash bằng lệnh:

npm install @upstash/redis

Tiếp theo, chúng ta sẽ muốn điền tệp .env.local với các khóa sau, trong đó Redis token có thể tìm thấy trong Upstash console, Replicate API token ở đây dưới tài khoản của bạn, và site URL của bạn sẽ là nơi bạn triển khai, nên trong trường hợp này sẽ là endpoint triển khai Vercel.

SITE_URL=https://your-project-url.vercel.app
REPLICATE_API_TOKEN=
UPSTASH_REDIS_REST_URL=
UPSTASH_REDIS_REST_TOKEN=

Thiết lập form frontend

Để bắt đầu, chúng ta sẽ cần form xử lý form, polling và hiển thị ảnh hoàn thành.

Tạo form khôi phục ảnh

File: pages/index.tsx

import { MouseEvent, RefObject, useRef, useState } from "react";
import Head from "next/head";
import useInterval from "../hooks/useInterval";
export default function Home() {
  const [restoring, setRestoring] = useState<boolean>(false);
  const [messageId, setMessageId] = useState<string | null>(null);
  const [prediction, setPrediction] = useState<any>({});
  const [outputImageUrl, setOutputImageUrl] = useState<string | null>(null);
  const imageUrlRef: RefObject<HTMLInputElement> = useRef(null);
  const hrRef: RefObject<HTMLInputElement> = useRef(null);
  const scratchRef: RefObject<HTMLInputElement> = useRef(null);
  useInterval(
    async () => {
      await fetch(`/api/poll?id=${messageId}`)
        .then((res: any) => res.json())
        .then((data: any) => {
          if (!data.output) {
            return;
          }
          setRestoring(false);
          setMessageId(null);
          setOutputImageUrl(data.output);
        })
        .catch((err: any) => console.error(err));
    },
    messageId ? 1000 : null,
  );
  async function restoreImage(e: any) {
    e.preventDefault();
    setRestoring(true);
    await fetch("/api/create", {
      method: "POST",
      body: JSON.stringify({
        image_url: imageUrlRef.current?.value,
        is_hr: hrRef.current?.value,
        has_scratches: scratchRef.current?.value,
      }),
      headers: {
        "Content-Type": "application/json",
      },
    })
      .then((res: Response) => res.json())
      .then((data: any) => {
        setMessageId(data.data.id);
        setPrediction(data.data);
      })
      .catch((err: Error) => console.error(err));
  }
  async function cancel(e: MouseEvent<HTMLButtonElement>) {
    e.preventDefault();
    await fetch("/api/cancel", {
      method: "POST",
      headers: {
        "Content-Type": "application/json",
      },
      body: JSON.stringify({ cancel_url: prediction.urls.cancel }),
    })
      .then((res: Response) => res.json())
      .then((data: any) => {
        setMessageId(null);
        setPrediction({});
        setRestoring(false);
      })
      .catch((err: Error) => console.error(err));
  }
  return (
    <>
      
        PhotoRescue
        
        
        
      
      

PhotoRescue

Restore your old photos to their former glory.

{outputImageUrl && (
Phát triển ứng dụng khôi phục ảnh sử dụng Replicate, Next.js và Upstash
)} {!outputImageUrl && (

Check this if the input image is a high resolution photo.

Check this if the input image has visible scratches over it.

{restoring && prediction && ( )}
)}
); }

Mặc định, component này hiển thị form cho phép người dùng nhập URL hình ảnh mà họ muốn khôi phục, và một vài tùy chọn đi kèm như ảnh có độ phân giải cao, hoặc ảnh có vết xước cần loại bỏ. Khi người dùng điền thông tin này và submit form, nó gửi yêu cầu POST đến /api/create cùng với dữ liệu form.

Khi yêu cầu này đã được gửi đến API và phản hồi đã được nhận với thông tin prediction đã được trả về, component chuyển sang trạng thái polling kiểm tra gửi yêu cầu GET đến /api/poll mỗi giây để kiểm tra xem prediction đã hoàn thành chưa. Khi yêu cầu polling trả về phản hồi thành công, cho biết Replicate đã gửi yêu cầu đến endpoint callback của chúng ta, chúng ta bây giờ sẽ có quyền truy cập vào output prediction.

Trong khi polling đang diễn ra, form hiển thị nút với tùy chọn hủy prediction. Khi nhấn, điều này gửi yêu cầu POST đến /api/cancel với cancel_url từ dữ liệu prediction chúng ta nhận được khi tạo ban đầu.

Triển khai polling sử dụng custom hook đặt tại hooks/useInterval.ts cho phép chúng ta dễ dàng và liền mạch làm việc với vòng đời component React, và cung cấp cách thuận tiện hơn để xử lý interval với callback trong bất kỳ component React nào. Bạn có thể đọc thêm về hook này ở đây và đây nếu bạn muốn tìm hiểu thêm chi tiết.

import { useEffect, useRef } from "react";
function useInterval(callback: () => void, delay: number | null) {
  const savedCallback = useRef(callback);
  useEffect(() => {
    savedCallback.current = callback;
  }, [callback]);
  useEffect(() => {
    if (!delay && delay !== 0) {
      return;
    }
    const id = setInterval(() => savedCallback.current(), delay);
    return () => clearInterval(id);
  }, [delay]);
}
export default useInterval;

Thiết lập API

Thiết lập API, gồm một vài tệp, là thứ cho phép chúng ta tạo và hủy prediction, poll để kiểm tra khi prediction hoàn thành, cũng như chỉ định callback Replicate sẽ dùng khi prediction hoàn thành ở phía của họ.

Tạo prediction ảnh

File: pages/api/create.ts

import type { NextApiRequest, NextApiResponse } from "next";
import fetch, { Response } from "node-fetch";
import redis from "../../lib/redis";
export default async function handler(
  req: NextApiRequest,
  res: NextApiResponse,
) {
  if (req.method !== "POST") {
    return res.status(400).json({ message: `Invalid request method: ${req.method}.`, });
  }
  const { image_url, is_hr, has_scratches }: any = req.body;
  await fetch("https://api.replicate.com/v1/predictions", {
    method: "POST",
    headers: {
      Authorization: `Token ${process.env.REPLICATE_API_TOKEN}`,
      "Content-Type": "application/json",
    },
    body: JSON.stringify({
      version: "c75db81db6cbd809d93cc3b7e7a088a351a3349c9fa02b6d393e35e0d51ba799",
      input: {
        image: image_url,
        HR: is_hr,
        with_scratch: has_scratches,
      },
      webhook_completed: `${process.env.SITE_URL}/api/callback`,
    }),
  })
    .then((res: Response) => res.json())
    .then(async (data: any) => {
      await redis.set(data.id, data);
      return res.status(202).json({ data: data });
    })
    .catch((error: Error) => {
      return res.status(500).json({ message: error.message });
    });
}

Cho endpoint create API, chúng ta trước tiên làm kiểm tra đơn giản đảm bảo phương thức yêu cầu đến là POST, và nếu không chúng ta sẽ trả về phản hồi 400 đơn giản. Chúng ta sau đó tiến hành gửi yêu cầu POST đến Replicate với Replicate API token. Body yêu cầu bao gồm tham số cho model version cho biết mô hình nào chúng ta gửi yêu cầu (tìm thấy dưới tab "API" trên mô hình bạn muốn dùng). Chúng ta cũng truyền các tham số liên quan đến mô hình với dữ liệu từ form frontend.

Khi yêu cầu đã được gửi, chúng ta dùng prediction id được trả về để lưu nó trong Redis, và trả về dữ liệu prediction cho frontend để dùng trong polling mục Redis cho đến khi nó bao gồm prediction hoàn thành.

Callback

File: pages/api/callback.ts

import type { NextApiRequest, NextApiResponse } from "next";
import redis from "../../lib/redis";
export default async function handler(
  req: NextApiRequest,
  res: NextApiResponse,
) {
  const { body }: any = req;
  try {
    await redis.set(body.id, body);
    return res.status(200).send(body);
  } catch (error) {
    return res.status(500).json({ error });
  }
}

Endpoint callback là nơi Replicate sẽ gửi yêu cầu POST để cho chúng ta biết xử lý prediction đã xong. Khi chúng ta nhận yêu cầu này, chúng ta lấy dữ liệu prediction từ body yêu cầu, và cập nhật mục Redis đã cho với dữ liệu prediction hoàn thành.

Polling

File: pages/api/poll.ts

import type { NextApiRequest, NextApiResponse } from "next";
import redis from "../../lib/redis";
export default async function handler(
  req: NextApiRequest,
  res: NextApiResponse,
) {
  const { id }: any = req.query;
  try {
    const data = await redis.get(id);
    if (!data) {
      return res
        .status(404)
        .json({ message: "Data for supplied ID not found" });
    }
    return res.status(200).json(data);
  } catch (error: any) {
    return res.status(500).json({ message: error.message });
  }
}

Cho thiết lập polling, chúng ta trích xuất id từ yêu cầu và sau đó thử truy xuất dữ liệu lưu trong Redis dưới định danh đó, và nếu không tìm thấy dữ liệu, chúng ta trả về phản hồi 404, nhưng nếu có dữ liệu, chúng ta trả về dữ liệu đó như một phần của phản hồi 200.

Hủy

File: pages/api/cancel.tsx

import type { NextApiRequest, NextApiResponse } from "next";
import fetch, { Response } from "node-fetch";
export default async function handler(
  req: NextApiRequest,
  res: NextApiResponse,
) {
  if (req.method !== "POST") {
    return res.status(400).json({ message: `Invalid request method: ${req.method}.`, });
  }
  const { cancel_url }: any = req.body;
  await fetch(cancel_url, {
    method: "POST",
    headers: {
      Authorization: `Token ${process.env.REPLICATE_API_TOKEN}`,
      "Content-Type": "application/json",
    },
  })
    .then((res: Response) => res.json())
    .then((data: any) => {
      return res.status(202).json({ data: data });
    })
    .catch((error: Error) => {
      return res.status(500).json({ message: error.message });
    });
}

Endpoint API hủy prediction đã bắt đầu khá đơn giản. Chúng ta đơn giản trích xuất cancel_url được truyền từ frontend mà chính nó đến từ prediction được lưu khi yêu cầu tạo được submit, và chúng ta đơn giản gửi yêu cầu POST đến endpoint đó, cùng với Replicate API token.

Libs

Cho libs, chúng ta sẽ tạo client Redis được dùng trong tracking

File: lib/redis.ts

import { Redis } from "@upstash/redis";
const redis = new Redis({
  url: process.env.UPSTASH_REDIS_REST_URL as string,
  token: process.env.UPSTASH_REDIS_REST_TOKEN as string,
});
export default redis;

Đối tượng này sẽ được dùng trong ứng dụng để lưu trữ và truy xuất dữ liệu khi polling, để chúng ta biết khi webhook completion từ Replicate đã xảy ra.

Kết luận

Replicate có nhiều mô hình có sẵn có thể dùng qua API. Với Vercel và Upstash, dễ dàng hơn bao giờ hết để tận dụng mô hình machine learning và triển khai ứng dụng web có thể sử dụng.

Nếu bạn muốn xem repository hoàn chỉnh, bạn có thể truy cập ở đây.

Phát triển thêm

Đây chỉ là ví dụ đơn giản dùng mô hình đơn giản với Replicate. Bằng cách đơn giản thay đổi tham số form và version trong API, bạn có thể dễ dàng chuyển sang mô hình khác miễn là bạn có Replicate API token linked, bạn sẽ có thể dùng bất kỳ mô hình có sẵn nào.

Bạn có thể khám phá tất cả mô hình có sẵn của Replicate ở đây, và khi bạn tìm thấy mô hình bạn muốn thử, bạn có thể nhấp tab "API" để xem cách dùng. Ở đây bạn cũng sẽ tìm thấy nút cho Python, cURL, Cog và Docker, cho phép bạn test mô hình, nhưng cũng hữu ích để biết tham số nào cần thiết, và chúng được gửi như thế nào.