Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Redis

Hệ thống phản ứng khẩn cấp Real-time: Tận dụng Upstash, Redis và QStash

Trong bài viết hôm nay chúng ta sẽ nói về cách bạn có thể tận dụng Upstash để lưu trữ và truy cập thông tin an toàn về bản đồ shelter của quốc gia dùng Redis, và cập nhật database realtime qua QStash.

Giới thiệu

Trong bối cảnh toàn cầu hiện tại, thiên tai và đe dọa quân sự ngày càng phổ biến. Cũng như nhu cầu số hóa trong lĩnh vực dịch vụ xã hội.

Đi từ hệ thống broadcast khẩn cấp như AMBER alerts đến app theo dõi COVID-19 và hệ thống SOS, chúng ta đã thấy nhiều công nghệ được dùng để phản ứng với bất kỳ kịch bản nguy hiểm nào ảnh hưởng đến quốc gia.

Bây giờ, chúng ta sẽ xem Redis và serverless workloads có thể đóng vai trò then chốt trong xây dựng hệ thống phản ứng khẩn cấp realtime giúp công dân tìm bunker gần nhất, cũng như thông tin cho họ về sức chứa, tính năng (như cơ sở cho người khuyết tật) và tài nguyên (nước, điện, thuốc v.v.) có sẵn.

Hệ thống phản ứng khẩn cấp Real-time: Tận dụng Upstash, Redis và QStash Courtesy of Project Cloud4

Tại sao serverless?

Khái niệm serverless đã được phổ biến trong giới dev vài năm gần đây. Chúng ta thấy sự gia tăng startup chọn kiến trúc này và cũng tăng adoption ở tập đoàn lớn.

Đặc biệt khi nói về state actors, môi trường phát triển nhanh và dịch vụ auto-managed có thể giảm đáng kể độ phức tạp và overhead xây dựng hệ thống phản ứng khẩn cấp. Chúng ta cũng phải xét hai yếu tố khác:

  1. Ngân sách: Nếu quốc gia không trải qua thảm họa, người quyết định có chấp nhận thanh toán cho compute power không dùng? Tôi nghi ngờ.
  2. Traffic spikes: Hãy tưởng tượng cảnh báo được kích hoạt và hàng triệu người truy cập web platform tìm shelter gần nhất. REST API sẽ xử lý tăng rps đột ngột này như thế nào? Thành phần realtime thiết yếu thì sao?

Tất cả câu hỏi khác nhau này có thể được trả lời bằng platform serverless thực sự như Upstash và Ably để power up server heavy-lifting auto-scale và chỉ charge cho tài nguyên bạn dùng.

Tại sao Redis?

Yêu cầu dữ liệu dự án bao gồm nhiều thao tác thuật toán phải thực hiện ở tốc độ cao nhất. Từ cấu trúc dữ liệu cơ bản đại diện cho thông tin shelter đến cách đơn giản sắp xếp shelter có sẵn tại vị trí theo tiêu chí khác nhau, Redis cho phép chúng ta duy trì sự linh hoạt của database NoSQL, đồng thời cung cấp nhiều hàm đơn giản hóa và tăng tốc phát triển.

Tại sao QStash?

Message queue truyền thống cung cấp cách vững chắc kiến trúc event-driven, nhưng có caveat: hầu hết chúng phụ thuộc hoàn toàn vào stateful protocols như AMPQ, nghĩa là không sẵn sàng dùng trong môi trường short-running như serverless functions.

QStash giải quyết vấn đề này bằng cách cho phép request qua HTTP, protocol stateless thường dùng trong môi trường đó. Kết hợp với webhook, chúng ta có thể tạo pipeline realtime cập nhật và lấy dữ liệu từ/vào database.

Yêu cầu

P.S.: Nếu bạn chỉ muốn xem samples, bỏ qua phần yêu cầu và setup. Chúng dành để chỉ chúng ta dùng gì và như thế nào.

Nếu bạn muốn tự xây dựng hệ thống này, bạn cần:

  • Tài khoản Upstash, từ đó tạo database Redis và dùng QStash endpoint hoặc topic;
  • Tài khoản Ably và webhook integration setup
  • Dự án Next.js;
  • Dịch vụ tunneling như ngrok nếu muốn proxy request local đến URL có sẵn internet;
  • Package manager hỗ trợ thư viện yêu cầu. Bài này dùng npm, nhưng không bắt buộc.

LƯU Ý: Bài viết cung cấp một số sample proof-of-concept cơ bản để demo dùng công nghệ nói trên trong kiến trúc ứng dụng. Code cho KHÔNG production-ready và được đơn giản hóa, rút gọn để đọc dễ hơn. Hãy thực hiện sửa đổi cần thiết nếu muốn deploy (exception handling, security, v.v.)

Thiết lập

Serverless functions

Chúng ta dùng Next.js edge API routes chạy serverless workload gần vị trí user.

Tạo dự án Next.js chạy npx create-next-app@latest <your-app-name> trong thư mục cha. Sau đó chạy npm run dev start dev server, npm run build tạo production bundle và npm run start start production server.

Next.js dùng node environment cho API routes mặc định. Chúng ta đổi được 2 cách:

  1. Cách per-route. Thêm export sau vào route mong muốn:
    export const config = { runtime: "experimental-edge", };
  2. Cách global. Để làm edge thành default runtime, thêm vào next.config.js:
    const nextConfig = {
      // ...
      experimental: { runtime: "experimental-edge", },
      // ...
    };

Upstash

Tạo Upstash provider theo hướng dẫn này.

Thiết lập route QStash-receiver, theo hướng dẫn này. Lưu ý Ably cung cấp 2 option encoding webhook message, JSON và MessagePack. Nếu muốn dùng cái trước, có thể cần dùng authorization header thay vì JWT để work cùng potential encryption compatibility problems. Cho đơn giản sẽ dùng JSON.

Ably

Cho chức năng realtime, dùng Ably protocols, mặc định WebSockets khi có thể. Bắt đầu theo hướng dẫn này và, vì dùng Next.js, có thể xem @ably-labs/react-hooks npm package.

Chúng ta cũng nên thiết lập webhook integration trỏ đến QStash URL, thêm header cần thiết.

Nếu đi production, cũng check authentication và security.

Tùy chọn: local tunneling

Làm theo hướng dẫn này bắt đầu với ngrok

Kiến trúc

Luồng

Để hiểu luồng ứng dụng, xem sơ đồ này (tạo với excalidraw.com):

Hệ thống phản ứng khẩn cấp Real-time: Tận dụng Upstash, Redis và QStash

Như bạn thấy chúng ta định nghĩa 2 loại user:

  1. Công dân, có thể truy cập info shelter hoặc location, và tuyên bố ý định đi bunker
  2. Admin, có thể sửa logistics data bunker và sửa availability (ví dụ: confirm người/gia đình đến location)

Chúng ta cố gắng làm dữ liệu realtime trong khi tách biệt frontend và backend càng nhiều càng tốt, dùng Ably channel giao tiếp với client và trigger webhook mỗi khi availability thay đổi.

Cũng, dùng Ably REST API publish message từ backend, vì không nên dùng stateful connection.

Dữ liệu

Hiện tại phải lưu 2 kiểu dữ liệu chính:

  • Thông tin shelter, dạng Redis hash với thuộc tính:

    • Tên key: country-city-number (ví dụ: RO-CJ-01)
    • Availability (ví dụ: 300)
    • Features (ví dụ: ["disabled persons special acces", "counseling"])
    • Resources:
      { resource: quantity, or resource: list ... }
      ví dụ:
      { "water": "200 liters", "medicine": ["insuline", ...] }
    • Electricity: yes/no
    • Heating: yes/no
    • Position: [longitude, latitude] hoặc
      { longitude: number, latitude: number }
    • _id: generate ngẫu nhiên
  • Thông tin location

    Mặc dù chúng ta có thể làm nested query tìm shelter cho location chỉ định, có thể ý tưởng tốt hơn lưu chúng như cấu trúc dữ liệu riêng để đơn giản và tối ưu query. Để làm vậy, dùng Redis set và đặt tên element <geographical-unit>-<name> (ví dụ: country-RO hoặc city-CJ). Cách này cũng ngăn trùng lặp

    ví dụ:

    city-CJ: ["RO-CJ-01", "RO-CJ-02", "RO-CJ-03"]

Nhưng vẫn còn vấn đề: làm sao phân biệt ý định công dân đi shelter và cập nhật occupancy thực tế do admin shelter confirm? Có 2 cách:

  1. Cập nhật liên tục key availability shelter: User tuyên bố ý định đến (một mình hoặc gia đình) => increment x; Admin thấy confirm không hợp lệ => decrement x (hoặc increment -x)

    Vấn đề: admin phải đóng vai nguồn sự thật và track location công dân; dữ liệu shelter không tin cậy ngay lập tức

  2. Tạo key string riêng tên shelter-"availability" (ví dụ: RO-CJ-01-availability) lưu giá trị realtime-updated. Cách này update realtime, giữ key availability hash làm nguồn sự thật.

    Lưu ý client sẽ fetch cả hash và string key, trình bày là actual availability và projected. Cách thay thế chỉ fetch string và revert về nguồn sự thật khi cần. Mặc dù giảm network load, admin vẫn cần verify data liên tục (như scenario 1) và, để thực sự fetch ít hơn, cần lưu key availability shelter riêng (nhớ, vẫn cần lấy info khác!).

Sắp xếp (Sorting)

Tận dụng kiểu dữ liệu Redis khác gọi là sorted set. Giả sử muốn sắp xếp bunker tại location theo availability, facilities hoặc resources: như đã nói, có thể nested query nhưng tốn time và data load lớn. Giải pháp tốt hơn: tạo sorted set cho mỗi tiêu chí filter (đặt tên <geographical-unit>-<name>-<criteria>, như city-CJ-availability hoặc country-RO-food)

ví dụ: city-B-availability

ScoreContent
200RO-B-02
100RO-B-01

Trong ví dụ, availability score tính là total seats - current occupation.

Ví dụ

Viết code cơ bản demo hành vi API và client

Endpoints

Chủ yếu cần:

  • Data endpoint phục vụ client thông tin yêu cầu
  • Endpoint tạo/cập nhật kiểu dữ liệu

Client

Sau khi track vị trí user, tự động connect channel "availability" và publish message nếu công dân định đi bunker.

Trước hết, kết nối từ /_app.js:

import { useEffect, useState } from "react";
import "../styles/globals.css";
import { configureAbly } from "@ably-labs/react-hooks";
export default function App({ Component, pageProps }) {
  const [loaded, setLoaded] = useState(false);
  useEffect(() => {
    configureAbly({
      // Production: dùng authentication key
      key: process.env.NEXT_PUBLIC_ABLY_API_KEY,
    });
    setLoaded(true);
  }, []);
  if (!loaded) return 
loading...
; return ; }

Sau đó connect channel trong component cần:

import { useChannel } from "@ably-labs/react-hooks";
export default function Test() {
  const [availability] = useChannel("availability", (msg) => {
    console.log(msg);
  });
  return <>;
}

Làm việc với database

Thêm dữ liệu mới

Thêm data vào Redis dùng HSET, SET và SADD

export default async (req) => {
  let data = await req.json();
  if (data.type === "shelter") {
    delete data.type;
    const { name: shelter, availability } = data;
    let shelterData = data;
    shelterData._id = Math.random()
      .toString(36)
      .replace(/[^a-z]+/g, "")
      .substring(0, 7);
    await redis.hset(shelter, shelterData);
    await redis.set(shelter + "-availability", availability);
    return new Response("ok");
  } else if (data.type === "location") {
    const { name: location, shelters } = data;
    await redis.sadd(location, ...shelters);
    return new Response("ok");
  }
};

Cập nhật dữ liệu hiện có

Ngoài UD (update-delete) cơ bản, dùng Redis INCRBY và HINCRBY sửa availability shelter.

Nếu công dân tuyên bố ý định đi bunker, publish message từ client app

availability.publish("update", {
  shelter: "RO-CJ-01",
  availability: 1, // Or -x, if user cancels.
});

Như giải thích trong kiến trúc, sẽ trigger webhook từ đó lấy data và cập nhật key shelter-"availability".

await redis.incrby(shelter + "-availability", value);

Nếu update từ server (ví dụ: admin confirm), đừng quên dùng REST API.

Truy xuất dữ liệu

Trên server, dùng GET, SMEMBERS và HGETALL.

Trên client, lắng nghe message trong channel và cập nhật state.

Tóm lại

Hôm nay xem cách tận dụng kiến trúc serverless mạnh mẽ xây dựng app tracking khẩn cấp thực tế. Mặc dù có nhiều cách làm, tôi khuyên dùng luồng này vì developer experience đơn giản.

Có thể bạn là senior dev quen xây distributed systems và cần managed service. Hoặc beginner có ý tưởng thay đổi thế giới tốt đẹp. Tìm công cụ đúng luôn phần thiết yếu.

Cho tôi biết suy nghĩ về bài viết, và nếu có câu hỏi thoải mái nhắn LinkedIn hoặc check code khác trên Github.