Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Redis

Ngăn chặn rò rỉ dữ liệu với Vercel Edge Functions & Upstash Redis để lọc an toàn, độ trễ thấp

Rò rỉ dữ liệu là một vấn đề lớn trên internet. Theo Statista, hơn 400 triệu người bị ảnh hưởng bởi rò rỉ dữ liệu chỉ trong năm 2022. Không ai muốn dữ liệu của mình bị rò rỉ khắp internet, vì vậy việc xây dựng các ứng dụng an toàn tôn trọng quyền riêng tư của người dùng là rất quan trọng trong nhiều ngành.

Một cách để chống lại rò rỉ là lọc dữ liệu có vấn đề trước khi phân phối nó đến các dịch vụ hoặc người dùng khác. Phương pháp này đòi hỏi các bộ lọc cập nhật để đảm bảo dữ liệu không lọt qua và cơ sở hạ tầng độ trễ thấp, để giữ tác động hiệu suất của việc lọc càng nhỏ càng tốt.

Upstash for Redis® và Vercel Edge Functions hình thành một đội ngũ mạnh mẽ có thể giải quyết vấn đề này trong khi đáp ứng cả hai yêu cầu. Cả hai giải pháp serverless độ trễ thấp này có thể được triển khai gần người dùng của chúng ta. Với tính năng cron mới của Vercel, chúng ta có thể đảm bảo dữ liệu bộ lọc được cập nhật thường xuyên.

Để minh họa cách bộ lọc như vậy có thể hoạt động, chúng ta sẽ xây dựng một frontend và backend tận dụng công nghệ serverless edge này để lọc từ tục.

Tính năng

Ứng dụng sẽ sử dụng tính năng cron của Vercel để cập nhật cơ sở dữ liệu Upstash for Redis với các từ hiện tại từ một API từ xa.

Chúng ta sẽ có ba cách lấy dữ liệu:

  1. Trả về trang web với văn bản đã lọc.
  2. Trả về JSON với văn bản đã lọc từ kho dữ liệu.
  3. Chấp nhận văn bản và trả về JSON với văn bản đã lọc.

Công nghệ

Chúng ta sẽ xây dựng ứng dụng với Next.js và triển khai nó trên Vercel; như vậy, chúng ta sẽ có trải nghiệm phát triển serverless liền mạch khi sử dụng edge functions.

Chúng ta sẽ sử dụng Upstash for Redis® làm kho dữ liệu vì độ trễ thấp và dễ sử dụng.

Cả hai dịch vụ đều có cấp miễn phí và định giá theo nhu cầu.

Điều kiện tiên quyết

Chúng ta cần tài khoản cho các dịch vụ:

  • GitHub để tải code của chúng ta lên để Vercel có thể tải xuống và triển khai
  • Vercel để lưu trữ ứng dụng của chúng ta, với trang chủ và edge functions
  • Upstash để lưu trữ danh sách từ chúng ta muốn lọc

Triển khai

Để bắt đầu, chúng ta tạo một repository GitHub mới và đảm bảo. Chúng ta kiểm tra "Add a README file," để nó không trống. Vì repository không trống, GitHub cho phép chúng ta bắt đầu Codespace cho nó, nó được cấu hình sẵn với Node.js và kết nối Git-to-GitHub.

Ngăn chặn rò rỉ dữ liệu với Vercel Edge Functions & Upstash Redis để lọc an toàn, độ trễ thấp Hình 1: Khởi động Codespace

Trước tiên, chúng ta cần tạo một dự án Next.js mới và cài đặt client Upstash Redis với các lệnh sau:

$ npx create-next-app@latest --typescript
$ npm i @upstash/redis

Triển khai hàm Refresh

Tính năng đầu tiên chúng ta sẽ triển khai là hàm sẽ làm mới danh sách từ xấu của chúng ta. Để làm vậy, tạo tệp mới tại pages/api/refresh-list.ts với nội dung sau:

Tệp pages/api/refresh-list.ts:

import { Redis } from "@upstash/redis";
export const config = {
  runtime: "edge"
};
const redisClient = new Redis({
  url: process.env.UPSTASH_REDIS_URL,
  token: process.env.UPSTASH_REDIS_TOKEN,
});
export default async function handler() {
  const wordResponse = await fetch(
    "https://raw.githubusercontent.com/kay-is/List-of-Dirty-Naughty-Obscene-and-Otherwise-Bad-Words/master/en",
  );
  const words = await wordResponse.text();
  const redisCommands = redisClient.pipeline();
  words
    .trim()
    .split("\n")
    .forEach((word) => redisCommands.sadd("words", word));
  await redisCommands.exec();
}

Chúng ta bắt đầu bằng cách cấu hình hàm để chạy trên edge. Điều này không thiết yếu ở đây vì hàm này sẽ chạy trong nền, nhưng Vercel Edge Functions được hỗ trợ bởi Cloudflare Workers, cho phép chúng ta sử dụng phương thức fetch, mà Node.js không hỗ trợ gốc.

Handler sẽ tải tệp văn bản chứa từ xấu vào Upstash Redis. Tính năng pipeline đảm bảo chúng ta chỉ gửi một yêu cầu với tất cả các lệnh Redis.

Chúng ta sử dụng một set để lưu trữ các từ, vì vậy chúng ta không bị trùng lặp. Nó cũng cho phép chúng ta tải tất cả các từ dưới dạng mảng chuỗi với một lệnh sau này.

Nếu chúng ta muốn lọc dữ liệu cá nhân, chúng ta có thể sử dụng cơ sở dữ liệu tài khoản để lấy email, số điện thoại, tên và địa chỉ của người dùng làm cơ sở cho bộ lọc.

Để nói cho Vercel biết chúng ta muốn hàm này là hàm cron, chúng ta cần tạo tệp vercel.json trong thư mục gốc dự án với nội dung sau:

Tệp vercel.json:

{
  "crons": [
    {
      "path": "/api/refresh-list",
      "schedule": "0 10 * * *"
    }
  ]
}

Cấu hình này sẽ khiến Vercel thực thi hàm refresh-list hàng ngày vào 10:00 UTC.

Tài khoản Vercel miễn phí chỉ hỗ trợ một lần thực thi tự động mỗi ngày. Cho ví dụ của chúng ta, điều đó đủ, nhưng nếu chúng ta có dữ liệu thay đổi thường xuyên hơn, chúng ta nên tăng tỷ lệ cập nhật.

Triển khai tiện ích Filter

Tính năng tiếp theo là một hàm tiện ích sẽ che mặt các từ trong văn bản khi chúng tương ứng với các từ trong cơ sở dữ liệu của chúng ta. Tạo tệp mới tại utils/word-filter.ts và thêm mã sau.

Tệp utils/word-filter.ts:

import { Redis } from "@upstash/redis";
const redisClient = new Redis({
  url: process.env.UPSTASH_REDIS_URL,
  token: process.env.UPSTASH_REDIS_TOKEN,
});
export async function filter(text: string) {
  const filteredWords = await redisClient.smembers("words");
  let maskedText = text;
  for (let word of filteredWords)
    maskedText = maskedText.replaceAll(new RegExp(word, "gi"), "[REDACTED]");
  return maskedText;
}

Lại một lần nữa, hàm sử dụng client Upstash Redis, nhưng lần này nó tải dữ liệu chúng ta đã lưu trước đó.

Vì chúng ta nhận được một mảng chuỗi, chúng ta có thể đơn giản lặp qua nó và gọi hàm thay thế thay thế mọi từ xấu trong văn bản bằng "[REDACTED]".

Hàm này không quan tâm đến loại từ nó lọc ra. Trong trường hợp này, các từ là "không an toàn cho công việc", nhưng quy trình lọc chỉ phụ thuộc vào dữ liệu chúng ta đã lưu trước đó.

Triển khai trang chủ

Để thấy bộ lọc hoạt động, hãy thay thế nội dung của pages/index.ts bằng sau:

Tệp pages/index.ts:

import Head from "next/head";
import { filter } from "@/utils/word-filter";
export const config = {
  runtime: "experimental-edge"
};
interface HomeProps {
  maskedText: string;
}
export default function Home(props: HomeProps) {
  return (
    <>
      
        Text with Filtered Words
      
      

Text with Filtered Words

{props.maskedText}

); } export async function getServerSideProps(): Promise<{ props: HomeProps }> { const maskedText = await filter( "He slipped and fell on his butt. Well, that wasn't very sexy." ); return { props: { maskedText } }; }

Cấu hình đảm bảo mọi thứ được thực thi trên edge, ngay cả việc render phía server. Tính năng Vercel này vẫn đang thử nghiệm.

Phần thú vị là hàm getServerSideProps, sử dụng hàm filter của chúng ta trước đó trên một văn bản tĩnh. Nó được gọi chỉ trên server, vì vậy dữ liệu chưa lọc không bao giờ đến client.

Trong một ứng dụng thực tế, văn bản này có thể đến từ cơ sở dữ liệu với dữ liệu cá nhân cần được dọn dẹp trước khi hiển thị.

Triển khai API Route đầu tiên

API route đầu tiên hoạt động như trang chủ; nó trả về JSON và không HTML. Tạo tệp tại pages/api/filtered-data.ts với mã này:

Tệp pages/api/filtered-data.ts:

import { filter } from "@/utils/word-filter";
export const config = {
  runtime: "edge"
};
export default async function handler() {
  const maskedText = await filter(
    "He slipped and fell on his butt. Well, that wasn't very sexy.",
  );
  return new Response(JSON.stringify({ text: maskedText }), {
    status: 200,
    headers: { "content-type": "application/json" },
  });
}

Lại một lần nữa, runtime là edge, và giống như với hàm getServerSideProps, chúng ta sử dụng một văn bản tĩnh.

Triển khai API Route thứ hai

Route này chấp nhận văn bản qua yêu cầu và trả về phiên bản đã lọc. Tạo tệp mới tại pages/api/filter.ts và thêm mã sau:

Tệp pages/api/filter.ts:

import type { NextApiRequest } from "next";
import { filter } from "@/utils/word-filter";
export const config = {
  runtime: "edge"
};
export default async function handler(request: NextApiRequest) {
  const { text } = await new Response(request.body).json();
  const maskedText = await filter(text);
  return new Response(JSON.stringify({ text: maskedText }), {
    status: 200,
    headers: { "content-type": "application/json" },
  });
}

Lần này, chúng ta phải parse body để lấy văn bản chúng ta muốn lọc. Trong Vercel Edge Functions, body là một ReadableStream; nếu chúng ta chuyển đổi nó thành Response, chúng ta có thể sử dụng parser JSON gốc để trích xuất dữ liệu.

Sau khi lấy dữ liệu từ yêu cầu, mọi thứ hoạt động như trước.

Đẩy thay đổi code

Bây giờ mọi thứ đã được triển khai, chúng ta cần đẩy code vào repository GitHub của mình với các lệnh này:

$ git add -A
$ git commit -m "Init"
$ git push

Sau này, code có sẵn trực tuyến cho Vercel tải xuống và triển khai.

Triển khai

Chúng ta cần tạo cơ sở dữ liệu Upstash Redis, để lấy thông tin xác thực cho biến môi trường và một dự án Vercel.

Tạo cơ sở dữ liệu Redis

Chúng ta có thể tạo cơ sở dữ liệu Redis mới trong Upstash Console bằng cách nhấp nút "Create database". Hình 2 hiển thị cấu hình. Cho ví dụ này, cơ sở dữ liệu khu vực là đủ, nhưng nếu bạn có người dùng phân bố toàn cầu và muốn giữ độ trễ thấp, bạn cũng có thể chọn loại global.

Ngăn chặn rò rỉ dữ liệu với Vercel Edge Functions & Upstash Redis để lọc an toàn, độ trễ thấp Hình 2: Tạo cơ sở dữ liệu mới

Sau khi tạo, chúng ta có thể tìm thấy URL và token cần thiết cho biến môi trường của mình dưới danh mục REST API; nó trông giống như hình 3.

Ngăn chặn rò rỉ dữ liệu với Vercel Edge Functions & Upstash Redis để lọc an toàn, độ trễ thấp Hình 3: Thông tin xác thực cơ sở dữ liệu

Tạo dự án Vercel

Để tạo dự án Vercel mới, mở Vercel Dashboard trong trình duyệt, và nhấp "Create a New Project" ở giữa. Sau khi kết nối Vercel với tài khoản GitHub của bạn, bạn có thể chọn repository để nhập.

Chúng ta có thể giữ cấu hình mặc định và thêm biến môi trường của chúng ta với thông tin xác thực Upstash Redis từ trên. Hình 4 hiển thị UI tạo Vercel để tham khảo.

Ngăn chặn rò rỉ dữ liệu với Vercel Edge Functions & Upstash Redis để lọc an toàn, độ trễ thấp Hình 4: Tạo dự án Vercel

Tên các biến môi trường là UPSTASH_REDIS_URL và UPSTASH_REDIS_TOKEN. Chúng ta sử dụng giá trị từ bước trước để tạo chúng.

Sau khi nhấp "Deploy", Vercel sẽ tải xuống và triển khai code từ repository GitHub của chúng ta.

Kiểm tra ứng dụng

Sau khi triển khai, ứng dụng vẫn sẽ hiển thị từ chưa lọc vì cron job chưa chạy. Nhưng chúng ta có thể thực hiện lần thực thi đầu tiên thủ công. Nhấp nút "Continue to Dashboard" và chọn tab "Cron Jobs".

Ở đây chúng ta thấy hàm /api/refresh-list của chúng ta với nút "Run" để nhấp.

Khi hàm kết thúc, chúng ta điều hướng đến tab "Project" và nhấp vào một trong các URL dưới "Domain". Điều này sẽ mở trang web với văn bản đã lọc trong trình duyệt; nó nên trông như hình 5.

Ngăn chặn rò rỉ dữ liệu với Vercel Edge Functions & Upstash Redis để lọc an toàn, độ trễ thấp Hình 5: Trang web đã lọc

Nếu chúng ta thêm /api/filtered-data vào URL của mình, chúng ta có thể thấy điều này cũng hoạt động cho phản hồi API. Chúng nên trông như ví dụ sau:

{
  "text": "He slipped and fell on his [REDACTED]. Well, that wasn't very [REDACTED]y."
}

Cuối cùng, nếu chúng ta gửi yêu cầu qua cURL đến endpoint /api/filter, chúng ta nhận được văn bản tùy chỉnh của mình được lọc. Đảm bảo thay thế &lt;PROJECT> với dự án Vercel của bạn.

$ curl -X POST https://<PROJECT>.vercel.app/api/filter \
  -H "Content-Type: application/json" \
  -d '{"text":"He fell on his butt."}'

Phản hồi:

{
  "text": "He fell on his [REDACTED]."
}

Tiếp theo là gì

Sau hướng dẫn này, bạn có thể tự hỏi điều gì xảy ra nếu dữ liệu được cập nhật, nhưng cron job chưa cập nhật cơ sở dữ liệu. Quan sát tốt!

Một cron job kích hoạt hàm refresh của chúng ta, nhưng nó vẫn là một hàm API thông thường, vì vậy chúng ta có thể gọi nó theo bất kỳ cách nào chúng ta muốn.

Trong trường hợp của bộ lọc dữ liệu thực, chúng ta có thể muốn kích hoạt hàm để phản hồi thay đổi dữ liệu, nhưng chi tiết triển khai phụ thuộc rất nhiều vào kho dữ liệu chúng ta sử dụng làm cơ sở cho bộ lọc của mình. Vì vậy, hãy ghi nhớ điều đó khi xây dựng!

Tài nguyên bổ sung

Bạn có thể tìm thấy dự án hoàn chỉnh trên GitHub.