Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Redis

Thiết Kế Hệ Thống Tệp Trong Bộ Nhớ Nhanh Chóng Cho AI Agent Dùng Redis

AI agent như Codex hoặc Claude Code tự nhiên rất giỏi chạy lệnh bash. Tìm kiếm qua hệ thống tệp, grep, lấy ngữ cảnh qua shell.

Vì vậy tôi muốn thử: điều gì xảy ra nếu toàn bộ hệ thống tệp một AI agent làm việc trên đó sống trong Redis thay vì trên đĩa? Điều gì xảy ra nếu, đối với AI agent, nó trông như thể nó đang dùng bất kỳ hệ thống tệp nào khác, nhưng thực tế nó là một kho trong bộ nhớ thực sự nhanh?

Đây là cách tôi muốn nó hoạt động 👇

Thiết Kế Hệ Thống Tệp Trong Bộ Nhớ Nhanh Chóng Cho AI Agent Dùng Redis

Khi agent chạy lệnh grep (chúng đều xuất sắc ở việc này), chúng ta chặn nó bằng thư viện just-bash của Vercel và dịch nó thành truy vấn Redis Search.

Cách đó, chúng ta không cần bất kỳ sandbox nào cho truy cập read-only và (theo lý thuyết) nó nên nhanh hơn nhiều. Và ra kết quả Mintlify đã làm một cái gì đó tương tự.

Ý Tưởng

Để xem liệu điều này có thể hoạt động, tôi chia logic thành ba mảnh

  1. Mỗi file là một Redis JSON document. Chúng ta lưu path, content, size, timestamps, tất cả cùng nhau dưới một key.
  2. Manifest theo dõi cây thư mục. Một Redis key giữ toàn bộ cấu trúc thư mục để ls và tree không bao giờ phải quét.
  3. Redis Search cho grepping. Cách này grep không phải đọc mọi file để tìm match.

Và chỉ thế thôi! Với rất ít thứ này, chúng ta có thể đạt rất gần sự ngang hàng đầy đủ của một hệ thống tệp thông thường (read-only), nhưng nhanh hơn nhiều. Tôi quyết định không implement writes cho lúc này.

Thách Thức Lớn Nhất: Grepping

Lệnh như cat hoặc ls khá đơn giản. Chúng ta hoặc đọc một file đầy đủ hoặc liệt kê cấu trúc thư mục, cả hai đều dễ làm với Redis. Lệnh như sed -n '1,240p' hơi phức tạp hơn, nhưng chúng ta hoàn toàn có thể làm nó hoạt động dùng Sorted Sets.

Grepping hơi khác. Một grep -R "oauth" /workspace bình thường phải đọc mọi file dưới thư mục đó. Trong hệ thống tệp ảo có nghĩa là kéo mọi document ra khỏi Redis chỉ để kiểm tra xem nó có chứa từ đó không. Đó rất chậm và tốn kém.

Nhưng chúng ta gần đây giới thiệu Upstash Redis Search, một cách cực nhanh và hiệu quả dựa trên Rust để tìm kiếm qua dữ liệu Redis. Với Redis Search, chúng ta có thể chặn grep trước khi nó chạy, dịch nó thành truy vấn, và lấy kết quả nhanh mà không cần fetch file.

Một search query trông giống như thế này:

import { Redis } from "@upstash/redis"; const redis = new Redis.fromEnv(); const index = redis.search.index({ name: "vfs" }); const matches = await index.query({ filter: { $must: [ { workspaceId: "demo" }, { kind: "file" }, { content: { $phrase: "oauth" } }, ], }, select: { path: true }, });

Agent vẫn thấy cùng output nó có được từ shell bình thường.

Cho Agent Một Shell

Mảnh ghép cuối là nối điều này với just-bash để agent có thể chạy lệnh đối với nó. Được truyền cảm hứng bởi cách Mintlify xây dựng filesystem của assistant của họ, chúng ta mount một Redis-backed fs adapter tại /workspace trên một MountableFs:

import { InMemoryFs, MountableFs } from "just-bash"; const mountableFs = new MountableFs({ base: new InMemoryFs() }); mountableFs.mount("/workspace", redisFs); // redisFs nói chuyện với Upstash const bash = new Bash({ fs: mountableFs, cwd: "/workspace" });

Khi agent chạy cat /workspace/src/index.ts, lời gọi readFile đó đi thẳng qua Redis. grep bị chặn và chuyển hướng đến Redis Search.

Từ góc nhìn của agent, nó chỉ là một shell. ls, cat, grep, find, tất cả hoạt động. Khi chúng ta đặt nó vào Vercel AI SDK như một tool bash, chúng ta có một agent có thể explore codebase sống hoàn toàn trong Redis.

Làm Sao Tôi Có Ý Tưởng Này

Thứ nhất, bài viết tuyệt vời từ Mintlify tôi link ở trên. Thứ hai, hầu hết agent sandbox đều nặng nề. Chúng ta boot container, mount disk, và trả giá cho tất cả đó dù agent chạm một file hay một nghìn.

Một hệ thống tệp ảo với Redis luôn bật, replicated toàn cầu, durable, và operation tốn kém nhất (tìm kiếm qua file) là thứ Redis Search giỏi nhất.

Cheers 🙌 Josh