Có nhiều cách tải tài nguyên từ web. Ngoài trình duyệt, bạn có thể dùng công cụ như wget tải tài nguyên từ webながら bạn làm việc khác. Bài viết hướng dẫn tải và dùng wget trên Mac.
wget là gì (và dùng làm gì)?
Đối với người chưa biết, wget là tiện ích dòng lệnh (command-line utility) mã nguồn mở, phi tương tác (non-interactive), giúp tải tài nguyên từ URL chỉ định. Vì phi tương tác, wget chạy ngầm hoặc trước khi bạn đăng nhập.
Dự án của GNU team, rất tốt nếu kết nối Internet kém – robust trong điều kiện không tối ưu.
Sau khi cài wget, bạn chạy lệnh và chỉ định đích lưu file. Hướng dẫn chi tiết bên dưới.
Cách cài wget trên Mac
Trước khi cài wget, cần trình quản lý gói (package manager). wget không có sẵn macOS, nhưng có thể tải cài qua Homebrew – package manager tốt nhất cho Mac.
1. Tải và cài Homebrew
Cài Homebrew: mở Terminal, chạy lệnh:
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
Lệnh dùng curl tải file từ cài đặt Ruby pre-installed trên macOS.
Sau khi nhấn Enter chạy lệnh, installer chi tiết những gì sẽ xảy ra.
Xác nhận → installer chạy.
2. Cài wget từ dòng lệnh
Tiếp theo, dùng Homebrew cài wget. Từ Terminal, chạy:
brew install wget
Installer hiển thị tiến trình real-time, bạn ít khi phải can thiệp. Quy trình tự động, đơn giản. Tuy nhiên, nếu đã có Homebrew, hãy chạy brew update để cập nhật formulae mới nhất.
Khi thấy prompt mới trong Terminal → sẵn sàng dùng wget tải tài nguyên web.
Cách dùng wget tải tài nguyên Web
Để tải tài nguyên remote từ URL dùng wget, cấu trúc sau:
wget -O đường/dẫn/đến/file.local https://example.com/url/tải/xuống.html
Lưu file từ URL đến vị trí chỉ định trên máy.
Nếu bỏ cờ -O, vị trí tải sẽ là thư mục làm việc hiện tại (current working directory).
Ví dụ: tải trang web vào thư mục Downloads:
wget -O /Users/[tên-user-của-bạn]/Downloads/status.html https://www.w3.org/Status.html
Nếu không dùng cờ -O, cần đổi thư mục (cd downloads) trước khi chạy wget:
wget /Users/[tên-user-của-bạn]/Downloads/status.html https://www.w3.org/Status.html
Bạn thấy chi tiết tiến trình tải, tuy wget nhanh nên thông tin này giống tóm tắt hơn là real-time.
Cách tải thư mục đệ quy (Recursive Directory)
Tải toàn bộ cây thư mục với wget, dùng cờ -r/--recursive và -np/--no-parent:
wget -e robots=off -r -np https://www.w3.org/History/19921103-hypertext/hypertext/
Lệnh khiến wget theo dõi link trên tài liệu trong thư mục chỉ định → tải đệ quy toàn bộ đường dẫn URL.
Lưu ý -e robots=off: bỏ qua giới hạn file robots.txt. Nên tắt robots.txt để tránh tải bị cắt giảm.
Dùng các cờ (flags) bổ sung với wget
wget công cụ linh hoạt, dùng nhiều cờ bổ sung. Tốt nếu bạn có yêu cầu cụ thể cho tải xuống.
Xem 2 lĩnh vực: kiểm soát tải xuống và tạo log.
Kiểm soát cách wget tải tài nguyên
Nhiều cờ thiết lập quá trình tải. Một số hữu ích nhất:
wget -X /đường/tuyệt/đối/thư/mục: loại trừ thư mục cụ thể trên server remote.wget -nH: bỏ thư mục "hostname". Nghĩa là bỏ qua tên miền chính. Ví dụ: bỏ qua thư mụcwww.w3.orgtrong ví dụ trước, bắt đầu từ thư mụcHistory.wget --cut-dirs=#: bỏ qua số thư mục chỉ định xuống URL trước khi tải file. Ví dụ:-nH --cut-dirs=1đổi đường dẫn "ftp.xemacs.org/pub/xemacs/" thành "/xemacs/" và giảm thư mục cha rỗng trong tải local.wget -R index.html/wget --reject index.html: bỏ qua file trùng tên chỉ định. Trường hợp này loại trừ tất cả file index. Dấu * (wildcard): "*.png" bỏ qua tất cả file PNG.wget -i file: chỉ định URL mục tiêu từ file input. File input phải định dạng HTML, hoặc dùng--force-htmlđể parse HTML.wget -nc/wget --no-clobber: không ghi đè file đã tồn tại ở đích.wget -c/wget --continue: tiếp tục tải file tải một phần.wget -t 10: thử tải tài nguyên tối đa 10 lần trước khi fail.
wget không chỉ kiểm soát tải, còn tạo log để tham khảo sau.
Điều chỉnh mức độ Logging
Các cờ sau cũng là cách một phần kiểm soát output khi dùng wget.
wget -d: bật output debug.wget -o đường/dẫn/log.txt: bật log output đến thư mục chỉ định thay vì hiển thị standard output.wget -q: tắt TẤT CẢ output wget, kể cả thông báo lỗi.wget -v: bật rõ ràng chế độ verbose mặc định của wget.wget --no-verbose: tắt log message nhưng hiển thị thông báo lỗi.
Bạn thường muốn biết chuyện gì xảy ra khi tải, nên có thể ít dùng các cờ này hơn. Nhưng nếu tải hàng loạt lớn và muốn đảm bảo fix sự cố, log hoặc tắt output là cách hợp lý.
Kết luận
Dù có thể dùng trình duyệt hoặc GUI khác tải trang web và tài nguyên, dòng lệnh tiết kiệm thời gian. Công cụ như wget mạnh mẽ – hơn trình duyệt – và nhanh nhạy. Để mô tả đầy đủ khả năng wget, xem man page GNU của wget.
Nếu wget không chạy được, có thể cần chẩn đoán vấn đề Wi-Fi. Bạn sẽ dùng wget trên Mac tải tài nguyên web? Chia sẻ bình luận nhé!