Tiện ích wget là lựa chọn tốt nhất để tải file từ internet. wget có thể xử lý hầu như mọi tình huống tải xuống phức tạp bao gồm tải file lớn, tải đệ quy, tải không tương tác, tải nhiều file, v.v.
Trong bài này, hãy xem cách dùng wget cho các kịch bản tải xuống khác nhau qua 15 ví dụ tuyệt vời.
1. Tải Một File Đơn Với wget
Ví dụ sau tải một file từ internet và lưu trong thư mục hiện tại.
$ wget https://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2
Khi tải, nó hiển thị thanh tiến trình với thông tin sau:
- Phần trăm hoàn thành (ví dụ: 31% như dưới)
- Tổng byte đã tải (ví dụ: 1,213,592 bytes)
- Tốc độ tải hiện tại (ví dụ: 68.2K/s)
- Thời gian còn lại (ví dụ: eta 34 giây)
Đang tải:
$ wget https://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2 Saving to: `strx25-0.9.2.1.tar.bz2.1' 31% [=================> 1,213,592 68.2K/s eta 34s
Tải xong:
$ wget https://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2 Saving to: `strx25-0.9.2.1.tar.bz2' 100%[======================>] 3,852,374 76.8K/s in 55s 2009-09-25 11:15:30 (68.7 KB/s) - `strx25-0.9.2.1.tar.bz2' saved [3852374/3852374]
2. Tải Và Lưu Với Tên File Khác Bằng wget -O
Mặc định wget lấy tên file từ từ cuối cùng sau dấu gạch chéo cuối, có thể không phù hợp.
Sai: Ví dụ sau tải và lưu file với tên: download_script.php?src_id=7701
$ wget https://www.vim.org/scripts/download_script.php?src_id=7701
Dù file tải về là zip, nó sẽ lưu với tên như dưới.
$ ls download_script.php?src_id=7701
Đúng: Để sửa vấn đề này, chỉ định tên file đầu ra dùng tùy chọn -O:
$ wget -O taglist.zip https://www.vim.org/scripts/download_script.php?src_id=7701
3. Chỉ Định Tốc Độ Tải / Giới Hạn Tốc Độ Bằng wget --limit-rate
Khi chạy wget, mặc định nó sẽ cố chiếm toàn bộ băng thông. Điều này có thể không chấp nhận được khi tải file lớn trên server production. Để tránh vậy, giới hạn tốc độ tải bằng --limit-rate như sau.
Trong ví dụ dưới, tốc độ tải giới hạn ở 200k
$ wget --limit-rate=200k https://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2
4. Tiếp Tục Tải Đang Dở Bằng wget -c
Khởi động lại tải bị dừng giữa chừng bằng tùy chọn wget -c như sau.
$ wget -c https://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2
Rất hữu ích khi bạn bắt đầu tải file rất lớn bị ngắt giữa chừng. Thay vì tải lại từ đầu, bạn có thể tiếp tục từ nơi dừng dùng tùy chọn -c
Lưu ý: Nếu tải dừng giữa chừng, khi khởi động lại không có tùy chọn -c, wget sẽ tự thêm .1 vào tên file vì file tên cũ đã tồn tại. Nếu file .1 đã tồn tại, sẽ tải với .2 ở cuối.
5. Tải Trong Nền Bằng wget -b
Đối với tải lớn, cho tải chạy nền bằng tùy chọn wget -b như sau.
$ wget -b https://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2 Continuing in background, pid 1984. Output will be written to `wget-log'.
Nó khởi động tải và trả về dấu nhắc shell cho bạn. Bạn luôn có thể kiểm tra trạng thái tải bằng tail -f như sau.
$ tail -f wget-log Saving to: `strx25-0.9.2.1.tar.bz2.4' 0K .......... .......... .......... .......... .......... 1% 65.5K 57s 50K .......... .......... .......... .......... .......... 2% 85.9K 49s 100K .......... .......... .......... .......... .......... 3% 83.3K 47s 150K .......... .......... .......... .......... .......... 5% 86.6K 45s 200K .......... .......... .......... .......... .......... 6% 33.9K 56s 250K .......... .......... .......... .......... .......... 7% 182M 46s 300K .......... .......... .......... .......... .......... 9% 57.9K 47s
Cũng hãy xem bài multitail trước về cách dùng tail hiệu quả để xem nhiều file.
6. Giấu User Agent & Hiển Thị wget Giống Trình Duyệt Bằng wget --user-agent
Một số trang web chặn tải nếu nhận diện user agent không phải trình duyệt. Bạn có thể giấu user agent bằng tùy chọn --user-agent và hiển thị wget như trình duyệt như sau.
$ wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" URL-TO-DOWNLOAD
7. Kiểm Tra URL Tải Bằng wget --spider
Khi bạn sẽ làm tải theo lịch trình, nên kiểm tra xem tải có thành công không tại thời điểm đó. Làm bằng cách copy dòng từ lịch trình, thêm tùy chọn --spider để kiểm tra.
$ wget --spider DOWNLOAD-URL
Nếu URL đúng, nó sẽ báo
$ wget --spider download-url Spider mode enabled. Check if remote file exists. HTTP request sent, awaiting response... 200 OK Length: unspecified [text/html] Remote file exists and could contain further links, but recursion is disabled -- not retrieving.
Điều này đảm bảo tải sẽ thành công vào lúc lịch trình. Nhưng nếu URL sai, bạn sẽ nhận lỗi sau.
$ wget --spider download-url Spider mode enabled. Check if remote file exists. HTTP request sent, awaiting response... 404 Not Found Remote file does not exist -- broken link!!!
Bạn có thể dùng tùy chọn spider cho các tình huống:
- Kiểm tra trước khi lên lịch tải.
- Giám sát xem trang web có sẵn sàng không tại các khoảng thời gian.
- Kiểm tra danh sách trang từ bookmark, tìm trang nào còn tồn tại.
8. Tăng Tổng Số Lần Thử Lại Bằng wget --tries
Nếu kết nối internet có vấn đề, và file tải lớn có cơ hội thất bại. Mặc định wget thử lại 20 lần để tải thành công.
Nếu cần, tăng số lần thử bằng --tries như sau.
$ wget --tries=75 DOWNLOAD-URL
9. Tải Nhiều File / URL Bằng Wget -i
Trước, lưu tất cả file hoặc URL tải vào file văn bản như:
$ cat > download-file-list.txt URL1 URL2 URL3 URL4
Tiếp theo, đưa download-file-list.txt làm đối số cho wget dùng tùy chọn -i như sau.
$ wget -i download-file-list.txt
10. Tải Toàn Bộ Trang Web Bằng wget --mirror
Dưới đây là dòng lệnh bạn muốn chạy khi muốn tải toàn bộ trang web và làm sẵn sàng xem cục bộ.
$ wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL
- --mirror : bật tùy chọn phù hợp cho mirroring.
- -p : tải tất cả file cần để hiển thị đúng một trang HTML.
- --convert-links : sau tải, chuyển đổi link trong tài liệu để xem cục bộ.
- -P ./LOCAL-DIR : lưu tất cả file và thư mục vào thư mục chỉ định.
11. Loại Trừ Một Số Loại File Khi Tải Bằng wget --reject
Bạn tìm thấy trang web hữu ích, nhưng không muốn tải hình ảnh, có thể chỉ định sau.
$ wget --reject=gif WEBSITE-TO-BE-DOWNLOADED
12. Ghi Log Vào File Thay Vì stderr Bằng wget -o
Khi muốn log chuyển hướng vào file log thay vì terminal.
$ wget -o download.log DOWNLOAD-URL
13. Dừng Tải Khi Vượt Kích Thước Xác Định Bằng wget -Q
Khi muốn dừng tải khi vượt quá 5 MB, dùng dòng lệnh wget sau.
$ wget -Q5m -i FILE-WHICH-HAS-URLS
Lưu ý: Hạn ngạch này không có hiệu lực khi tải một URL đơn lẻ. Tức là bất kể kích thước hạn ngạch, mọi thứ sẽ tải xong khi bạn chỉ định một file đơn. Hạn ngạch chỉ áp dụng cho tải đệ quy.
14. Chỉ Tải Các Loại File Cụ Thể Bằng wget -r -A
Bạn có thể dùng trong các tình huống:
- Tải tất cả hình ảnh từ trang web
- Tải tất cả video từ trang web
- Tải tất cả file PDF từ trang web
$ wget -r -A.pdf https://url-to-webpage-with-pdfs/
15. Tải FTP Với wget
Bạn có thể dùng wget để tải FTP như sau.
Tải FTP ẩn danh bằng Wget
$ wget ftp-url
Tải FTP bằng wget với xác thực username và password.
$ wget --ftp-user=USERNAME --ftp-password=PASSWORD DOWNLOAD-URL
Nếu bạn thích bài này, hãy bookmark nó với delicious hoặc Stumble.