Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình Bash

Làm Chủ wget: 15 Ví Dụ Tải Xuống Mạnh Mẽ

Làm Chủ wget: 15 Ví Dụ Tải Xuống Mạnh MẽTiện ích wget là lựa chọn tốt nhất để tải file từ internet. wget có thể xử lý hầu như mọi tình huống tải xuống phức tạp bao gồm tải file lớn, tải đệ quy, tải không tương tác, tải nhiều file, v.v.

Trong bài này, hãy xem cách dùng wget cho các kịch bản tải xuống khác nhau qua 15 ví dụ tuyệt vời.

1. Tải Một File Đơn Với wget

Ví dụ sau tải một file từ internet và lưu trong thư mục hiện tại.

$ wget https://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2

Khi tải, nó hiển thị thanh tiến trình với thông tin sau:

  • Phần trăm hoàn thành (ví dụ: 31% như dưới)
  • Tổng byte đã tải (ví dụ: 1,213,592 bytes)
  • Tốc độ tải hiện tại (ví dụ: 68.2K/s)
  • Thời gian còn lại (ví dụ: eta 34 giây)

Đang tải:

$ wget https://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2 Saving to: `strx25-0.9.2.1.tar.bz2.1' 31% [=================> 1,213,592 68.2K/s eta 34s

Tải xong:

$ wget https://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2 Saving to: `strx25-0.9.2.1.tar.bz2' 100%[======================>] 3,852,374 76.8K/s in 55s 2009-09-25 11:15:30 (68.7 KB/s) - `strx25-0.9.2.1.tar.bz2' saved [3852374/3852374]

2. Tải Và Lưu Với Tên File Khác Bằng wget -O

Mặc định wget lấy tên file từ từ cuối cùng sau dấu gạch chéo cuối, có thể không phù hợp.

Sai: Ví dụ sau tải và lưu file với tên: download_script.php?src_id=7701

$ wget https://www.vim.org/scripts/download_script.php?src_id=7701

Dù file tải về là zip, nó sẽ lưu với tên như dưới.

$ ls download_script.php?src_id=7701

Đúng: Để sửa vấn đề này, chỉ định tên file đầu ra dùng tùy chọn -O:

$ wget -O taglist.zip https://www.vim.org/scripts/download_script.php?src_id=7701

3. Chỉ Định Tốc Độ Tải / Giới Hạn Tốc Độ Bằng wget --limit-rate

Khi chạy wget, mặc định nó sẽ cố chiếm toàn bộ băng thông. Điều này có thể không chấp nhận được khi tải file lớn trên server production. Để tránh vậy, giới hạn tốc độ tải bằng --limit-rate như sau.

Trong ví dụ dưới, tốc độ tải giới hạn ở 200k

$ wget --limit-rate=200k https://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2

4. Tiếp Tục Tải Đang Dở Bằng wget -c

Khởi động lại tải bị dừng giữa chừng bằng tùy chọn wget -c như sau.

$ wget -c https://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2

Rất hữu ích khi bạn bắt đầu tải file rất lớn bị ngắt giữa chừng. Thay vì tải lại từ đầu, bạn có thể tiếp tục từ nơi dừng dùng tùy chọn -c

Lưu ý: Nếu tải dừng giữa chừng, khi khởi động lại không có tùy chọn -c, wget sẽ tự thêm .1 vào tên file vì file tên cũ đã tồn tại. Nếu file .1 đã tồn tại, sẽ tải với .2 ở cuối.

5. Tải Trong Nền Bằng wget -b

Đối với tải lớn, cho tải chạy nền bằng tùy chọn wget -b như sau.

$ wget -b https://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2 Continuing in background, pid 1984. Output will be written to `wget-log'.

Nó khởi động tải và trả về dấu nhắc shell cho bạn. Bạn luôn có thể kiểm tra trạng thái tải bằng tail -f như sau.

$ tail -f wget-log Saving to: `strx25-0.9.2.1.tar.bz2.4' 0K .......... .......... .......... .......... .......... 1% 65.5K 57s 50K .......... .......... .......... .......... .......... 2% 85.9K 49s 100K .......... .......... .......... .......... .......... 3% 83.3K 47s 150K .......... .......... .......... .......... .......... 5% 86.6K 45s 200K .......... .......... .......... .......... .......... 6% 33.9K 56s 250K .......... .......... .......... .......... .......... 7% 182M 46s 300K .......... .......... .......... .......... .......... 9% 57.9K 47s

Cũng hãy xem bài multitail trước về cách dùng tail hiệu quả để xem nhiều file.

6. Giấu User Agent & Hiển Thị wget Giống Trình Duyệt Bằng wget --user-agent

Một số trang web chặn tải nếu nhận diện user agent không phải trình duyệt. Bạn có thể giấu user agent bằng tùy chọn --user-agent và hiển thị wget như trình duyệt như sau.

$ wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" URL-TO-DOWNLOAD

7. Kiểm Tra URL Tải Bằng wget --spider

Khi bạn sẽ làm tải theo lịch trình, nên kiểm tra xem tải có thành công không tại thời điểm đó. Làm bằng cách copy dòng từ lịch trình, thêm tùy chọn --spider để kiểm tra.

$ wget --spider DOWNLOAD-URL

Nếu URL đúng, nó sẽ báo

$ wget --spider download-url Spider mode enabled. Check if remote file exists. HTTP request sent, awaiting response... 200 OK Length: unspecified [text/html] Remote file exists and could contain further links, but recursion is disabled -- not retrieving.

Điều này đảm bảo tải sẽ thành công vào lúc lịch trình. Nhưng nếu URL sai, bạn sẽ nhận lỗi sau.

$ wget --spider download-url Spider mode enabled. Check if remote file exists. HTTP request sent, awaiting response... 404 Not Found Remote file does not exist -- broken link!!!

Bạn có thể dùng tùy chọn spider cho các tình huống:

  • Kiểm tra trước khi lên lịch tải.
  • Giám sát xem trang web có sẵn sàng không tại các khoảng thời gian.
  • Kiểm tra danh sách trang từ bookmark, tìm trang nào còn tồn tại.

8. Tăng Tổng Số Lần Thử Lại Bằng wget --tries

Nếu kết nối internet có vấn đề, và file tải lớn có cơ hội thất bại. Mặc định wget thử lại 20 lần để tải thành công.

Nếu cần, tăng số lần thử bằng --tries như sau.

$ wget --tries=75 DOWNLOAD-URL

9. Tải Nhiều File / URL Bằng Wget -i

Trước, lưu tất cả file hoặc URL tải vào file văn bản như:

$ cat > download-file-list.txt URL1 URL2 URL3 URL4

Tiếp theo, đưa download-file-list.txt làm đối số cho wget dùng tùy chọn -i như sau.

$ wget -i download-file-list.txt

10. Tải Toàn Bộ Trang Web Bằng wget --mirror

Dưới đây là dòng lệnh bạn muốn chạy khi muốn tải toàn bộ trang web và làm sẵn sàng xem cục bộ.

$ wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL
  • --mirror : bật tùy chọn phù hợp cho mirroring.
  • -p : tải tất cả file cần để hiển thị đúng một trang HTML.
  • --convert-links : sau tải, chuyển đổi link trong tài liệu để xem cục bộ.
  • -P ./LOCAL-DIR : lưu tất cả file và thư mục vào thư mục chỉ định.

11. Loại Trừ Một Số Loại File Khi Tải Bằng wget --reject

Bạn tìm thấy trang web hữu ích, nhưng không muốn tải hình ảnh, có thể chỉ định sau.

$ wget --reject=gif WEBSITE-TO-BE-DOWNLOADED

12. Ghi Log Vào File Thay Vì stderr Bằng wget -o

Khi muốn log chuyển hướng vào file log thay vì terminal.

$ wget -o download.log DOWNLOAD-URL

13. Dừng Tải Khi Vượt Kích Thước Xác Định Bằng wget -Q

Khi muốn dừng tải khi vượt quá 5 MB, dùng dòng lệnh wget sau.

$ wget -Q5m -i FILE-WHICH-HAS-URLS

Lưu ý: Hạn ngạch này không có hiệu lực khi tải một URL đơn lẻ. Tức là bất kể kích thước hạn ngạch, mọi thứ sẽ tải xong khi bạn chỉ định một file đơn. Hạn ngạch chỉ áp dụng cho tải đệ quy.

14. Chỉ Tải Các Loại File Cụ Thể Bằng wget -r -A

Bạn có thể dùng trong các tình huống:

  • Tải tất cả hình ảnh từ trang web
  • Tải tất cả video từ trang web
  • Tải tất cả file PDF từ trang web
$ wget -r -A.pdf https://url-to-webpage-with-pdfs/

15. Tải FTP Với wget

Bạn có thể dùng wget để tải FTP như sau.

Tải FTP ẩn danh bằng Wget

$ wget ftp-url

Tải FTP bằng wget với xác thực username và password.

$ wget --ftp-user=USERNAME --ftp-password=PASSWORD DOWNLOAD-URL

Nếu bạn thích bài này, hãy bookmark nó với delicious hoặc Stumble.