Bạn đã bao giờ tự hỏi liệu có cách nào để tải xuống một trang web mà không cần trình duyệt web không? Bạn may mắn. Với sức mạnh của dòng lệnh Linux, mọi thứ đều có thể. Có nhiều phương pháp để hoàn thành nhiệm vụ này, nhưng chúng tôi tập trung vào mục tiêu trong bài viết này.
Wget là gì?
wget là một tiện ích dòng lệnh GNU để lấy nội dung từ máy chủ web. Là một trình tải xuống, wget rất mạnh theo đúng nghĩa của nó. wget có khả năng làm việc với nhiều giao thức, chẳng hạn như HTTP, HTTPS và FTP. Các khả năng khác của tiện ích wget bao gồm:
- khả năng chạy im lặng hoặc trong nền
- được tích hợp với các tập lệnh Linux hoặc các công việc CRON
- có thể chạy nhiều lượt tải xuống cùng một lúc
- tải xuống các tệp yêu cầu mật khẩu
Tại sao lại quên?
Trong khi có vô số công cụ có thể thực hiện các hoạt động trên trang web, wget cho phép phạm vi rộng. Nó cung cấp cho người dùng khả năng hoạt động mà không cần trình duyệt web bằng cách:
- tải xuống bản sao đầy đủ của trang web
- tải xuống một tệp cụ thể từ một trang web
- tự động truy xuất tệp theo yêu cầu
- lấy tài liệu từ cổng xác thực
wget cũng được tích hợp trong hầu hết các bản phân phối Linux, vì vậy nó có sẵn ngay từ đầu và không cần cài đặt thêm.
kiến thức cơ bản về wget
Bắt đầu với wget khá đơn giản. Đầu tiên, hãy mở một Thiết bị đầu cuối Linux.
Khi cửa sổ dòng lệnh được mở, bạn có thể chạy wget như hình dưới đây:
wget URL
Thay thế "URL" bằng URL chính xác của trang web.
Để tiếp tục tệp được tải xuống một phần, hãy sử dụng -c chuyển đổi trong lệnh của bạn như sau:
wget -c URL
Để làm cho quá trình tải xuống tiện ích của bạn ở chế độ im lặng, hãy thêm -q chuyển sang lệnh wget ban đầu của bạn:
wget -q URL
Nếu bạn không chắc chắn về việc sử dụng hợp lý các tùy chọn trong wget, hãy sử dụng các tùy chọn sau:
wget --help
Ngoài các trang web, bạn cũng có thể tải xuống tệp bằng wget. Ví dụ:
wget https://example.com/file.zip
Nó chỉ cần lấy tệp và lưu vào thư mục hiện tại.
Nếu bạn muốn lưu vào một tên tệp khác hoặc vị trí khác, hãy sử dụng -O cờ.
wget https://example.com/file.zip -O ~/Documents/my_downloaded_file.zip
Tùy chọn FTP
Như đã nói trước đó, wget cũng hỗ trợ FTP. Nếu bạn chỉ định một trang FTP:
wget ftp://ftp.example.com
wget sẽ giả sử bạn muốn đăng nhập ẩn danh. Ngoài ra, bạn có thể chỉ định thủ công những thứ như tên người dùng và mật khẩu với các cờ sau:
-
--ftp-user=USER:chỉ định tên người dùng để đăng nhập -
--ftp-password=PASS:chỉ định mật khẩu -
--no-passive-ftp:tắt chế độ truyền thụ động
Hết giờ, thử lại và tải xuống không thành công
Cuối cùng, wget đi kèm với một số tùy chọn liên quan đến sự cố kết nối máy chủ và thời gian chờ. Tất nhiên, không phải tất cả các lỗi đều có thể được xử lý, nhưng tất cả các cờ sau đây đều nhằm mục đích giúp giải quyết các sự cố máy chủ:
-
--tries=NUMBER:chỉ định số lần thử tải xuống lại -
--retry-connrefused:Thử tải xuống ngay cả khi máy chủ từ chối kết nối -
--timeout=SECONDS:global setting - đợi bao lâu trước khi hết giờ -
--wait=SECONDS:chờ bao lâu giữa các lần tải xuống thành công (nếu lặp lại)
Ai sẽ sử dụng wget?
Khi đọc bài đăng này, bạn có thể nghĩ “Điều này nghe có vẻ phức tạp và khó hơn nhiều so với việc sử dụng trình duyệt web”, nhưng bất kỳ ai cũng có thể sử dụng tiện ích này, dù là quản trị viên hệ thống hay lập trình viên. Dưới đây là hai ví dụ về cách tôi sử dụng lệnh này trong suốt cả ngày, với vai trò của tôi đôi khi thay đổi.
Nó giúp công việc của tôi với tư cách là một nhà nghiên cứu bảo mật dễ dàng hơn vì tôi có thể lên lịch lệnh này để tải xuống nhiều trang web cùng một lúc. Tôi có thể thực hiện việc này bằng cách tạo một tệp văn bản (sử dụng bất kỳ trình soạn thảo văn bản nào) có chứa một số URL trong danh sách (một URL trên mỗi dòng). Bằng cách thực hiện lệnh bên dưới với -i chuyển đổi, wget sẽ tải xuống từng trang web trong danh sách.
wget -i download_file_name URL
Với tư cách là quản trị viên hệ thống, tôi có thể lấy tài liệu từ các vị trí được bảo vệ bằng mật khẩu một cách dễ dàng. Điều này có thể không hỗ trợ bạn cả khi ngoại tuyến, nhưng bằng cách chạy wget allow, nó cho phép bạn thêm thông tin đăng nhập vào một trang web.
wget --user=user_id --password=user_password URL
Đây là bạn có nó! Nó có khó như bạn nghĩ không? Có thể tự động hóa các hành động của bạn với wget sẽ giúp bạn tiết kiệm thời gian và cung cấp cho bạn khả năng làm việc ngoại tuyến. Bạn có gì để mất?
Để lại bình luận bên dưới và cho chúng tôi biết liệu bạn có thấy điều này hữu ích hay không.