Cách sử dụng cURL để truyền dữ liệu dòng lệnh và hơn thế nữa

curl "https://example.com/file[1-5].zip" -o "#1_#2"

Một cách đơn giản hơn để làm điều này là với -O ( --remote-name ). Cờ này làm cho cURL tải tệp từ xa xuống tệp cục bộ có cùng tên. Vì bạn không phải chỉ định đầu ra, bạn nên sử dụng lệnh này khi thiết bị đầu cuối đang mở trong thư mục bạn muốn tải tệp xuống.

curl -O "https://example.com/file1.zip" -O "https://example.com/file2.zip"

Nếu bạn có một lượng lớn tệp liệt kê để tải xuống, hãy --remote-name-all là một lá cờ tốt hơn cho điều này:

curl --remote-name-all "https://example.com/file[1-5].zip"

Bạn thậm chí có thể chỉ định các tệp không được liệt kê đến từ cùng một trang web mà không cần phải nhập lại URL bằng dấu ngoặc:

curl --remote-name-all "https://example.com/{file1.zip,anotherfile.zip,thisisfun.zip}"

Tải xuống bằng xác thực

Tải xuống các tệp yêu cầu xác thực (ví dụ:khi lấy từ máy chủ FTP riêng) bằng -u lá cờ. Mọi yêu cầu xác thực phải được thực hiện với tên người dùng đầu tiên và mật khẩu thứ hai, với dấu hai chấm phân cách hai. Dưới đây là một ví dụ để làm cho mọi thứ trở nên đơn giản:

curl -u username:password -o ~/Downloads/file.zip ftp://example.com/file.zip

Thao tác này sẽ xác thực bonobo_bob người bạn của chúng tôi vào máy chủ FTP và tải tệp xuống thư mục Tải xuống.

Tách và Hợp nhất Tệp

Nếu vì bất kỳ lý do gì bạn muốn tải xuống một tệp lớn và chia nó thành nhiều phần, bạn có thể làm như vậy với --range của cURL lá cờ. Với --range , bạn phải chỉ định byte bạn muốn bắt đầu cho đến byte bạn muốn kết thúc. Nếu bạn không chỉ định phần cuối cho dải ô, nó sẽ chỉ tải xuống phần còn lại của tệp.

Trong lệnh bên dưới, cURL sẽ tải xuống 100 MB hình ảnh cài đặt đầu tiên của Arch Linux:

curl --range 0-99999999 -o arch.part1 -L https://mirrors.chroot.ro/archlinux/iso/2021.11.01/archlinux-2021.11.01-x86_64.iso

Đối với 100 MB tiếp theo, sử dụng --range 100000000-199999999 , v.v. Bạn có thể xâu chuỗi các lệnh này bằng cách sử dụng && toán hạng:

curl --range 0-99999999 -o arch.part1 -L https://mirrors.chroot.ro/archlinux/iso/2021.11.01/archlinux-2021.11.01-x86_64.iso && \
curl --range 100000000-199999999 -o arch.part2 -L https://mirrors.chroot.ro/archlinux/iso/2021.11.01/archlinux-2021.11.01-x86_64.iso && \
curl --range 200000000-299999999 -o arch.part3 -L https://mirrors.chroot.ro/archlinux/iso/2021.11.01/archlinux-2021.11.01-x86_64.iso && \
curl --range 300000000-399999999 -o arch.part4 -L https://mirrors.chroot.ro/archlinux/iso/2021.11.01/archlinux-2021.11.01-x86_64.iso && \
curl --range 400000000-499999999 -o arch.part5 -L https://mirrors.chroot.ro/archlinux/iso/2021.11.01/archlinux-2021.11.01-x86_64.iso && \
curl --range 500000000-599999999 -o arch.part6 -L https://mirrors.chroot.ro/archlinux/iso/2021.11.01/archlinux-2021.11.01-x86_64.iso && \
curl --range 600000000-699999999 -o arch.part7 -L https://mirrors.chroot.ro/archlinux/iso/2021.11.01/archlinux-2021.11.01-x86_64.iso && \
curl --range 700000000- -o arch.part8 -L https://mirrors.chroot.ro/archlinux/iso/2021.11.01/archlinux-2021.11.01-x86_64.iso

Nếu bạn đã làm theo cấu trúc lệnh trên cho thư, tám tệp sẽ xuất hiện ở nơi bạn yêu cầu cURL tải chúng xuống.

Để hợp nhất các tệp này, bạn sẽ phải sử dụng cat nếu bạn đang sử dụng Linux hoặc macOS như vậy:

cat arch.part? > arch.iso

Đối với Windows, bạn sẽ phải sử dụng copy lệnh như thế này:

copy /b arch.part* arch.iso

Các tính năng hữu ích khác

Có rất nhiều cờ và cách sử dụng cho cURL:

• - # - Sử dụng thanh tiến trình để cho biết bạn đang ở bao xa trong những gì bạn đang nắm bắt. Ví dụ: curl - # https://asite.com/somefile.zip> ~ / somefile.zip .
• -a - Yêu cầu cURL để thêm vào một tệp chứ không phải ghi đè lên nó. Ví dụ: curl -ao ~ / collab-full.x https://example-url.com/collab-part26.x .
• --head - Chỉ lấy tiêu đề phản hồi từ máy chủ mà không có dữ liệu đầu ra. Điều này hữu ích khi bạn đang gỡ lỗi một trang web hoặc xem trước các phản hồi được lập trình của máy chủ cho khách hàng. Ví dụ: curl --head https://example-url.com .
• --limit-rate - Đặt hàng tải xuống với băng thông hạn chế. Nó hữu ích trong những trường hợp bạn không muốn cURL chiếm hết băng thông có sẵn trong hệ thống của mình. Một số đơn giản sẽ được hiểu là byte trên giây. K đại diện cho kilobyte mỗi giây; M đại diện cho megabyte mỗi giây. Ví dụ: curl --limit-rate 8M https://example-url.com/file.zip> ~ / file.zip .
• -o - Như đã đề cập trước đó, xác định một tệp đầu ra cho cURL để sử dụng. Ví dụ: curl -o ~ / Downloads / file.zip https://thefileplace.com/file.zip -o file2.zip https://thefileplace.com/file2.zip .
• --proxy - Nếu bạn muốn làm việc với proxy, đây là cách để làm điều đó. Ví dụ: curl --proxy proxyurl:port https://example-url.com/file.zip> ~ file.zip .

cURL so với Wget

Cả hai đều được phát hành trong cùng một năm (1996), cURL và Wget là những chương trình chị em với khá nhiều người quan sát bình thường. Tuy nhiên, hãy lặn sâu hơn một chút và bạn có thể thấy hai chị em này có những mục đích khác nhau.

Quên

• Nó được xây dựng hoàn chỉnh từ đầu để lấy dữ liệu từ Internet.
• Không cần -L hoặc -o cờ như cURL; chỉ cần nhập wget [url] và bắt đầu!
• Có thể tải xuống đệ quy để lấy mọi thứ trong thư mục có -r cờ.
• Có tất cả các chức năng mà người dùng cần để sử dụng hàng ngày và phục vụ cho các tác vụ sysadmin hàng ngày.
• (Trong Linux) Không cần nhiều phụ thuộc; tất cả chúng sẽ có sẵn ngay khi xuất xưởng.

cURL

• Kho cờ rộng lớn và các chức năng hữu ích để truy xuất từ ​​xa.
• Hỗ trợ mạng cục bộ (LDAP) và máy in mạng (Samba).
• Hoạt động tốt với các thư viện nén gzip.
• Phụ thuộc vào libcurl, cho phép các nhà phát triển viết phần mềm hoặc tập lệnh cơ sở bao gồm chức năng của cURL.

Tóm lại, Wget là “hộp công cụ của mọi người” để lấy nội dung từ Internet, trong khi cURL mở rộng điều này với quyền kiểm soát chi tiết hơn cho người dùng thành thạo và quản trị viên hệ thống.

Câu hỏi Thường gặp

1. Tôi gặp lỗi chứng chỉ trong Linux. Làm cách nào để khắc phục sự cố này?

Nếu bạn gặp lỗi có nội dung như “tổ chức phát hành chứng chỉ ngang hàng đã được đánh dấu là không đáng tin cậy”, cách dễ nhất để khắc phục điều này là cài đặt lại gói chứng chỉ phổ biến trong bản phân phối của bạn.

Đối với hệ thống dựa trên Debian / Ubuntu:

sudo apt reinstall ca-certificates

Đối với Fedora / CentOS / RHEL:

dnf reinstall ca-certificates

Đối với hệ thống dựa trên Arch:

pacman -S ca-certificates

Lưu ý rằng trong Arch, bạn có thể muốn xóa bộ nhớ cache gói của mình bằng cách sử dụng pacman -Scc trước khi cài đặt lại gói chứng chỉ.

Nếu bạn vẫn gặp lỗi này, có thể đã xảy ra lỗi ở phần cuối của máy chủ.

2. Có an toàn khi chạy các lệnh cURL và bash cùng nhau không?

Mặc dù không phải là cách phổ biến nhất để cài đặt các ứng dụng Linux, nhưng có một số nhà phát triển (chẳng hạn như những người đứng sau NodeJS) không cho bạn lựa chọn nào khác ngoài việc sử dụng curl cùng với lệnh truy cập gốc chạy qua bash (ví dụ: curl [đối số] | sudo -E bash - ) để cài đặt phần mềm.

Nó có thể trông hơi đáng sợ, nhưng nếu những người đứng sau ứng dụng đáng tin cậy, thì rất ít khả năng bạn sẽ phá vỡ điều gì đó. Các tác nhân độc hại ở khắp mọi nơi và có thể xâm nhập vào các kho lưu trữ như Arch’s AUR, vì vậy hãy cài đặt bằng cách sử dụng curl kết hợp với các lệnh truy cập root thường không an toàn hơn làm như vậy thông qua trình quản lý gói của bạn.

3. Tôi có thể sử dụng cURL với Tor không?

Đúng! Khởi động Tor Browser (hoặc một dịch vụ tor độc lập) và sử dụng --proxy lá cờ. Tor cung cấp cho bạn một proxy cục bộ mà bạn có thể sử dụng để che IP của mình trong các ứng dụng khác. Dưới đây là một ví dụ về cURL được sử dụng với Tor:

curl --proxy localhost:9050 https://example.com

Các dịch vụ Tor độc lập sẽ sử dụng 9050 làm cổng lắng nghe của chúng, trong khi trình duyệt Tor sử dụng cổng 9150.

Kết thúc

cURL đã chứng tỏ khả năng phục hồi trong bối cảnh thay đổi kết cấu của thế giới Linux, giữ vị trí của nó như một công cụ quan trọng trong kho vũ khí của người dùng thiết bị đầu cuối.

Nếu bạn chưa quen với dòng lệnh, hãy xem một số lệnh Linux hữu ích nhất. Nếu bạn chỉ muốn tìm kiếm trên Web thay vì tải xuống dữ liệu từ Internet, bạn cũng có thể duyệt trên thiết bị đầu cuối.