Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình Bash

Làm chủ Bash One-Liner Clone & Quản lý Repository GitHub & GitLab Liền Mạch

Ít điều thỏa mãn hơn one elegant line of Bash tự động hóa giờ làm việc nhàm chán.

Là một phần khám phá gần đây tự động tái tạo laptop với Bash script (bài sau!), tôi muốn cách dễ dàng clone GitHub-hosted repository sang máy mới. Sau khi đào một chút, tôi viết one-liner làm chính điều đó.

Sau đó, theo tinh thần không bỏ trứng vào một giỏ, tôi viết one-liner khác tự động tạo và push backup GitLab-hosted. Đây là chúng.

Bash one-liner clone tất cả GitHub repository của bạn

Lưu ý: bạn cần danh sách GitHub repository muốn clone. Điều tốt là nó cho bạn full agency chọn repository muốn trên máy, thay vì all-in.

Bạn dễ dàng clone GitHub repository không nhập mật khẩu mỗi lần bằng HTTPS với credential cache 15 phút hoặc, phương pháp tôi thích, kết nối GitHub với SSH. Để ngắn gọn tôi assume dùng SSH và SSH keys đã setup.

Cho danh sách GitHub URL trong file gh-repos.txt, như sau:

git@github.com:username/first-repository.git
git@github.com:username/second-repository.git
git@github.com:username/third-repository.git

Chúng ta chạy:

xargs -n1 git clone < gh-repos.txt

Lệnh này clone tất cả repository trong list vào folder hiện tại. One-liner này cũng work cho GitLab nếu thay URL thích hợp.

Đang xảy ra gì ở đây?

Có hai nửa one-liner này: input, ngược trực giác ở bên phải, và phần làm việc xảy ra, bên trái. Chúng ta có thể làm thứ tự phần này trực giác hơn (có lẽ?) bằng cách viết cùng lệnh như sau:

< gh-repos.txt xargs -n1 git clone

Để chạy lệnh cho mỗi dòng input, gh-repos.txt, dùng xargs -n1. Công cụ xargs đọc item từ input và execute command tìm thấy (sẽ echo nếu không tìm thấy). Mặc định nó assume item tách bằng space; new line cũng work và làm list dễ đọc. Cờ -n1 bảo xargs dùng 1 argument, hoặc trong trường hợp chúng ta, một dòng, per command. Chúng ta build command với git clone, xargs execute cho mỗi dòng. Ta-da.

Bash one-liner tạo và push nhiều repository trên GitLab

GitLab, khác GitHub, cho phép điều thú vị: không cần dùng website tạo repository mới trước. Chúng ta tạo GitLab repository mới từ terminal. Repository mới mặc định Private, nên nếu muốn Public trên GitLab, phải làm thủ công sau.

GitLab docs nói push tạo project mới dùng git push --set-upstream, nhưng tôi không thấy tiện cho backup GitLab. Khi làm việc với repository tương lai, tôi muốn chạy một lệnh push cả GitHub và GitLab không effort thêm.

Để one-liner này work, cũng cần danh sách URL repository GitLab (chưa tồn tại). Dễ dàng làm bằng copy GitHub repo list, mở Vim, search-and-replace:

cp gh-repos.txt gl-repos.txt
vim gl-repos.txt
:%s/\<github\>/gitlab/g
:wq

Điều này tạo gl-repos.txt, trông như:

git@gitlab.com:username/first-repository.git
git@gitlab.com:username/second-repository.git
git@gitlab.com:username/third-repository.git

Chúng ta tạo repository này trên GitLab, thêm URL làm remote, và push code vào repository mới bằng lệnh:

awk -F'\/|(\.git)' '{system("cd ~/FULL/PATH/" $2 " && git remote set-url origin --add " $0 " && git push")}' gl-repos.txt

Chờ đã, tôi giải thích; hiện chú ý ~/FULL/PATH/ phải là full path thư mục chứa GitHub repository của chúng ta.

Chúng ta có vài assumption:

  1. Tên thư mục local chứa repository trùng tên repository trong URL (sẽ đúng nếu clone bằng one-liner trên);
  2. Mỗi repository hiện checkout branch muốn push, ví dụ master.

One-liner có thể mở rộng handle assumption, nhưng theo quan điểm khiêm tốn của tác giả, lúc đó chúng ta thực sự nên viết Bash script.

Đang xảy ra gì ở đây?

Bash one-liner dùng mỗi dòng (hoặc URL) trong file gl-repos.txt làm input. Với awk, tách tên thư mục chứa repository local, dùng thông tin này build lệnh lớn hơn. Nếu print output awk, ta thấy:

cd ~/FULL/PATH/first-repository && git remote set-url origin --add git@gitlab.com:username/first-repository.git && git push
cd ~/FULL/PATH/second-repository && git remote set-url origin --add git@gitlab.com:username/second-repository.git && git push
cd ~/FULL/PATH/third-repository && git remote set-url origin --add git@gitlab.com:username/third-repository.git && git push

Hãy xem cách build lệnh này.

Tách string với awk

Công cụ awk tách input dựa trên field separator. Separator mặc định là whitespace, nhưng thay đổi bằng cờ -F. Bên cạnh single character, cũng dùng regular expression field separator. Vì repository URL có format cố định, lấy tên repository bằng substring giữa slash / và cuối URL .git.

Cách làm với regex \/|(\.git):

  • \/ là escaped / character;
  • | nghĩa là "or", bảo awk match expression nào;
  • (\.git) capture group cuối URL match ".git", với escaped .. Hơi cheat, vì ".git" không strictly split gì (không có gì bên kia) nhưng cách dễ lấy bỏ phần này.

Sau khi báo cho awk split ở đâu, lấy substring đúng với field operator. Tham chiếu field với $ rồi column number. Ví dụ muốn field thứ hai, $2. Các substring trông như:

1: git@gitlab.com:username
2: first-repository

Để dùng toàn string, hoặc URL toàn bộ, dùng field operator $0. Viết command, thay field operator cho tên repository và URL. Chạy với print khi build giúp đảm bảo space đúng.

awk -F'\/|(\.git)' '{print "cd ~/FULL/PATH/" $2 " && git remote set-url origin --add " $0 " && git push"}' gl-repos.txt

Chạy lệnh

Chúng ta build command bên trong parenthesis của system(). Dùng đây làm output của awk, mỗi command chạy ngay khi build xong và output. Function system() tạo child process execute command, return khi command xong. Viết đơn giản, cho phép perform Git command trên từng repository, one-by-one, không break từ main process awk làm việc với input file. Đây command cuối cùng, gom lại.

awk -F'\/|(\.git)' '{system("cd ~/FULL/PATH/" $2 " && git remote set-url origin --add " $0 " && git push")}' gl-repos.txt

Sử dụng backup

Bằng cách thêm GitLab URL làm remote, chúng ta đơn giản hóa push cả hai external hosted repository. Chạy git remote -v trong thư mục repository, ta thấy:

origin git@github.com:username/first-repository.git (fetch)
origin git@github.com:username/first-repository.git (push)
origin git@gitlab.com:username/first-repository.git (push)

Bây giờ, chỉ chạy git push không argument sẽ push branch hiện tại đến cả hai remote repository.

Cũng lưu ý git pull thường chỉ pull từ remote repository clone gốc (URL đánh dấu (fetch) ví dụ trên). Pull từ nhiều Git repository cùng lúc có thể, nhưng phức tạp, ngoài scope bài này. Đây giải thích push/pull multiple remote giúp bắt đầu, nếu tò mò. Git documentation on remotes cũng hữu ích.

Về sự ngắn gọn của Bash one-liners

Bash one-liners, khi hiểu, có thể vui và shortcut tiện. Ít nhất, nhận thức tool như xargs và awk giúp tự động hóa và giảm nhẹ nhàm chán trong công việc. Tuy nhiên, có downside.

Về easy-to-understand, maintainable, approachable tool, Bash one-liners suck. Chúng thường phức tạp viết hơn Bash script dùng if hoặc while loop, và chắc chắn phức tạp đọc hơn. Có khả năng khi viết, miss single quote hoặc closing parenthesis đâu đó; và như bài này chứng minh, chúng tốn khá nhiều giải thích. Vậy tại sao dùng?

Hãy tưởng tượng đọc công thức nướng bánh, step by step. Bạn hiểu method và ingredient, gather supplies. Sau đó, suy nghĩ, bạn nhận ra nếu ném tất cả ingredient vào lò theo đúng thứ tự, bánh sẽ instantly materialize. Bạn thử, và nó work!

Đó khá satisfying, phải không?