Machine learning là khả năng tính toán mạnh mẽ dự đoán/dự báo những thứ thuật toán thông thường thấy khó. Hành trình ML bắt đầu bằng thu thập và chuẩn bị dữ liệu – rất nhiều – rồi xây dựng mô hình toán học dựa trên dữ liệu đó. Dù nhiều công cụ dùng cho tác vụ này, tôi thích dùng shell.
Shell là giao diện thực hiện phép toán dùng ngôn ngữ định nghĩa. Ngôn ngữ này gọi tương tác hoặc script. Khái niệm shell giới thiệu trong Unix thập niên 1970. Shell phổ biến bao gồm Bash, tcsh, Zsh. Chúng có sẵn mọi OS: Linux, macOS, Windows, cho độ di động cao. Bài này dùng Bash.
Bài này giới thiệu dùng shell thu thập và chuẩn bị dữ liệu. Dù bạn data scientist tìm công cụ hiệu quả hay shell expert xem kỹ năng dùng cho ML, hy vọng bạn thấy thông tin giá trị.
Ví dụ bài toán: tạo mô hình ML dự báo nhiệt độ các bang US. Dùng lệnh và script shell làm các bước thu thập và chuẩn bị dữ liệu:
- Tải dữ liệu
- Trích xuất trường cần thiết
- Tổng hợp dữ liệu
- Tạo chuỗi thời gian
- Tạo tập train, test, validate
Bạn có thể hỏi tại sao làm bằng shell, khi có thể làm tất cả trong Python ngôn ngữ ML. Câu hỏi tốt. Nếu xử lý dữ liệu bằng công nghệ dễ dàng, thân thiện, giàu tính năng như shell, data scientist chỉ tập trung modeling ML chứ không chi tiết ngôn ngữ.
Điều kiện tiên quyết
Đầu tiên, cần trình thông dịch shell cài sẵn. Nếu dùng Linux/macOS, đã có, và bạn có thể quen. Nếu Windows, thử MinGW hoặc Cygwin.
Tham khảo thêm:
- Hướng dẫn Bash ở opensource.com
- Hướng dẫn shell scripting chính thức của Steve Parker, tạo ra Bourne shell
- Bash Guide for Beginners của Linux Documentation Project
- Cần giúp lệnh cụ thể, gõ
<commandname> --helptrong shell; ví dụ:ls --help.
Bắt đầu
Shell đã sẵn sàng, bắt đầu chuẩn bị dữ liệu cho bài toán dự báo nhiệt độ.
1. Tải dữ liệu
Dữ liệu từ US National Oceanic and Atmospheric Administration (NOAA). Train mô hình dùng 10 năm dữ liệu hoàn chỉnh gần nhất. Nguồn tại https://www1.ncdc.noaa.gov/pub/data/ghcn/daily/by_year/, định dạng .csv và nén gzip.
Tải và giải nén bằng script shell. Dùng trình soạn thảo yêu thích tạo file download.sh dán code dưới. Comment giải thích lệnh:
#!/bin/sh
# Hashbang. Xác định executor chạy file.
# Đây script thực thi bởi shell.
# Nếu không chỉ định, phải chỉ định chương trình chạy script.
# Có hashbang: ./download.sh; Không: sh ./download.sh;
FROM_YEAR=2010
TO_YEAR=2019
year=$FROM_YEAR
# Với từng năm từ FROM_YEAR=2010 đến TO_YEAR=2019
while [ $year -le $TO_YEAR ]
do
# hiện năm đang tải
echo $year
# Tải
wget https://www1.ncdc.noaa.gov/pub/data/ghcn/daily/by_year/${year}.csv.gz
# Giải nén
gzip -d ${year}.csv.gz
# Sang năm tiếp theo bằng increment
year=$(($year+1))
done
Lưu ý:
- Nếu qua proxy server, tham khảo hướng dẫn Mark Grennan, dùng:
export http_proxy=https://username:password@proxyhost:port/
export https_proxy=https://username:password@proxyhost:port/ - Đảm bảo lệnh chuẩn đã trong PATH (như
/binhoặc/usr/bin). Nếu không, đặt PATH. - Wget tiện ích kết nối web server từ dòng lệnh. Nếu chưa cài, tải về.
- Đảm bảo có gzip, tiện ích nén/giải nén.
Chạy script tải, giải nén, có 10 năm dữ liệu CSV:
$ ./download.sh
2010
--2020-10-30 19:10:47-- https://www1.ncdc.noaa.gov/pub/data/ghcn/daily/by_year/2010.csv.gz
Resolving www1.ncdc.noaa.gov... 205.167.25.171, 205.167.25.172, 205.167.25.178, ...
Connecting... connected.
HTTP request sent, awaiting response... 200 OK
Length: 170466817 (163M) [application/gzip]
Saving to: '2010.csv.gz'
0K .......... .......... .......... .......... .......... 0% 69.4K 39m57s
...
Lệnh ls liệt kê nội dung thư mục. Dùng ls 20*.csv liệt kê file tên bắt đầu 20 kết thúc .csv.
$ ls 20*.csv
2010.csv 2011.csv 2012.csv 2013.csv 2014.csv 2015.csv 2016.csv 2017.csv 2018.csv 2019.csv
2. Trích xuất nhiệt độ trung bình
Trích dữ liệu TAVG (nhiệt độ trung bình) từ CSV cho vùng US:
extract_tavg_us.sh
#!/bin/sh
# Với mỗi file tên bắt đầu "20" kết thúc ".csv"
for csv_file in `ls 20*.csv`
do
# Thông báo file $csv_file trích xuất ra TAVG_US_$csv_file
# Ví dụ: 2010.csv -> TAVG_US_2010.csv
echo "$csv_file -> TAVG_US_$csv_file"
# grep "TAVG" $csv_file: Trích dòng chứa "TAVG"
# |: pipe
# grep "^US": Từ đó trích dòng bắt đầu "US"
# > TAVG_US_$csv_file: Lưu dòng trích xuất
grep "TAVG" $csv_file | grep "^US" > TAVG_US_$csv_file
done
Script này chạy:
$ ./extract_tavg_us.sh
2010.csv -> TAVG_US_2010.csv
...
2019.csv -> TAVG_US_2019.csv
Tạo file:
$ ls TAVG_US*.csv
TAVG_US_2010.csv TAVG_US_2011.csv TAVG_US_2012.csv TAVG_US_2013.csv
TAVG_US_2014.csv TAVG_US_2015.csv TAVG_US_2016.csv TAVG_US_2017.csv
TAVG_US_2018.csv TAVG_US_2019.csv
Vài dòng đầu TAVG_US_2010.csv:
$ head TAVG_US_2010.csv
USR0000AALC,20100101,TAVG,-220,,,U,
USR0000AALP,20100101,TAVG,-9,,,U,
USR0000ABAN,20100101,TAVG,12,,,U,
USR0000ABCA,20100101,TAVG,16,,,U,
USR0000ABCK,20100101,TAVG,-309,,,U,
USR0000ABER,20100101,TAVG,-81,,,U,
USR0000ABEV,20100101,TAVG,-360,,,U,
USR0000ABEN,20100101,TAVG,-224,,,U,
USR0000ABNS,20100101,TAVG,89,,,U,
USR0000ABLA,20100101,TAVG,59,,,U,
Lệnh head hiển thị vài dòng đầu (mặc định 10).
Dữ liệu có nhiều thông tin hơn cần. Giới hạn cột bằng cách loại cột 3 (vì toàn bộ dữ liệu là nhiệt độ trung bình) và cột 5 trở đi. Nghĩa là giữ cột 1 (trạm khí hậu), 2 (ngày), 4 (nhiệt độ ghi).
key_columns.sh
#!/bin/sh
# Với mỗi file tên bắt đầu "TAVG_US_" kết thúc ".csv"
for csv_file in `ls TAVG_US_*.csv`
do
echo "Exractiing columns $csv_file"
# cat $csv_file: 'cat' nối file - ở đây hiện file csv một năm
# |: pipe
# cut -d',' -f1,2,4: Cắt cột 1,2,4 với delimiter ,
# > $csv_file.cut: Lưu file tạm
cat $csv_file | cut -d',' -f1,2,4 > $csv_file.cut
# mv $csv_file.cut $csv_file: Đổi tên file tạm thành file gốc
mv $csv_file.cut $csv_file
# File xử lý xong lưu lại gốc
# Có cách khác
# Dùng file trung gian đáng tin cậy nhất.
done
Chạy script:
$ ./key_columns.sh
Extracting columns TAVG_US_2010.csv
...
Extracting columns TAVG_US_2019.csv
Vài dòng đầu TAVG_US_2010.csv sau khi bỏ dữ liệu thừa:
$ head TAVG_US_2010.csv
USR0000AALC,20100101,-220
USR0000AALP,20100101,-9
USR0000ABAN,20100101,12
USR0000ABCA,20100101,16
USR0000ABCK,20100101,-309
USR0000ABER,20100101,-81
USR0000ABEV,20100101,-360
USR0000ABEN,20100101,-224
USR0000ABNS,20100101,89
USR0000ABLA,20100101,59
Ngày dạng string (YMD). Để train mô hình đúng, thuật toán cần nhận diện trường ngày dạng Y,M,D ngăn cách phẩy (ví dụ 20100101 thành 2010,01,01). Chuyển đổi với tiện ích sed.
date_format.sh
for csv_file in `ls TAVG_*.csv`
do
echo Date formatting $csv_file
# Chèn , sau năm
sed -i 's/,..../&,/' $csv_file
# Chèn , sau tháng
sed -i 's/,....,../&,/' $csv_file
done
Chạy script:
$ ./date_format.sh
Date formatting TAVG_US_2010.csv
...
Date formatting TAVG_US_2019.csv
Vài dòng đầu TAVG_US_2010.csv với định dạng ngày ngăn cách phẩy:
$ head TAVG_US_2010.csv
USR0000AALC,2010,01,01,-220
USR0000AALP,2010,01,01,-9
USR0000ABAN,2010,01,01,12
USR0000ABCA,2010,01,01,16
USR0000ABCK,2010,01,01,-309
USR0000ABER,2010,01,01,-81
USR0000ABEV,2010,01,01,-360
USR0000ABEN,2010,01,01,-224
USR0000ABNS,2010,01,01,89
USR0000ABLA,2010,01,01,59
3. Tổng hợp dữ liệu nhiệt độ trung bình các bang
Dữ liệu thời tiết từ trạm khí hậu ở thành phố US, nhưng bạn muốn dự báo nhiệt độ toàn bang. Để chuyển dữ liệu trạm thành dữ liệu bang, trước tiên ánh xạ trạm khí hậu sang bang của chúng.
Tải danh sách trạm dùng wget:
$ wget ftp://ftp.ncdc.noaa.gov/pub/data/ghcn/daily/ghcnd-stations.txt
Trích trạm US dùng grep tìm listing US. Lệnh sau tìm dòng bắt đầu "US. > chuyển hướng output ra file us_stations.txt:
$ grep "^US" ghcnd-stations.txt > us_stations.txt
File này tạo cho pretty print, phân tách cột không nhất quán:
$ head us_stations.txt
US009052008 43.7333 -96.6333 482.0 SD SIOUX FALLS (ENVIRON. CANADA)
US10RMHS145 40.5268 -105.1113 1569.1 CO RMHS 1.6 SSW
US10adam001 40.5680 -98.5069 598.0 NE JUNIATA 1.5 S
...
Làm nhất quán bằng cat in file, tr squeeze lặp lại output file tạm, đổi tên file tạm về gốc – tất cả một dòng:
$ cat us_stations.txt | tr -s ' ' > us_stations.txt.tmp; cp us_stations.txt.tmp us_stations.txt;
Dòng đầu output:
$ head us_stations.txt
US009052008 43.7333 -96.6333 482.0 SD SIOUX FALLS (ENVIRON. CANADA)
US10RMHS145 40.5268 -105.1113 1569.1 CO RMHS 1.6 SSW
US10adam001 40.5680 -98.5069 598.0 NE JUNIATA 1.5 S
...
Chứa nhiều info – tọa độ GPS – nhưng chỉ cần mã trạm và bang. Dùng cut:
$ cut -d' ' -f1,5 us_stations.txt > us_stations.txt.tmp; mv us_stations.txt.tmp us_stations.txt;
Dòng đầu output:
$ head us_stations.txt
US009052008 SD
US10RMHS145 CO
US10adam001 NE
US10adam002 NE
...
Làm CSV đổi khoảng trắng thành phẩy dùng sed:
$ sed -i s/' '/,/g us_stations.txt
Dòng đầu output:
$ head us_stations.txt
US009052008,SD
US10RMHS145,CO
US10adam001,NE
US10adam002,NE
...
Dù dùng vài lệnh, có thể gộp tất cả bước trong một lần. Thử tự làm.
Bây giờ, thay mã trạm bằng vị trí bang dùng AWK, hiệu năng cao xử lý dữ liệu lớn.
station_to_state_data.sh
#!/bin/sh
for DATA_FILE in `ls TAVG_US_*.csv`
do
echo ${DATA_FILE}
awk -v FILE=$DATA_FILE -F, '
{
state_day_sum[$1 "," $2 "," $3 "," $4] = state_day_sum[$1 "," $2 "," $3 "," $4] + $5
state_day_num[$1 "," $2 "," $3 "," $4] = state_day_num[$1 "," $2 "," $3 "," $4] + 1
}
END {
for (state_day_key in state_day_sum) {
print state_day_key "," state_day_sum[state_day_key]/state_day_num[state_day_key]
}
}' OFS=, $DATA_FILE > STATE_DAY_${DATA_FILE}.tmp
sort -k1 -k2 -k3 -k4 < STATE_DAY_${DATA_FILE}.tmp > STATE_DAY_$DATA_FILE
rm -f STATE_DAY_${DATA_FILE}.tmp
done
Ý nghĩa tham số:
-F, | Phân tách trường là , |
FNR | Số dòng trong từng file |
NR | Số dòng trong cả hai file |
FNR==NR | TRUE chỉ trong file đầu ${PATTERN_FILE} |
{ x[$1]=$2; next; } | Nếu FNR==NR TRUE (tất cả dòng $PATTERN_FILE) |
- x | Biến lưu map station=state |
- x[$1]=$2 | Thêm dữ liệu station=state vào map |
- $1 | Cột 1 file đầu (mã trạm) |
- $2 | Cột 2 file đầu (mã bang) |
- x | Map tất cả trạm vd x[US009052008]=SD, x[US10RMHS145]=CO, ..., x[USW00096409]=AK |
- next | Đến dòng tiếp theo match FNR==NR (tạo map trạm-bang từ ${PATTERN_FILE}) |
{ $1=x[$1]; print $0 } | Nếu FNR==NR FALSE (tất cả dòng in $DATA_FILE) |
- $1=x[$1] | Thay trường 1 bằng x[$1]; thay mã trạm bằng mã bang |
- print $0 | In tất cả cột (kể cả $1 đã thay) |
OFS=, | Phân tách trường output là , |
CSV với mã trạm:
$ head TAVG_US_2010.csv
USR0000AALC,2010,01,01,-220
USR0000AALP,2010,01,01,-9
USR0000ABAN,2010,01,01,12
USR0000ABCA,2010,01,01,16
USR0000ABCK,2010,01,01,-309
USR0000ABER,2010,01,01,-81
USR0000ABEV,2010,01,01,-360
USR0000ABEN,2010,01,01,-224
USR0000ABNS,2010,01,01,89
USR0000ABLA,2010,01,01,59
Chạy lệnh:
$ ./station_to_state_data.sh
TAVG_US_2010.csv
...
TAVG_US_2019.csv
Trạm đã ánh xạ sang bang:
$ head TAVG_US_2010.csv
AK,2010,01,01,-220
AZ,2010,01,01,-9
AL,2010,01,01,12
AK,2010,01,01,16
AK,2010,01,01,-309
AK,2010,01,01,-81
AK,2010,01,01,-360
AK,2010,01,01,-224
AZ,2010,01,01,59
AK,2010,01,01,-68
Mỗi bang có vài đọc nhiệt độ mỗi ngày, cần tính trung bình đọc của mỗi bang cho một ngày. Dùng AWK xử lý text, sort đảm bảo kết quả thứ tự logic, rm xóa file tạm sau xử lý.
station_to_state_data.sh (phiên bản thứ 2 tính trung bình):
PATTERN_FILE=us_stations.txt
for DATA_FILE in `ls TAVG_US_*.csv`
do
echo ${DATA_FILE}
awk -F, \
'FNR==NR { x[$1]=$2; next; } { $1=x[$1]; print $0 }' \
OFS=, \
${PATTERN_FILE} ${DATA_FILE} > ${DATA_FILE}.tmp
mv ${DATA_FILE}.tmp ${DATA_FILE}
done
Tham số AWK:
FILE=$DATA_FILE | File CSV xử lý như FILE |
-F, | Phân tách trường , |
state_day_sum[$1 "," $2 "," $3 "," $4] = $5 | Tổng nhiệt độ ($5) cho bang ($1) năm ($2), tháng ($3), ngày ($4) |
state_day_num[$1 "," $2 "," $3 "," $4] = $5 | Số đọc nhiệt độ cho bang ($1) năm ($2), tháng ($3), ngày ($4) |
END | Cuối cùng, sau khi gom tổng và số đọc tất cả bang, năm, tháng, ngày, tính trung bình |
for (state_day_key in state_day_sum) | Với mỗi bang-năm-tháng-ngày |
print state_day_key "," state_day_sum[state_day_key]/state_day_num[state_day_key] | In bang,năm,tháng,ngày,trung bình |
OFS=, | Phân tách trường output , |
$DATA_FILE | File input (tất cả file tên TAVG_US_ đến .csv, lần lượt) |
> STATE_DAY_${DATA_FILE}.tmp | Lưu kết quả file tạm |
Chạy script:
$ ./TAVG_avg.sh
TAVG_US_2010.csv
TAVG_US_2011.csv
TAVG_US_2012.csv
TAVG_US_2013.csv
TAVG_US_2014.csv
TAVG_US_2015.csv
TAVG_US_2016.csv
TAVG_US_2017.csv
TAVG_US_2018.csv
TAVG_US_2019.csv
Tạo file:
$ ls STATE_DAY_TAVG_US_20*.csv
STATE_DAY_TAVG_US_2010.csv STATE_DAY_TAVG_US_2015.csv
STATE_DAY_TAVG_US_2011.csv STATE_DAY_TAVG_US_2016.csv
STATE_DAY_TAVG_US_2012.csv STATE_DAY_TAVG_US_2017.csv
STATE_DAY_TAVG_US_2013.csv STATE_DAY_TAVG_US_2018.csv
STATE_DAY_TAVG_US_2014.csv STATE_DAY_TAVG_US_2019.csv
Xem một năm dữ liệu tất cả bang (less xem output từng trang):
$ less STATE_DAY_TAVG_US_2010.csv
AK,2010,01,01,-181.934
...
AK,2010,01,31,-101.068
AK,2010,02,01,-107.11
...
AK,2010,02,28,-138.834
...
WY,2010,01,01,-43.5625
...
WY,2010,12,31,-215.583
Gộp tất cả file dữ liệu thành một:
$ cat STATE_DAY_TAVG_US_20*.csv > TAVG_US_2010-2019.csv
Bây giờ có một file, tất cả bang, tất cả năm:
$ cat TAVG_US_2010-2019.csv
AK,2010,01,01,-181.934
...
WY,2018,12,31,-167.421
AK,2019,01,01,-32.3386
...
WY,2019,12,30,-131.028
WY,2019,12,31,-79.8704
4. Tạo dữ liệu chuỗi thời gian
Vấn đề này phù hợp mô hình chuỗi thời gian như long short-term memory (LSTM), mạng nơron hồi quy (RNN). Input data tổ chức thành lát thời gian; coi 20 ngày là một lát.
Đây một lát thời gian (như STATE_DAY_TAVG_US_2010.csv):
X (input – 20 tuần):
AK,2010,01,01,-181.934
AK,2010,01,02,-199.531
...
AK,2010,01,20,-157.273
y (tuần 21, dự đoán cho 20 tuần này):
AK,2010,01,21,-165.31
Lát thời gian biểu diễn như (giá trị nhiệt độ 20 tuần đầu là X, 21 là y):
AK, -181.934,-199.531, ... ,
-157.273,-165.3
Các lát thời gian liền mạch. Ví dụ, cuối 2010 tiếp tục vào 2011:
AK,2010,12,22,-209.92
...
AK,2010,12,31,-79.8523
AK,2011,01,01,-59.5658
...
AK,2011,01,10,-100.623
Kết quả dự đoán:
AK,2011,01,11,-106.851
Lát thời gian này lấy như:
AK, -209.92, ... ,-79.8523,-59.5658, ... ,-100.623,-106.851
Và cứ thế, cho tất cả bang, năm, tháng, ngày. Xem thêm tutorial dự báo chuỗi thời gian.
Viết script tạo lát thời gian:
timeslices.sh
#!/bin/sh
TIME_SLICE_PERIOD=20
file=TAVG_US_2010-2019.csv
# Với mỗi bang trong file
for state in `cut -d',' -f1 $file | sort | uniq`
do
# Lấy tất cả giá trị nhiệt độ cho bang
state_tavgs=`grep $state $file | cut -d',' -f5`
# Bao nhiêu lát thời gian kết quả?
# số nhiệt độ ghi trừ kích thước một lát
num_slices=`echo $state_tavgs | wc -w`
num_slices=$((${num_slices} - ${TIME_SLICE_PERIOD}))
# Khởi tạo
slice_start=1; num_slice=0;
# Với mỗi lát
while [ $num_slice -lt $num_slices ]
do
# Một lát từ slice_start đến slice_end
slice_end=$(($slice_start + $TIME_SLICE_PERIOD - 1))
# X (1-20)
sliceX="$slice_start-$slice_end"
# y (21)
slicey=$(($slice_end + 1))
# In bang và giá trị nhiệt độ lát (cột 1-20 và 21)
echo $state `echo $state_tavgs | cut -d' ' -f$sliceX,$slicey`
# Tăng
slice_start=$(($slice_start + 1)); num_slice=$(($num_slice + 1));
done
done
Chạy script. Nó dùng khoảng trắng phân tách cột; đổi thành phẩy sed:
$ ./timeslices.sh > TIMESLICE_TAVG_US_2010-2019.csv; sed -i s/' '/,/g TIME_VARIANT_TAVG_US_2010-2019.csv
Vài dòng đầu và cuối output .csv:
$ head -3 TIME_VARIANT_TAVG_US_2009-2019.csv
AK,-271.271,-290.057,-300.324,-277.603,-270.36,-293.152,-292.829,-270.413,-256.674,-241.546,-217.757,-158.379,-102.585,-24.9517,-1.7973,15.9597,-5.78231,-33.932,-44.7655,-92.5694,-123.338
AK,-290.057,-300.324,-277.603,-270.36,-293.152,-292.829,-270.413,-256.674,-241.546,-217.757,-158.379,-102.585,-24.9517,-1.7973,15.9597,-5.78231,-33.932,-44.7655,-92.5694,-123.338,-130.829
AK,-300.324,-277.603,-270.36,-293.152,-292.829,-270.413,-256.674,-241.546,-217.757,-158.379,-102.585,-24.9517,-1.7973,15.9597,-5.78231,-33.932,-44.7655,-92.5694,-123.338,-123.979
$ tail -3 TIME_VARIANT_TAVG_US_2009-2019.csv
WY,-76.9167,-66.2315,-45.1944,-27.75,-55.3426,-81.5556,-124.769,-137.556,-90.213,-54.1389,-55.9907,-30.9167,-9.59813,7.86916,-1.09259,-13.9722,-47.5648,-83.5234,-98.2963,-124.694,-142.898,-131.028
WY,-66.2315,-45.1944,-27.75,-55.3426,-81.5556,-124.769,-137.556,-90.213,-54.1389,-55.9907,-30.9167,-9.59813,7.86916,-1.09259,-13.9722,-47.5648,-83.5234,-98.2963,-124.694,-142.898,-131.028,-79.8704
Mặc dù chạy được, nhưng không performant lắm. Có thể tối ưu – bạn thử? Báo cáo comment bên dưới bạn làm thế nào.
5. Tạo tập train, test, validate
Chia dữ liệu thành train, test, validate.
data_sets.sh
#!/bin/sh
GEN=SEQ
# GEN=RAN
FILE=TIMESLICE_TAVG_US_2010-2019.csv
TRAIN_SET_PERCENT=70
TEST_SET_PERCENT=20
VAL_SET_PERCENT=$(( 100 - $TRAIN_SET_PERCENT - $TEST_SET_PERCENT ))
TRAIN_DATA=TRAIN_$FILE
TEST_DATA=TEST_$FILE
VAL_DATA=VAL_$FILE
> $TRAIN_DATA
> $TEST_DATA
> $VAL_DATA
for state in `cut -d',' -f1 $FILE | sort | uniq`
do
NUM_STATE_DATA=`grep "$state" $FILE | wc -l`
echo "$state: $NUM_STATE_DATA"
TRAIN_NUM_DATA=$(( $NUM_STATE_DATA * $TRAIN_SET_PERCENT / 100 ))
TEST_NUM_DATA=$(( $NUM_STATE_DATA * $TEST_SET_PERCENT / 100 ))
VAL_NUM_DATA=$(( $NUM_STATE_DATA - $TRAIN_NUM_DATA - $TEST_NUM_DATA ))
if [ $GEN == "SEQ" ]
then
echo "Sequential"
STATE_DATA=`grep $state $FILE`
elif [ $GEN == "RAN" ]
then
echo "Randomized"
STATE_DATA=`grep $state $FILE | shuf`
else
echo "Unknown data gen type: " $GEN
exit 1
fi
# Train set
per=$TRAIN_SET_PERCENT
num=$TRAIN_NUM_DATA; from=1; to=$(($from + $num - 1));
echo Train set: $per% $num from=$from to=$to
echo "$STATE_DATA" | head -$to >> $TRAIN_DATA
# Test set
per=$TEST_SET_PERCENT
num=$TEST_NUM_DATA; from=$(($to + 1)); to=$(($from + $num - 1));
echo Test set: $per% $num from=$from to=$to
echo "$STATE_DATA" | head -$to | tail -$num >> $TEST_DATA
# Validate set
per=$VAL_SET_PERCENT
num=$VAL_NUM_DATA; from=$(($to + 1)); to=$NUM_STATE_DATA;
echo Validate set: $per% $num from=$from to=$to
echo "$STATE_DATA" | tail -$num >> $VAL_DATA
echo
done
Script tạo tập dữ liệu sequential hoặc randomized bằng GEN=SEQ hoặc GEN=RAN, và xáo trộn dữ liệu với shuf.
Chạy script:
$ ./data_sets.sh
AK: 3652
Sequential
Train set: 70% 2556 from=1 to=2556
Test set: 20% 730 from=2557 to=3286
Validate set: 10% 366 from=3287 to=3652
...
WY: 3352
Sequential
Train set: 70% 2346 from=1 to=2346
Test set: 20% 670 from=2347 to=3016
Validate set: 10% 336 from=3017 to=3352
Tạo file dữ liệu:
$ ls *_TIMESLICE_TAVG_US_2010-2019.csv
TEST_TIMESLICE_TAVG_US_2010-2019.csv VAL_TIMESLICE_TAVG_US_2010-2019.csv
TRAIN_TIMESLICE_TAVG_US_2010-2019.csv
Xử lý dữ liệu với shell
Khi cần xử lý lượng dữ liệu khổng lồ cho dự án ML tiếp theo, hãy nghĩ đến lệnh và script shell. Nó được chứng minh và sẵn sàng dùng với cộng đồng thân thiện hướng dẫn giúp đỡ.
Bài này giới thiệu shell xử lý dữ liệu, script demo cơ hội. Nhiều hơn có thể. Bạn muốn tiến xa hơn? Cho biết comment bên dưới.