Sử dụng duplicated() kết hợp toán tử phủ định ~ để lọc giữ lại các hàng đầu tiên của mỗi giá trị trùng lặp (loại bỏ các hàng trùng lặp hoàn toàn).
Ví dụ
Minh họa:
import pandas as pd
dataFrame = pd.DataFrame({
"Student": ['Jack', 'Robin', 'Ted', 'Robin', 'Scarlett', 'Kat', 'Ted'],
"Result": ['Pass', 'Fail', 'Pass', 'Fail', 'Pass', 'Pass', 'Pass']
})
print("DataFrame ...\n", dataFrame)
res = dataFrame[~dataFrame.duplicated('Student')]
print("\nDataFrame sau khi loại bỏ trùng lặp (giữ lần đầu):\n", res)
Kết quả
DataFrame ... Result Student 0 Pass Jack 1 Fail Robin 2 Pass Ted 3 Fail Robin 4 Pass Scarlett 5 Pass Kat 6 Pass Ted DataFrame after removing duplicates ... Result Student 0 Pass Jack 1 Fail Robin 2 Pass Ted 4 Pass Scarlett 5 Pass Kat