Python – Loại bỏ hàng trùng lặp (duplicate rows) khỏi Pandas DataFrame

Giới thiệu

Để xóa các hàng trùng lặp hoàn toàn (tất cả cột giống nhau) khỏi DataFrame, dùng phương thức drop_duplicates().

Ví dụ minh họa

import pandas as pd

# Tạo DataFrame có hàng trùng
dataFrame = pd.DataFrame({
    'Car': ['BMW', 'Mercedes', 'Lamborghini', 'BMW', 'Mercedes', 'Porsche'],
    'Place': ['Delhi', 'Hyderabad', 'Chandigarh', 'Delhi', 'Hyderabad', 'Mumbai'],
    'UnitsSold': [95, 70, 80, 95, 70, 90]
})
print("DataFrame gốc...\n", dataFrame)

# Đếm tần suất cột Car trước
count = dataFrame['Car'].value_counts()
print("\nTần suất Car trước:", count)

# Xóa duplicate
dataFrame = dataFrame.drop_duplicates()
print("\nDataFrame sau drop_duplicates...\n", dataFrame)

# Đếm lại
count = dataFrame['Car'].value_counts()
print("\nTần suất Car sau:", count)

Kết quả đầu ra

DataFrame gốc...
        Car      Place  UnitsSold
0       BMW     Delhi         95
1  Mercedes  Hyderabad         70
2 Lamborghini Chandigarh         80
3       BMW     Delhi         95
4  Mercedes  Hyderabad         70
5   Porsche   Mumbai         90

Tần suất Car trước:
BMW         2
Mercedes    2
Porsche     1
Lamborghini 1

DataFrame sau drop_duplicates...
        Car      Place  UnitsSold
0       BMW     Delhi         95
1  Mercedes  Hyderabad         70
2 Lamborghini Chandigarh         80
5   Porsche   Mumbai         90

Tần suất Car sau:
BMW         1
Mercedes    1
Porsche     1
Lamborghini 1

Lưu ý: drop_duplicates() mặc định giữ hàng đầu tiên (keep='first'), so sánh tất cả cột. Có thể dùng subset để chỉ xét một vài cột.