Làm cách nào để loại bỏ các dòng lặp lại trong một hàm python?

Hãy để chúng tôi đặt tên cho tệp văn bản đã cho là bar.txt

Chúng tôi sử dụng các phương pháp xử lý tệp trong python để loại bỏ các dòng trùng lặp trong tệp văn bản hoặc hàm của python. Tệp văn bản hoặc hàm phải nằm trong cùng thư mục với tệp chương trình python. Mã sau là một cách để loại bỏ các bản sao trong tệp văn bản bar.txt và đầu ra được lưu trữ trong foo.txt. Các tệp này phải nằm trong cùng thư mục với tệp tập lệnh python, nếu không, tệp này sẽ không hoạt động.

Tệp bar.txt như sau

 Bò là động vật, bò cũng là động vật, trâu cũng là động vật. 
 Ví dụ 
 

 Đoạn mã dưới đây xóa các dòng trùng lặp trong bar.txt và lưu trữ trong foo.txt 
 
 # Chương trình này mở tệp bar.txt và xóa các dòng trùng lặp và ghi # nội dung vào tệp foo.txt.lines_seen =set () # giữ các dòng đã có seenoutfile =open ('foo.txt', "w") trong tệp =open ('bar.txt', "r") print "File bar.txt như sau" cho dòng trong infile:in dòng nếu dòng không nằm trong lines_seen:# không phải là dòng trùng lặp outfile.write (line) lines_seen.add (line) outfile.close () print "Tệp foo.txt như sau" cho dòng in mở ('foo.txt', "r"):dòng in 
 
 Đầu ra 
 

 Tệp foo.txt như sau 
 
 Con bò là một con vật, con trâu cũng là một con vật, nó là vua của rừng rậm.