Chỉ số khả năng đọc trong Python (NLP)?

Xử lý ngôn ngữ tự nhiên là nghiên cứu về việc tạo ra tự động và hiểu các ngôn ngữ tự nhiên của con người. Điều này ngày càng trở thành những nhiệm vụ thú vị cần giải quyết, khi công nghệ máy tính được tích hợp vào hầu hết mọi ngành công nghiệp ngày nay. Chúng tôi sẽ nghiên cứu một lĩnh vực cụ thể trong xử lý ngôn ngữ tự nhiên; khả năng đọc. Điều này liên quan đến chủ đề xác định khả năng đọc của một văn bản. Điều này cho thấy mức độ khó khăn khi đọc hoặc hiểu một văn bản.

Chỉ số khả năng đọc là một giá trị số cho biết mức độ khó (hoặc dễ) để đọc và hiểu một văn bản. Có một số bài kiểm tra khác nhau để xác định khả năng đọc và chúng có các lĩnh vực sử dụng khác nhau.

"Khả năng đọc mô tả sự dễ dàng mà một tài liệu có thể được đọc" [13]. Tồn tại nhiều bài kiểm tra khác nhau [9] để tính toán khả năng đọc. Các bài kiểm tra khả năng đọc được "coi là dự đoán về mức độ dễ đọc nhưng không phải là phương pháp duy nhất để xác định khả năng đọc"

Một số bài kiểm tra là ngôn ngữ trung lập, nhưng có một số bài kiểm tra phù hợp hơn với một số ngôn ngữ nhất định. Kiến thức về các bài kiểm tra khả năng đọc khác nhau là điều cần thiết đối với chúng tôi.

ARI = 4.71 * (characters/words) 
+ 0.5 * (words/sentence) -21.43

FRE = 206.835 − 1.015*(total words/ 
total sentences) − 84.6 * (total
syllables/ total words)

FKGL = 0.39 * (total words/ total 
sentences) + 11.8 (total syllables/ 
total words) -15.59

CLI = (5.89 * (characters/ words)) − 
(30 *(sentences/words)) − 15.8

GFI = 0.4 * (( words/ sentence) + 
100 * (complex words/ words))

RIX = (Long Words/ Sentences)
(long words = words where number of characters > 6)

LIX = (total words/ total sentences) + 
(long words/ total words * 100)
(long words = words where number 
of characters > 6)

Ví dụ:dưới đây là chương trình thông qua chỉ mục bùi nhùi để xác định khả năng đọc của tệp văn bản.

Giả định

Từ phía trên, công thức Cấp độ lớp được sử dụng để tính Cấp độ tương đương G -

FKGL =0,39 * (tổng số từ / tổng số câu) + 11,8 (tổng số âm tiết / tổng số từ) -15,59

Mã

import os
dire = os.getcwd()
listOfdir = os.listdir(dire)
while True:
   UserFileName = input('Enter file name:')
   if (UserFileName in listOfdir) and (UserFileName.endswith(".txt")):
      InputFile = open(UserFileName,'r')
      text = InputFile.read()
      sentence = text.count('.') + text.count('!') + text.count(';') + text.count(':') + text.count('?')
      words = len(text.split())
      syllable = 0
      for word in text.split():
         for vowel in ['a','e','i','o','u']:
            syllable + = word.count(vowel)
         for ending in ['es','ed','e']:
            if word.endswith(ending):
               syllable - = 1
         if word.endswith('le'):
            syllable + = 1
      G = round((0.39*words)/sentence+ (11.8*syllable)/words-15.59)
      if G > = 0 and G < = 30:
         print ('The Readability level is College')
      elif G > = 50 and G < = 60:
         print ('The Readability level is High School')
      elif G > = 90 and G < = 100:
         print ('The Readability level is fourth grade')
      print ('This text has %d words' %(words))
   elif UserFileName not in listOfdir:
      print ('This text file does not exist in current directory')
   elif not(UserFileName.endswith('.txt')):
      print ('This is not a text file.')

Đầu ra

Enter file name:dataVisualization.txt
The Readability level is College
This text has 64 words