code evalution

train/code/main.py

@@ -4,6 +4,8 @@
 from transformers import GPT2LMHeadModel, Trainer, TrainingArguments
 from transformers import PreTrainedTokenizerFast, TextDataset, DataCollatorForLanguageModeling
 import torch
+import evaluate
+import pandas as pd
 
 
 log_dir_name = datetime.now().strftime("%Y-%m-%d_%H-%M-%S")
@@ -119,3 +121,49 @@ def train(train_file_path,
 logging.info(f"  - Dataset: {train_file_path_var}")
 logging.info(f"  - Epochs: {num_train_epochs_var}")
 logging.info(f"  - Logs saved to: {log_dir}")
+
+logging.info("Evaluating Trained Model Started...")
+logging.info(f"Evaluating Model in: {output_dir} Directory.")
+
+trained_model = GPT2LMHeadModel.from_pretrained(output_dir)
+
+logging.info("Evaluating model slected: Bleu")
+
+bleu=evaluate.load('bleu')
+
+logging.info(f"Readin evaluation data form: {input_base_dir + "eval.csv"}")
+
+eval_data = pd.read_csv(input_base_dir + "eval.csv")
+
+logging.warning("Seperating wrong and correct data...")
+wrong_name = eval_data["wrong"]
+correct_name = eval_data["correct"]
+
+logging.warning("Predicting started...")
+
+predicted_data=[]
+my_ref=[]
+for i in  wrong_name:
+
+    tokenized_sequence=tokenizer(i,return_tensors='pt')
+    input_ids=tokenized_sequence.input_ids
+    gen_tokens = trained_model.generate(
+    input_ids,
+    do_sample=True,
+    temperature=0.9,
+    max_length=15,)
+    gen_text = tokenizer.batch_decode(gen_tokens)[0]
+    correctname=gen_text[len(i)+1:]
+    e=correctname.split('\n')[0]
+    predicted_data.append(e)
+
+for j in correct_name:
+
+    my_ref.append(j) 
+
+
+results = bleu.compute(predictions=predicted_data, references=my_ref,
+          max_order = 2)
+logging.info("Evaluation compeleted...")
+
+logging.warning(f"- Evaluation trained model result: {results}") 

train/input/eval.csv

@@ -0,0 +1,101 @@
+wrong,correct
+سعیید حسلناباو, ابوالحسن سعیدی
+صعیدی ابوالحثن, ابوالحسن سعیدی
+یعدیس دماح, احمد سعیدی
+سعیدی احمد, احمد سعیدی
+عدییس ضاردماح, احمدرضا سعیدی
+ثعیدی احمدرظا, احمدرضا سعیدی
+دسیعی آرذ, آذر سعیدی
+سعیدی آذر, آذر سعیدی
+سییعد شرآ, آرش سعیدی
+سعیدی آرش, آرش سعیدی
+ییعسد آ مانر, آ رمان سعیدی
+ثعیدی آ رمان, آ رمان سعیدی
+یسعید یآ ار, آ ریا سعیدی
+ثعیدی آ ریا, آ ریا سعیدی
+عدییس ادهز ا, ا زاده سعیدی
+صعیدی ا ظاده, ا زاده سعیدی
+دعیسی ادزآ , آ زاد سعیدی
+ثعیدی آ ظاد, آ زاد سعیدی
+دیسیع مسل یااع, ا سماعیل سعیدی
+سعیدی ا ثماعیل, ا سماعیل سعیدی
+عیسید اشفر, اشرف سعیدی
+صعیدی اشرف, اشرف سعیدی
+یدعیس اغصر , ا صغر سعیدی
+صعیدی ا صغر, ا صغر سعیدی
+سییعد ظ معا, ا عظم سعیدی
+سعیدی ا عضم, ا عظم سعیدی
+یدعسی سهفناا, افسانه سعیدی
+ثعیدی افثانه, افسانه سعیدی
+دیعسی فا یشن, ا فشین سعیدی
+صعیدی ا فشین, ا فشین سعیدی
+دعییس  ادقس, ا قدس سعیدی
+ثعیدی ا قدص, ا قدس سعیدی
+عییدس ابکر , ا کبر سعیدی
+صعیدی ا کبر, ا کبر سعیدی
+دسییع ک وآ, آ کو سعیدی
+سعیدی آ کو, آ کو سعیدی
+یعدسی لآ ان, آ لان سعیدی
+ثعیدی آ لان, آ لان سعیدی
+سییعد لان شا, ا لشان سعیدی
+صعیدی ا لشان, ا لشان سعیدی
+عیدیس ا ز الن, ا لنا ز سعیدی
+ثعیدی ا لنا ض, ا لنا ز سعیدی
+یدیعس الانز , ا لناز سعیدی
+صعیدی ا لناض, ا لناز سعیدی
+یعدسی م اا له, ا لها م سعیدی
+ثعیدی ا لها م, ا لها م سعیدی
+دیعسی لاهه , ا لهه سعیدی
+ثعیدی ا لهه, ا لهه سعیدی
+یعسدی ن امنابیل , ا م البنین سعیدی
+صعیدی ا م البنین, ا م البنین سعیدی
+دسییع رامی , ا میر سعیدی
+صعیدی ا میر, ا میر سعیدی
+یسیدع حسمیر نا ی, ا میر حسین سعیدی
+ثعیدی ا میر حسین, ا میر حسین سعیدی
+دسییع  ریض مراا , ا میر ر ضا سعیدی
+صعیدی ا میر ر ضا, ا میر ر ضا سعیدی
+عدیسی همی نآ, آ مینه سعیدی
+سعیدی آ مینه, آ مینه سعیدی
+سدییع  ادآنهی, آ ناهید سعیدی
+صعیدی آ ناهید, آ ناهید سعیدی
+دییعس نیس ا, ا نیس سعیدی
+صعیدی ا نیث, ا نیس سعیدی
+ییسعد اتوآ, آوات سعیدی
+سعیدی آواط, آوات سعیدی
+ییدسع  ی کآت, آ ی تک سعیدی
+سعیدی آ ی طک, آ ی تک سعیدی
+دییسع رایسد, ادریس سعیدی
+سعیدی ادریص, ادریس سعیدی
+ییدسع لاهالسد, اسدالله سعیدی
+سعیدی اصدالله, اسدالله سعیدی
+سدیعی صاغر, اصغر سعیدی
+صعیدی اسغر, اصغر سعیدی
+سیدیع کربا, اکبر سعیدی
+ثعیدی اکبر, اکبر سعیدی
+یسدعی هبارل یلد, الله بردی سعیدی
+صعیدی الله بردی, الله بردی سعیدی
+عییسد املاه, الهام سعیدی
+ثعیدی الهام, الهام سعیدی
+یسدیع لاالمی , ام لیلا سعیدی
+صعیدی ام لیلا, ام لیلا سعیدی
+دیعیس ایدم, امید سعیدی
+صعیدی امید, امید سعیدی
+یسدیع یاجر, ایرج سعیدی
+ثعیدی ایرج, ایرج سعیدی
+عسیید ابا, ابا سعیدی
+ثعیدی ابا, ابا سعیدی
+عسیید اا کربب, ابا بکر سعیدی
+سعیدی ابا بکر, ابا بکر سعیدی
+عییدس بذ اار, ابا ذر سعیدی
+ثعیدی ابا ذر, ابا ذر سعیدی
+یعدسی  لابسات, ابا سلت سعیدی
+صعیدی ابا صلت, ابا سلت سعیدی
+سییدع  اصلتاب, ابا صلت سعیدی
+سعیدی ابا صلت, ابا صلت سعیدی
+یسیدع باکبار, ابابکر سعیدی
+ثعیدی ابابکر, ابابکر سعیدی
+یعیسد ابتا, ابات سعیدی
+سعیدی اباط, ابات سعیدی
+دسیعی آابد, آباد سعیدی
+صعیدی آباد, آباد سعیدی