bengali_stopwords_word2vector.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "%matplotlib inline\n",
    "\n",
    "from nltk.stem import PorterStemmer\n",
    "from nltk.corpus import stopwords\n",
    "from nltk.tokenize import word_tokenize\n",
    "\n",
    "import gensim\n",
    "from gensim.models import Word2Vec\n",
    "from IPython.display import display,HTML\n",
    "import tensorflow.compat.v1 as tf\n",
    "\n",
    "import warnings\n",
    "warnings.filterwarnings(\"ignore\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "stemmer = PorterStemmer()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['অতএব',\n",
       " 'অথচ',\n",
       " 'অথবা',\n",
       " 'অনুযায়ী',\n",
       " 'অনেক',\n",
       " 'অনেকে',\n",
       " 'অনেকেই',\n",
       " 'অন্তত',\n",
       " 'অন্য',\n",
       " 'অবধি',\n",
       " 'অবশ্য',\n",
       " 'অর্থাত',\n",
       " 'আই',\n",
       " 'আগামী',\n",
       " 'আগে',\n",
       " 'আগেই',\n",
       " 'আছে',\n",
       " 'আজ',\n",
       " 'আদ্যভাগে',\n",
       " 'আপনার',\n",
       " 'আপনি',\n",
       " 'আবার',\n",
       " 'আমরা',\n",
       " 'আমাকে',\n",
       " 'আমাদের',\n",
       " 'আমার',\n",
       " 'আমি',\n",
       " 'আর',\n",
       " 'আরও',\n",
       " 'ই',\n",
       " 'ইত্যাদি',\n",
       " 'ইহা',\n",
       " 'উচিত',\n",
       " 'উত্তর',\n",
       " 'উনি',\n",
       " 'উপর',\n",
       " 'উপরে',\n",
       " 'এ',\n",
       " 'এঁদের',\n",
       " 'এঁরা',\n",
       " 'এই',\n",
       " 'একই',\n",
       " 'একটি',\n",
       " 'একবার',\n",
       " 'একে',\n",
       " 'এক্',\n",
       " 'এখন',\n",
       " 'এখনও',\n",
       " 'এখানে',\n",
       " 'এখানেই',\n",
       " 'এটা',\n",
       " 'এটাই',\n",
       " 'এটি',\n",
       " 'এত',\n",
       " 'এতটাই',\n",
       " 'এতে',\n",
       " 'এদের',\n",
       " 'এব',\n",
       " 'এবং',\n",
       " 'এবার',\n",
       " 'এমন',\n",
       " 'এমনকী',\n",
       " 'এমনি',\n",
       " 'এর',\n",
       " 'এরা',\n",
       " 'এল',\n",
       " 'এস',\n",
       " 'এসে',\n",
       " 'ঐ',\n",
       " 'ও',\n",
       " 'ওঁদের',\n",
       " 'ওঁর',\n",
       " 'ওঁরা',\n",
       " 'ওই',\n",
       " 'ওকে',\n",
       " 'ওখানে',\n",
       " 'ওদের',\n",
       " 'ওর',\n",
       " 'ওরা',\n",
       " 'কখনও',\n",
       " 'কত',\n",
       " 'কবে',\n",
       " 'কমনে',\n",
       " 'কয়েক',\n",
       " 'কয়েকটি',\n",
       " 'করছে',\n",
       " 'করছেন',\n",
       " 'করতে',\n",
       " 'করবে',\n",
       " 'করবেন',\n",
       " 'করলে',\n",
       " 'করলেন',\n",
       " 'করা',\n",
       " 'করাই',\n",
       " 'করায়',\n",
       " 'করার',\n",
       " 'করি',\n",
       " 'করিতে',\n",
       " 'করিয়া',\n",
       " 'করিয়ে',\n",
       " 'করে',\n",
       " 'করেই',\n",
       " 'করেছিলেন',\n",
       " 'করেছে',\n",
       " 'করেছেন',\n",
       " 'করেন',\n",
       " 'কাউকে',\n",
       " 'কাছ',\n",
       " 'কাছে',\n",
       " 'কাজ',\n",
       " 'কাজে',\n",
       " 'কারও',\n",
       " 'কারণ',\n",
       " 'কি',\n",
       " 'কিংবা',\n",
       " 'কিছু',\n",
       " 'কিছুই',\n",
       " 'কিন্তু',\n",
       " 'কী',\n",
       " 'কে',\n",
       " 'কেউ',\n",
       " 'কেউই',\n",
       " 'কেখা',\n",
       " 'কেন',\n",
       " 'কোটি',\n",
       " 'কোন',\n",
       " 'কোনও',\n",
       " 'কোনো',\n",
       " 'ক্ষেত্রে',\n",
       " 'কয়েক',\n",
       " 'খুব',\n",
       " 'গিয়ে',\n",
       " 'গিয়েছে',\n",
       " 'গিয়ে',\n",
       " 'গুলি',\n",
       " 'গেছে',\n",
       " 'গেল',\n",
       " 'গেলে',\n",
       " 'গোটা',\n",
       " 'চলে',\n",
       " 'চান',\n",
       " 'চায়',\n",
       " 'চার',\n",
       " 'চালু',\n",
       " 'চেয়ে',\n",
       " 'চেষ্টা',\n",
       " 'ছাড়া',\n",
       " 'ছাড়াও',\n",
       " 'ছিল',\n",
       " 'ছিলেন',\n",
       " 'জন',\n",
       " 'জনকে',\n",
       " 'জনের',\n",
       " 'জন্য',\n",
       " 'জন্যওজে',\n",
       " 'জানতে',\n",
       " 'জানা',\n",
       " 'জানানো',\n",
       " 'জানায়',\n",
       " 'জানিয়ে',\n",
       " 'জানিয়েছে',\n",
       " 'জে',\n",
       " 'জ্নজন',\n",
       " 'টি',\n",
       " 'ঠিক',\n",
       " 'তখন',\n",
       " 'তত',\n",
       " 'তথা',\n",
       " 'তবু',\n",
       " 'তবে',\n",
       " 'তা',\n",
       " 'তাঁকে',\n",
       " 'তাঁদের',\n",
       " 'তাঁর',\n",
       " 'তাঁরা',\n",
       " 'তাঁাহারা',\n",
       " 'তাই',\n",
       " 'তাও',\n",
       " 'তাকে',\n",
       " 'তাতে',\n",
       " 'তাদের',\n",
       " 'তার',\n",
       " 'তারপর',\n",
       " 'তারা',\n",
       " 'তারৈ',\n",
       " 'তাহলে',\n",
       " 'তাহা',\n",
       " 'তাহাতে',\n",
       " 'তাহার',\n",
       " 'তিনঐ',\n",
       " 'তিনি',\n",
       " 'তিনিও',\n",
       " 'তুমি',\n",
       " 'তুলে',\n",
       " 'তেমন',\n",
       " 'তো',\n",
       " 'তোমার',\n",
       " 'থাকবে',\n",
       " 'থাকবেন',\n",
       " 'থাকা',\n",
       " 'থাকায়',\n",
       " 'থাকে',\n",
       " 'থাকেন',\n",
       " 'থেকে',\n",
       " 'থেকেই',\n",
       " 'থেকেও',\n",
       " 'দিকে',\n",
       " 'দিতে',\n",
       " 'দিন',\n",
       " 'দিয়ে',\n",
       " 'দিয়েছে',\n",
       " 'দিয়েছেন',\n",
       " 'দিলেন',\n",
       " 'দু',\n",
       " 'দুই',\n",
       " 'দুটি',\n",
       " 'দুটো',\n",
       " 'দেওয়া',\n",
       " 'দেওয়ার',\n",
       " 'দেওয়া',\n",
       " 'দেখতে',\n",
       " 'দেখা',\n",
       " 'দেখে',\n",
       " 'দেন',\n",
       " 'দেয়',\n",
       " 'দ্বারা',\n",
       " 'ধরা',\n",
       " 'ধরে',\n",
       " 'ধামার',\n",
       " 'নতুন',\n",
       " 'নয়',\n",
       " 'না',\n",
       " 'নাই',\n",
       " 'নাকি',\n",
       " 'নাগাদ',\n",
       " 'নানা',\n",
       " 'নিজে',\n",
       " 'নিজেই',\n",
       " 'নিজেদের',\n",
       " 'নিজের',\n",
       " 'নিতে',\n",
       " 'নিয়ে',\n",
       " 'নিয়ে',\n",
       " 'নেই',\n",
       " 'নেওয়া',\n",
       " 'নেওয়ার',\n",
       " 'নেওয়া',\n",
       " 'নয়',\n",
       " 'পক্ষে',\n",
       " 'পর',\n",
       " 'পরে',\n",
       " 'পরেই',\n",
       " 'পরেও',\n",
       " 'পর্যন্ত',\n",
       " 'পাওয়া',\n",
       " 'পাচ',\n",
       " 'পারি',\n",
       " 'পারে',\n",
       " 'পারেন',\n",
       " 'পি',\n",
       " 'পেয়ে',\n",
       " 'পেয়্র্',\n",
       " 'প্রতি',\n",
       " 'প্রথম',\n",
       " 'প্রভৃতি',\n",
       " 'প্রযন্ত',\n",
       " 'প্রাথমিক',\n",
       " 'প্রায়',\n",
       " 'প্রায়',\n",
       " 'ফলে',\n",
       " 'ফিরে',\n",
       " 'ফের',\n",
       " 'বক্তব্য',\n",
       " 'বদলে',\n",
       " 'বন',\n",
       " 'বরং',\n",
       " 'বলতে',\n",
       " 'বলল',\n",
       " 'বললেন',\n",
       " 'বলা',\n",
       " 'বলে',\n",
       " 'বলেছেন',\n",
       " 'বলেন',\n",
       " 'বসে',\n",
       " 'বহু',\n",
       " 'বা',\n",
       " 'বাদে',\n",
       " 'বার',\n",
       " 'বি',\n",
       " 'বিনা',\n",
       " 'বিভিন্ন',\n",
       " 'বিশেষ',\n",
       " 'বিষয়টি',\n",
       " 'বেশ',\n",
       " 'বেশি',\n",
       " 'ব্যবহার',\n",
       " 'ব্যাপারে',\n",
       " 'ভাবে',\n",
       " 'ভাবেই',\n",
       " 'মতো',\n",
       " 'মতোই',\n",
       " 'মধ্যভাগে',\n",
       " 'মধ্যে',\n",
       " 'মধ্যেই',\n",
       " 'মধ্যেও',\n",
       " 'মনে',\n",
       " 'মাত্র',\n",
       " 'মাধ্যমে',\n",
       " 'মোট',\n",
       " 'মোটেই',\n",
       " 'যখন',\n",
       " 'যত',\n",
       " 'যতটা',\n",
       " 'যথেষ্ট',\n",
       " 'যদি',\n",
       " 'যদিও',\n",
       " 'যা',\n",
       " 'যাঁর',\n",
       " 'যাঁরা',\n",
       " 'যাওয়া',\n",
       " 'যাওয়ার',\n",
       " 'যাওয়া',\n",
       " 'যাকে',\n",
       " 'যাচ্ছে',\n",
       " 'যাতে',\n",
       " 'যাদের',\n",
       " 'যান',\n",
       " 'যাবে',\n",
       " 'যায়',\n",
       " 'যার',\n",
       " 'যারা',\n",
       " 'যিনি',\n",
       " 'যে',\n",
       " 'যেখানে',\n",
       " 'যেতে',\n",
       " 'যেন',\n",
       " 'যেমন',\n",
       " 'র',\n",
       " 'রকম',\n",
       " 'রয়েছে',\n",
       " 'রাখা',\n",
       " 'রেখে',\n",
       " 'লক্ষ',\n",
       " 'শুধু',\n",
       " 'শুরু',\n",
       " 'সঙ্গে',\n",
       " 'সঙ্গেও',\n",
       " 'সব',\n",
       " 'সবার',\n",
       " 'সমস্ত',\n",
       " 'সম্প্রতি',\n",
       " 'সহ',\n",
       " 'সহিত',\n",
       " 'সাধারণ',\n",
       " 'সামনে',\n",
       " 'সি',\n",
       " 'সুতরাং',\n",
       " 'সে',\n",
       " 'সেই',\n",
       " 'সেখান',\n",
       " 'সেখানে',\n",
       " 'সেটা',\n",
       " 'সেটাই',\n",
       " 'সেটাও',\n",
       " 'সেটি',\n",
       " 'স্পষ্ট',\n",
       " 'স্বয়ং',\n",
       " 'হইতে',\n",
       " 'হইবে',\n",
       " 'হইয়া',\n",
       " 'হওয়া',\n",
       " 'হওয়ায়',\n",
       " 'হওয়ার',\n",
       " 'হচ্ছে',\n",
       " 'হত',\n",
       " 'হতে',\n",
       " 'হতেই',\n",
       " 'হন',\n",
       " 'হবে',\n",
       " 'হবেন',\n",
       " 'হয়',\n",
       " 'হয়তো',\n",
       " 'হয়নি',\n",
       " 'হয়ে',\n",
       " 'হয়েই',\n",
       " 'হয়েছিল',\n",
       " 'হয়েছে',\n",
       " 'হয়েছেন',\n",
       " 'হল',\n",
       " 'হলে',\n",
       " 'হলেই',\n",
       " 'হলেও',\n",
       " 'হলো',\n",
       " 'হাজার',\n",
       " 'হিসাবে',\n",
       " 'হৈলে',\n",
       " 'হোক',\n",
       " 'হয়']"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "stopwords.words(\"bengali\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "398"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "list_len = stopwords.words(\"bengali\")\n",
    "len(list_len)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "bengali_data = pd.read_csv(\"bengali_stopwords.txt\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>অতএব</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>অথচ</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>অথবা</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>অনুযায়ী</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>অনেক</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>অনেকে</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       অতএব\n",
       "0       অথচ\n",
       "1      অথবা\n",
       "2  অনুযায়ী\n",
       "3      অনেক\n",
       "4     অনেকে"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "bengali_data.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(397, 1)"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "bengali_data.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 397 entries, 0 to 396\n",
      "Data columns (total 1 columns):\n",
      " #   Column  Non-Null Count  Dtype \n",
      "---  ------  --------------  ----- \n",
      " 0   অতএব    397 non-null    object\n",
      "dtypes: object(1)\n",
      "memory usage: 3.2+ KB\n"
     ]
    }
   ],
   "source": [
    "bengali_data.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "অতএব    0\n",
       "dtype: int64"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "bengali_data.isnull().sum()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "paragraph = \"রান্নায় ব্যবহৃত অন্যতম গুরুত্বপূর্ণ মশলা হল জিরা। বেশিরভাগ ভারতীয় রান্নাতেই এই মশলার ব্যবহার হয়ে থাকে। তবে জিরা কেবলমাত্র খাবারের স্বাদ-গন্ধ বাড়ায় না, উপরন্তু এটি আমাদের স্বাস্থ্যেরও অনেক উপকার করে। ওজন কমানো, রক্তচাপ নিয়ন্ত্রণ করা, হজমের সমস্যা দূর করা, ডায়াবেটিস নিয়ন্ত্রণ এবং রক্তাল্পতা নিরাময় এই ধরনের নানা স্বাস্থ্যকর দিকের খেয়াল রাখে জিরা। জিরা তামা, আয়রন, অ্যান্টিঅক্সিডেন্ট, ভিটামিন-এ, ভিটামিন-সি, জিঙ্ক এবং পটাশিয়ামের সমৃদ্ধ উৎস। বিভিন্ন ঘরোয়া প্রতিকারের ক্ষেত্রে জিরা ব্যবহার করা হয়ে থাকে। বিশেষ করে জিরার জল আমাদের স্বাস্থ্যের জন্য বিশেষ উপকারি। প্রতিদিন মাত্র এক গ্লাস জিরার জল পান করা আমাদের সামগ্রিক স্বাস্থ্যের জন্য ভীষণ উপকারি হতে পারে। বদহজম নিরাময় করে: অন্ত্রে গ্যাস জমে গিয়ে পেট ফুলে যাওয়ার ঘটনা খুবই সাধারণ ব্যাপার। এর ফলে, পেট ফুলে শক্ত হয়ে যায় এবং পেট ভার হয়ে থাকার অনুভূতি হয়। এছাড়াও, পেটে অস্বস্তি কিংবা পেট ব্যথাও হতে পারে। এক্ষেত্রে জিরা জলের পান করা অত্যন্ত উপকারি হতে পারে। জিরা বদহজমের সমস্যা থেকে বাঁচাতে পারে। ওজন কমাতে সাহায্য করে: জিরার জল ভাল হজমে সাহায্য করে এবং দেহ থেকে টক্সিন বার করতে পারে। পাচনতন্ত্র ঠিক থাকলে, শরীর থেকে টক্সিন সহজেই পরিষ্কার হয়ে যায়। যার ফলে ওজন আর ফ্যাট দুইই তাড়াতাড়ি কমে যায়। তাই নিয়মিত জিরার জল পান করলে তা ওজন নিয়ন্ত্রণে রাখতে পারে। রোগ প্রতিরোধ ক্ষমতা বৃদ্ধি করে: জিরা পটাশিয়াম, আয়রন এবং ফাইবারের একটি চমৎকার উৎস। নিয়মিত জিরার জলের সেবন, রোগ প্রতিরোধ ক্ষমতাকে শক্তিশালী করে তুলতে সহায়তা করে। এটি বিভিন্ন রোগের বিরুদ্ধে লড়াই করার পাশাপাশি, ঘনঘন অসুস্থ হওয়ার সম্ভাবনাকেও কম করতে সাহায্য করে। ডায়াবেটিস নিয়ন্ত্রণে রাখে: খালি পেটে জিরা জলের সেবন, ডায়াবেটিস আক্রান্ত রোগীদের ক্ষেত্রে অত্যন্ত উপকারি। জিরা শরীরের ইনসুলিন উৎপাদনকে উদ্দীপিত করে। এটি রক্তে শর্করার মাত্রা নিয়ন্ত্রণে রাখতে সহায়তা করে। ফলে ডায়াবেটিস নিয়ন্ত্রণে থাকে। রক্তচাপ নিয়ন্ত্রণ করে: জিরা জলে উচ্চ পটাশিয়াম থাকে। পটাশিয়াম একটি গুরুত্বপূর্ণ খনিজ, যা শরীরের সঠিক ক্রিয়াকলাপে গুরুত্বপূর্ণ ভূমিকা পালন করে। তাছাড়া, এটা নুনের ক্ষতিকারক প্রভাবগুলির মধ্যে ভারসাম্য বজায় রেখে রক্তচাপ নিয়ন্ত্রণে রাখতে সাহায্য করে।\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['রান্নায়', 'ব্যবহৃত', 'অন্যতম', 'গুরুত্বপূর্ণ', 'মশলা', 'জিরা।', 'বেশিরভাগ', 'ভারতীয়', 'রান্নাতেই', 'মশলার', 'হয়ে', 'থাকে।', 'জিরা', 'কেবলমাত্র', 'খাবারের', 'স্বাদ-গন্ধ', 'বাড়ায়', ',', 'উপরন্তু', 'স্বাস্থ্যেরও', 'উপকার', 'করে।', 'ওজন', 'কমানো', ',', 'রক্তচাপ', 'নিয়ন্ত্রণ', ',', 'হজমের', 'সমস্যা', 'দূর', ',', 'ডায়াবেটিস', 'নিয়ন্ত্রণ', 'রক্তাল্পতা', 'নিরাময়', 'ধরনের', 'স্বাস্থ্যকর', 'দিকের', 'খেয়াল', 'রাখে', 'জিরা।', 'জিরা', 'তামা', ',', 'আয়রন', ',', 'অ্যান্টিঅক্সিডেন্ট', ',', 'ভিটামিন-এ', ',', 'ভিটামিন-সি', ',', 'জিঙ্ক', 'পটাশিয়ামের', 'সমৃদ্ধ', 'উৎস।', 'ঘরোয়া', 'প্রতিকারের', 'জিরা', 'থাকে।', 'জিরার', 'জল', 'স্বাস্থ্যের', 'উপকারি।', 'প্রতিদিন', 'এক', 'গ্লাস', 'জিরার', 'জল', 'পান', 'সামগ্রিক', 'স্বাস্থ্যের', 'ভীষণ', 'উপকারি', 'পারে।', 'বদহজম', 'নিরাময়', ':', 'অন্ত্রে', 'গ্যাস', 'জমে', 'পেট', 'ফুলে', 'ঘটনা', 'খুবই', 'ব্যাপার।', ',', 'পেট', 'ফুলে', 'শক্ত', 'পেট', 'ভার', 'থাকার', 'অনুভূতি', 'হয়।', 'এছাড়াও', ',', 'পেটে', 'অস্বস্তি', 'পেট', 'ব্যথাও', 'পারে।', 'এক্ষেত্রে', 'জিরা', 'জলের', 'পান', 'অত্যন্ত', 'উপকারি', 'পারে।', 'জিরা', 'বদহজমের', 'সমস্যা', 'বাঁচাতে', 'পারে।', 'ওজন', 'কমাতে', 'সাহায্য', ':', 'জিরার', 'জল', 'ভাল', 'হজমে', 'সাহায্য', 'দেহ', 'টক্সিন', 'পারে।', 'পাচনতন্ত্র', 'থাকলে', ',', 'শরীর', 'টক্সিন', 'সহজেই', 'পরিষ্কার', 'হয়ে', 'যায়।', 'ওজন', 'ফ্যাট', 'দুইই', 'তাড়াতাড়ি', 'কমে', 'যায়।', 'নিয়মিত', 'জিরার', 'জল', 'পান', 'ওজন', 'নিয়ন্ত্রণে', 'রাখতে', 'পারে।', 'রোগ', 'প্রতিরোধ', 'ক্ষমতা', 'বৃদ্ধি', ':', 'জিরা', 'পটাশিয়াম', ',', 'আয়রন', 'ফাইবারের', 'চমৎকার', 'উৎস।', 'নিয়মিত', 'জিরার', 'জলের', 'সেবন', ',', 'রোগ', 'প্রতিরোধ', 'ক্ষমতাকে', 'শক্তিশালী', 'তুলতে', 'সহায়তা', 'করে।', 'রোগের', 'বিরুদ্ধে', 'লড়াই', 'পাশাপাশি', ',', 'ঘনঘন', 'অসুস্থ', 'সম্ভাবনাকেও', 'কম', 'সাহায্য', 'করে।', 'ডায়াবেটিস', 'নিয়ন্ত্রণে', 'রাখে', ':', 'খালি', 'পেটে', 'জিরা', 'জলের', 'সেবন', ',', 'ডায়াবেটিস', 'আক্রান্ত', 'রোগীদের', 'অত্যন্ত', 'উপকারি।', 'জিরা', 'শরীরের', 'ইনসুলিন', 'উৎপাদনকে', 'উদ্দীপিত', 'করে।', 'রক্তে', 'শর্করার', 'মাত্রা', 'নিয়ন্ত্রণে', 'রাখতে', 'সহায়তা', 'করে।', 'ডায়াবেটিস', 'নিয়ন্ত্রণে', 'থাকে।', 'রক্তচাপ', 'নিয়ন্ত্রণ', ':', 'জিরা', 'জলে', 'উচ্চ', 'পটাশিয়াম', 'থাকে।', 'পটাশিয়াম', 'গুরুত্বপূর্ণ', 'খনিজ', ',', 'শরীরের', 'সঠিক', 'ক্রিয়াকলাপে', 'গুরুত্বপূর্ণ', 'ভূমিকা', 'পালন', 'করে।', 'তাছাড়া', ',', 'নুনের', 'ক্ষতিকারক', 'প্রভাবগুলির', 'ভারসাম্য', 'বজায়', 'রক্তচাপ', 'নিয়ন্ত্রণে', 'রাখতে', 'সাহায্য', 'করে।']\n"
     ]
    }
   ],
   "source": [
    "text_tokens = word_tokenize(paragraph)\n",
    "tokens_without_sw = [word for word in text_tokens if not word in stopwords.words()]\n",
    "print(tokens_without_sw)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "রান্নায় ব্যবহৃত অন্যতম গুরুত্বপূর্ণ মশলা জিরা। বেশিরভাগ ভারতীয় রান্নাতেই মশলার হয়ে থাকে। জিরা কেবলমাত্র খাবারের স্বাদ-গন্ধ বাড়ায় , উপরন্তু স্বাস্থ্যেরও উপকার করে। ওজন কমানো , রক্তচাপ নিয়ন্ত্রণ , হজমের সমস্যা দূর , ডায়াবেটিস নিয়ন্ত্রণ রক্তাল্পতা নিরাময় ধরনের স্বাস্থ্যকর দিকের খেয়াল রাখে জিরা। জিরা তামা , আয়রন , অ্যান্টিঅক্সিডেন্ট , ভিটামিন-এ , ভিটামিন-সি , জিঙ্ক পটাশিয়ামের সমৃদ্ধ উৎস। ঘরোয়া প্রতিকারের জিরা থাকে। জিরার জল স্বাস্থ্যের উপকারি। প্রতিদিন এক গ্লাস জিরার জল পান সামগ্রিক স্বাস্থ্যের ভীষণ উপকারি পারে। বদহজম নিরাময় : অন্ত্রে গ্যাস জমে পেট ফুলে ঘটনা খুবই ব্যাপার। , পেট ফুলে শক্ত পেট ভার থাকার অনুভূতি হয়। এছাড়াও , পেটে অস্বস্তি পেট ব্যথাও পারে। এক্ষেত্রে জিরা জলের পান অত্যন্ত উপকারি পারে। জিরা বদহজমের সমস্যা বাঁচাতে পারে। ওজন কমাতে সাহায্য : জিরার জল ভাল হজমে সাহায্য দেহ টক্সিন পারে। পাচনতন্ত্র থাকলে , শরীর টক্সিন সহজেই পরিষ্কার হয়ে যায়। ওজন ফ্যাট দুইই তাড়াতাড়ি কমে যায়। নিয়মিত জিরার জল পান ওজন নিয়ন্ত্রণে রাখতে পারে। রোগ প্রতিরোধ ক্ষমতা বৃদ্ধি : জিরা পটাশিয়াম , আয়রন ফাইবারের চমৎকার উৎস। নিয়মিত জিরার জলের সেবন , রোগ প্রতিরোধ ক্ষমতাকে শক্তিশালী তুলতে সহায়তা করে। রোগের বিরুদ্ধে লড়াই পাশাপাশি , ঘনঘন অসুস্থ সম্ভাবনাকেও কম সাহায্য করে। ডায়াবেটিস নিয়ন্ত্রণে রাখে : খালি পেটে জিরা জলের সেবন , ডায়াবেটিস আক্রান্ত রোগীদের অত্যন্ত উপকারি। জিরা শরীরের ইনসুলিন উৎপাদনকে উদ্দীপিত করে। রক্তে শর্করার মাত্রা নিয়ন্ত্রণে রাখতে সহায়তা করে। ডায়াবেটিস নিয়ন্ত্রণে থাকে। রক্তচাপ নিয়ন্ত্রণ : জিরা জলে উচ্চ পটাশিয়াম থাকে। পটাশিয়াম গুরুত্বপূর্ণ খনিজ , শরীরের সঠিক ক্রিয়াকলাপে গুরুত্বপূর্ণ ভূমিকা পালন করে। তাছাড়া , নুনের ক্ষতিকারক প্রভাবগুলির ভারসাম্য বজায় রক্তচাপ নিয়ন্ত্রণে রাখতে সাহায্য করে।\n"
     ]
    }
   ],
   "source": [
    "filtered_sentence = (\" \").join(tokens_without_sw)\n",
    "print(filtered_sentence)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'রান্নায় ব্যবহৃত অন্যতম গুরুত্বপূর্ণ মশলা হল জিরা। বেশিরভাগ ভারতীয় রান্নাতেই এই মশলার ব্যবহার হয়ে থাকে। তবে জিরা কেবলমাত্র খাবারের স্বাদ-গন্ধ বাড়ায় না, উপরন্তু এটি আমাদের স্বাস্থ্যেরও অনেক উপকার করে। ওজন কমানো, রক্তচাপ নিয়ন্ত্রণ করা, হজমের সমস্যা দূর করা, ডায়াবেটিস নিয়ন্ত্রণ এবং রক্তাল্পতা নিরাময় এই ধরনের নানা স্বাস্থ্যকর দিকের খেয়াল রাখে জিরা। জিরা তামা, আয়রন, অ্যান্টিঅক্সিডেন্ট, ভিটামিন-এ, ভিটামিন-সি, জিঙ্ক এবং পটাশিয়ামের সমৃদ্ধ উৎস। বিভিন্ন ঘরোয়া প্রতিকারের ক্ষেত্রে জিরা ব্যবহার করা হয়ে থাকে। বিশেষ করে জিরার জল আমাদের স্বাস্থ্যের জন্য বিশেষ উপকারি। প্রতিদিন মাত্র এক গ্লাস জিরার জল পান করা আমাদের সামগ্রিক স্বাস্থ্যের জন্য ভীষণ উপকারি হতে পারে। বদহজম নিরাময় করে: অন্ত্রে গ্যাস জমে গিয়ে পেট ফুলে যাওয়ার ঘটনা খুবই সাধারণ ব্যাপার। এর ফলে, পেট ফুলে শক্ত হয়ে যায় এবং পেট ভার হয়ে থাকার অনুভূতি হয়। এছাড়াও, পেটে অস্বস্তি কিংবা পেট ব্যথাও হতে পারে। এক্ষেত্রে জিরা জলের পান করা অত্যন্ত উপকারি হতে পারে। জিরা বদহজমের সমস্যা থেকে বাঁচাতে পারে। ওজন কমাতে সাহায্য করে: জিরার জল ভাল হজমে সাহায্য করে এবং দেহ থেকে টক্সিন বার করতে পারে। পাচনতন্ত্র ঠিক থাকলে, শরীর থেকে টক্সিন সহজেই পরিষ্কার হয়ে যায়। যার ফলে ওজন আর ফ্যাট দুইই তাড়াতাড়ি কমে যায়। তাই নিয়মিত জিরার জল পান করলে তা ওজন নিয়ন্ত্রণে রাখতে পারে। রোগ প্রতিরোধ ক্ষমতা বৃদ্ধি করে: জিরা পটাশিয়াম, আয়রন এবং ফাইবারের একটি চমৎকার উৎস। নিয়মিত জিরার জলের সেবন, রোগ প্রতিরোধ ক্ষমতাকে শক্তিশালী করে তুলতে সহায়তা করে। এটি বিভিন্ন রোগের বিরুদ্ধে লড়াই করার পাশাপাশি, ঘনঘন অসুস্থ হওয়ার সম্ভাবনাকেও কম করতে সাহায্য করে। ডায়াবেটিস নিয়ন্ত্রণে রাখে: খালি পেটে জিরা জলের সেবন, ডায়াবেটিস আক্রান্ত রোগীদের ক্ষেত্রে অত্যন্ত উপকারি। জিরা শরীরের ইনসুলিন উৎপাদনকে উদ্দীপিত করে। এটি রক্তে শর্করার মাত্রা নিয়ন্ত্রণে রাখতে সহায়তা করে। ফলে ডায়াবেটিস নিয়ন্ত্রণে থাকে। রক্তচাপ নিয়ন্ত্রণ করে: জিরা জলে উচ্চ পটাশিয়াম থাকে। পটাশিয়াম একটি গুরুত্বপূর্ণ খনিজ, যা শরীরের সঠিক ক্রিয়াকলাপে গুরুত্বপূর্ণ ভূমিকা পালন করে। তাছাড়া, এটা নুনের ক্ষতিকারক প্রভাবগুলির মধ্যে ভারসাম্য বজায় রেখে রক্তচাপ নিয়ন্ত্রণে রাখতে সাহায্য করে।'"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "paragraph"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "total_words = []\n",
    "for text in filtered_sentence:\n",
    "    for t in text.split():\n",
    "        total_words.append(t)\n",
    "        \n",
    "total_words = set(total_words)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{',',\n",
       " '-',\n",
       " ':',\n",
       " '।',\n",
       " 'ঁ',\n",
       " 'অ',\n",
       " 'আ',\n",
       " 'ই',\n",
       " 'উ',\n",
       " 'এ',\n",
       " 'ও',\n",
       " 'ক',\n",
       " 'খ',\n",
       " 'গ',\n",
       " 'ঘ',\n",
       " 'ঙ',\n",
       " 'চ',\n",
       " 'ছ',\n",
       " 'জ',\n",
       " 'ট',\n",
       " 'ঠ',\n",
       " 'ড',\n",
       " 'ণ',\n",
       " 'ত',\n",
       " 'থ',\n",
       " 'দ',\n",
       " 'ধ',\n",
       " 'ন',\n",
       " 'প',\n",
       " 'ফ',\n",
       " 'ব',\n",
       " 'ভ',\n",
       " 'ম',\n",
       " 'য',\n",
       " 'র',\n",
       " 'ল',\n",
       " 'শ',\n",
       " 'ষ',\n",
       " 'স',\n",
       " 'হ',\n",
       " '়',\n",
       " 'া',\n",
       " 'ি',\n",
       " 'ী',\n",
       " 'ু',\n",
       " 'ূ',\n",
       " 'ৃ',\n",
       " 'ে',\n",
       " 'ো',\n",
       " '্',\n",
       " 'ৎ',\n",
       " 'ড়',\n",
       " 'য়'}"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "total_words"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "#load Bengali text corpus\n",
    "with open(\"bengali_story.txt\", \"r\", encoding = \"utf-8\") as f:\n",
    "    text = f.read()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "#tokenize text\n",
    "tokens = word_tokenize(text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "stop_words = set(stopwords.words(\"bengali\"))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "#remove stopwords\n",
    "filtered_tokens = [word for word in tokens if not word in stop_words]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "#build Word2Vec model\n",
    "model = gensim.models.Word2Vec([filtered_tokens], min_count = 1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [],
   "source": [
    "#get most similar words to a given word\n",
    "similar_words = model.wv.most_similar(\"কলকাতা\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[('নিদর্শন', 0.3420822024345398), ('পড়েছে', 0.3112014830112457), ('চংডীপাঠঃ', 0.27206185460090637), ('এখনো', 0.26115113496780396), ('বেজে', 0.2460700422525406), ('সরে', 0.23774054646492004), ('বললেন।', 0.2342851758003235), ('চল\\u200c', 0.23392874002456665), ('সামনে।', 0.2335735261440277), ('বাড়িতে', 0.23286208510398865)]\n"
     ]
    }
   ],
   "source": [
    "print(similar_words)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}