eluniversal.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 95,
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "output_type": "stream",
     "name": "stderr",
     "text": "[nltk_data] Downloading package punkt to\n[nltk_data]     C:\\Users\\chris\\AppData\\Roaming\\nltk_data...\n[nltk_data]   Package punkt is already up-to-date!\n[nltk_data] Downloading package stopwords to\n[nltk_data]     C:\\Users\\chris\\AppData\\Roaming\\nltk_data...\n[nltk_data]   Package stopwords is already up-to-date!\n"
    },
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": "                                                                               body  \\\nuid                                                                                   \nf3943f533318d77a8edfca9704eb009d  En poco menos de dos semanas, dos atentados ha...   \n283eb15a96262f94562b960bcffe2b18  Christian Nodal es una de las estrellas del re...   \n9f400463f8000642d8078994d25cfb90  El gobierno del Estado de México a través de l...   \ncc623d53a29733f2df8d7e17243abeca  La modelo Emily Ratajkowski presumió su nuevo ...   \n1e6f4ed28824897fe2c39e7e15643dfc  La Fiscalía General del Estado de Oaxaca (FGEO...   \n...                                                                             ...   \n471059cb3474380155e71c9784bd279a  El secretario de Seguridad Ciudadana, Omar Gar...   \nfb1f2c41f58899f7cc3f2814f88c73e7  Los melones, las papayas y las sandías son fru...   \n1396f488f7fc18081cfa742d9e91d205  Juchitán de Zaragoza.— Tres días después de qu...   \ne5cf09fbe356b33de7396cd0c3c1c221  Los millonarios disfrutan de una vida completa...   \n0a060dc0201088ec4c5d303b8fdac959  Desde Baja California Sur nos comentan que el ...   \n\n                                                                              title  \\\nuid                                                                                   \nf3943f533318d77a8edfca9704eb009d  Similitudes en atentados contra juez y jefe de...   \n283eb15a96262f94562b960bcffe2b18  Christian Nodal, edad y secretos del coach de ...   \n9f400463f8000642d8078994d25cfb90        Citas para verificar Edomex 2020: Entérate    \ncc623d53a29733f2df8d7e17243abeca  emily ratajkowski arrasa con braless durante p...   \n1e6f4ed28824897fe2c39e7e15643dfc  Vinculan a sujeto que presuntamente atacó sexu...   \n...                                                                             ...   \n471059cb3474380155e71c9784bd279a  Tras atentado, García Harfuch vuelve al quiróf...   \nfb1f2c41f58899f7cc3f2814f88c73e7               El riesgo de comprar frutas cortadas   \n1396f488f7fc18081cfa742d9e91d205  Localizan cuerpo de estadounidense desaparecid...   \ne5cf09fbe356b33de7396cd0c3c1c221        los hobbies mas extranos de los millonarios   \n0a060dc0201088ec4c5d303b8fdac959                Ánimos crispados en Congreso de BCS   \n\n                                                                                url  \\\nuid                                                                                   \nf3943f533318d77a8edfca9704eb009d  https://www.eluniversal.com.mx/opinion/javier-...   \n283eb15a96262f94562b960bcffe2b18  http://www.unionyucatan.mx/articulo/2020/06/02...   \n9f400463f8000642d8078994d25cfb90  http://www.unionedomex.mx/articulo/2020/06/02/...   \ncc623d53a29733f2df8d7e17243abeca  https://www.viveusa.mx/showbiz/emily-ratajkows...   \n1e6f4ed28824897fe2c39e7e15643dfc  https://oaxaca.eluniversal.com.mx/estatal/28-0...   \n...                                                                             ...   \n471059cb3474380155e71c9784bd279a  http://www.eluniversal.com.mx/metropoli/cdmx/g...   \nfb1f2c41f58899f7cc3f2814f88c73e7  http://www.eluniversal.com.mx/menu/por-que-no-...   \n1396f488f7fc18081cfa742d9e91d205  https://oaxaca.eluniversal.com.mx/municipios/1...   \ne5cf09fbe356b33de7396cd0c3c1c221  https://www.viveusa.mx/negocios/los-hobbies-ma...   \n0a060dc0201088ec4c5d303b8fdac959  http://www.eluniversal.com.mx/estados/animos-c...   \n\n                                 newspaper_uid  n_tokens_title  \nuid                                                             \nf3943f533318d77a8edfca9704eb009d   eluniversal             311  \n283eb15a96262f94562b960bcffe2b18   eluniversal             194  \n9f400463f8000642d8078994d25cfb90   eluniversal             264  \ncc623d53a29733f2df8d7e17243abeca   eluniversal             206  \n1e6f4ed28824897fe2c39e7e15643dfc   eluniversal             142  \n...                                        ...             ...  \n471059cb3474380155e71c9784bd279a   eluniversal             263  \nfb1f2c41f58899f7cc3f2814f88c73e7   eluniversal             280  \n1396f488f7fc18081cfa742d9e91d205   eluniversal             140  \ne5cf09fbe356b33de7396cd0c3c1c221   eluniversal             394  \n0a060dc0201088ec4c5d303b8fdac959   eluniversal             266  \n\n[133 rows x 5 columns]",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>body</th>\n      <th>title</th>\n      <th>url</th>\n      <th>newspaper_uid</th>\n      <th>n_tokens_title</th>\n    </tr>\n    <tr>\n      <th>uid</th>\n      <th></th>\n      <th></th>\n      <th></th>\n      <th></th>\n      <th></th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>f3943f533318d77a8edfca9704eb009d</th>\n      <td>En poco menos de dos semanas, dos atentados ha...</td>\n      <td>Similitudes en atentados contra juez y jefe de...</td>\n      <td>https://www.eluniversal.com.mx/opinion/javier-...</td>\n      <td>eluniversal</td>\n      <td>311</td>\n    </tr>\n    <tr>\n      <th>283eb15a96262f94562b960bcffe2b18</th>\n      <td>Christian Nodal es una de las estrellas del re...</td>\n      <td>Christian Nodal, edad y secretos del coach de ...</td>\n      <td>http://www.unionyucatan.mx/articulo/2020/06/02...</td>\n      <td>eluniversal</td>\n      <td>194</td>\n    </tr>\n    <tr>\n      <th>9f400463f8000642d8078994d25cfb90</th>\n      <td>El gobierno del Estado de México a través de l...</td>\n      <td>Citas para verificar Edomex 2020: Entérate</td>\n      <td>http://www.unionedomex.mx/articulo/2020/06/02/...</td>\n      <td>eluniversal</td>\n      <td>264</td>\n    </tr>\n    <tr>\n      <th>cc623d53a29733f2df8d7e17243abeca</th>\n      <td>La modelo Emily Ratajkowski presumió su nuevo ...</td>\n      <td>emily ratajkowski arrasa con braless durante p...</td>\n      <td>https://www.viveusa.mx/showbiz/emily-ratajkows...</td>\n      <td>eluniversal</td>\n      <td>206</td>\n    </tr>\n    <tr>\n      <th>1e6f4ed28824897fe2c39e7e15643dfc</th>\n      <td>La Fiscalía General del Estado de Oaxaca (FGEO...</td>\n      <td>Vinculan a sujeto que presuntamente atacó sexu...</td>\n      <td>https://oaxaca.eluniversal.com.mx/estatal/28-0...</td>\n      <td>eluniversal</td>\n      <td>142</td>\n    </tr>\n    <tr>\n      <th>...</th>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n    </tr>\n    <tr>\n      <th>471059cb3474380155e71c9784bd279a</th>\n      <td>El secretario de Seguridad Ciudadana, Omar Gar...</td>\n      <td>Tras atentado, García Harfuch vuelve al quiróf...</td>\n      <td>http://www.eluniversal.com.mx/metropoli/cdmx/g...</td>\n      <td>eluniversal</td>\n      <td>263</td>\n    </tr>\n    <tr>\n      <th>fb1f2c41f58899f7cc3f2814f88c73e7</th>\n      <td>Los melones, las papayas y las sandías son fru...</td>\n      <td>El riesgo de comprar frutas cortadas</td>\n      <td>http://www.eluniversal.com.mx/menu/por-que-no-...</td>\n      <td>eluniversal</td>\n      <td>280</td>\n    </tr>\n    <tr>\n      <th>1396f488f7fc18081cfa742d9e91d205</th>\n      <td>Juchitán de Zaragoza.— Tres días después de qu...</td>\n      <td>Localizan cuerpo de estadounidense desaparecid...</td>\n      <td>https://oaxaca.eluniversal.com.mx/municipios/1...</td>\n      <td>eluniversal</td>\n      <td>140</td>\n    </tr>\n    <tr>\n      <th>e5cf09fbe356b33de7396cd0c3c1c221</th>\n      <td>Los millonarios disfrutan de una vida completa...</td>\n      <td>los hobbies mas extranos de los millonarios</td>\n      <td>https://www.viveusa.mx/negocios/los-hobbies-ma...</td>\n      <td>eluniversal</td>\n      <td>394</td>\n    </tr>\n    <tr>\n      <th>0a060dc0201088ec4c5d303b8fdac959</th>\n      <td>Desde Baja California Sur nos comentan que el ...</td>\n      <td>Ánimos crispados en Congreso de BCS</td>\n      <td>http://www.eluniversal.com.mx/estados/animos-c...</td>\n      <td>eluniversal</td>\n      <td>266</td>\n    </tr>\n  </tbody>\n</table>\n<p>133 rows × 5 columns</p>\n</div>"
     },
     "metadata": {},
     "execution_count": 95
    }
   ],
   "source": [
    "import pandas as pd\n",
    "import hashlib\n",
    "\n",
    "eluniversal = pd.read_csv('eluniversal_2020_06_30_articles.csv')\n",
    "\n",
    "eluniversal['newspaper_uid'] = 'eluniversal'\n",
    "\n",
    "missing_titles_mask = eluniversal['title'].isna()\n",
    "\n",
    "missing_titles_mask.value_counts()\n",
    "\n",
    "missing_titles = (eluniversal[missing_titles_mask]['url']\n",
    "    .str.extract(r'(?P<missing_titles>[^/]+)$')\n",
    "    .applymap(lambda title: title.split('-'))\n",
    "    .applymap(lambda title_word_list: ' '.join(title_word_list))\n",
    "    )\n",
    "\n",
    "eluniversal.loc[missing_titles_mask, 'title'] = missing_titles.loc[:, 'missing_titles']\n",
    "\n",
    "\n",
    "uids = (eluniversal\n",
    "            .apply(lambda row: hashlib.md5(bytes(row['url'].encode())), axis=1)\n",
    "            .apply(lambda hash_object: hash_object.hexdigest())\n",
    "            \n",
    "        )\n",
    "\n",
    "eluniversal['uid'] = uids\n",
    "\n",
    "eluniversal.set_index('uid', inplace=True)\n",
    "\n",
    "eluniversal = eluniversal.dropna()\n",
    "\n",
    "# stripped_body = (\n",
    "#     eluniversal\n",
    "#         .apply(lambda row: row['body'], axis=1)\n",
    "#         .apply(lambda body: list(body))\n",
    "#         .apply(lambda letters: list(map(lambda letter: letter.replace('\\n', '').replace('\\r', ''), letters)))\n",
    "# )\n",
    "\n",
    "eluniversal['body'] = eluniversal['body'].str.strip()\n",
    "\n",
    "\n",
    "import nltk\n",
    "from nltk.corpus import stopwords\n",
    "\n",
    "nltk.download('punkt')\n",
    "nltk.download('stopwords')\n",
    "stop_words = set(stopwords.words('spanish'))\n",
    "\n",
    "def tokenize_column(df, column):\n",
    "    return (\n",
    "        df\n",
    "            .dropna()\n",
    "            .apply(lambda row: nltk.word_tokenize(row[column]), axis=1)\n",
    "            .apply(lambda tokens: list(filter(lambda token: token.isalpha(), tokens)))\n",
    "            .apply(lambda tokens: list(map(lambda token: token.lower(), tokens)))\n",
    "            .apply(lambda word_list: list(filter(lambda word: word not in stop_words, word_list)))\n",
    "            .apply(lambda valid_word_list: len(valid_word_list))\n",
    "    )\n",
    "\n",
    "eluniversal['n_tokens_title']  = tokenize_column(eluniversal, 'body')\n",
    "eluniversal "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 96,
   "metadata": {},
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": "Pide fe de bautismo. Mujer trans quiere ser reconocida por la Iglesia              2\nReparten culpas por liberación de madre de \"El Marro\"                              1\nCómo consigo una de Beca Benito Juárez de primaria y secundaria                    1\nLos antivirales que han ayudado a combatir el Covid-19                             1\nmata dos jovenes en chicago porque preguntaron por su estatura                     1\n                                                                                  ..\nSe prevé que pandemia de Covid-19 pueda durar entre 2 y 3 años: López-Gatell       1\nvideo policias arrollan manifestantes con patrulla en detroit                      1\nAudiencia Nacional española revisará si procede extradición inmediata de Lozoya    1\nCruz Azul, con plantel parchado, va a la Copa Por México                           1\nTe pagan por conocer Japón en tours virtuales                                      1\nName: title, Length: 132, dtype: int64"
     },
     "metadata": {},
     "execution_count": 96
    }
   ],
   "source": [
    "eluniversal['title'].value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 98,
   "metadata": {},
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": "uid\n91ce6113d057e629378ac28803c0a50c    https://www.eluniversalqueretaro.mx/nuestras-h...\nb28df23d65546beae6a5eba62f9602ee    https://www.eluniversalqueretaro.mx/portada/mu...\nName: url, dtype: object"
     },
     "metadata": {},
     "execution_count": 98
    }
   ],
   "source": [
    "eluniversal[eluniversal['title'] == 'Pide fe de bautismo. Mujer trans quiere ser reconocida por la Iglesia'].url"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 101,
   "metadata": {},
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": "Reparten culpas por liberación de madre de \"El Marro\"                              1\n10 excelentes peliculas que fueron fracasos en taquilla                            1\nNo tengo hasta el momento síntomas de Covid-19: AMLO                               1\nAcepta Emilio Lozoya extradición de España a México                                1\nCasos confirmados de Covid-19 al 29 de junio en Jalisco                            1\n                                                                                  ..\nSe prevé que pandemia de Covid-19 pueda durar entre 2 y 3 años: López-Gatell       1\nvideo policias arrollan manifestantes con patrulla en detroit                      1\nAudiencia Nacional española revisará si procede extradición inmediata de Lozoya    1\nCruz Azul, con plantel parchado, va a la Copa Por México                           1\nTe pagan por conocer Japón en tours virtuales                                      1\nName: title, Length: 132, dtype: int64"
     },
     "metadata": {},
     "execution_count": 101
    }
   ],
   "source": [
    "eluniversal.drop_duplicates(subset=['title'], keep='first', inplace=True)\n",
    "eluniversal['title'].value_counts()"
   ]
  }
 ],
 "metadata": {
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.3-final"
  },
  "orig_nbformat": 2,
  "kernelspec": {
   "name": "python38332bitenvvenva2b57d587b804004a753abadaa395864",
   "display_name": "Python 3.8.3 32-bit ('env': venv)"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}