02 - Análisis y visualización de datos mediante Folium y Pandas.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Análisis y visualización de datos mediante Folium y Pandas"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "[Pandas](https://pandas.pydata.org/) es una biblioteca para análisis de datos en el lenguaje Python. Entre otras características, Pandas permite la manipulación en memoria de conjuntos de datos y series temporales, así como su visualización con el apoyo de otras bibliotecas como [NumPy](https://numpy.org/), [Matplotlib](https://matplotlib.org/) y [Folium](https://python-visualization.github.io/folium/).\n",
    "\n",
    "Pandas provee una estructura de datos llamada [DataFrame](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.html), similar a una tabla, que permite realizar operaciones en las filas y en las columnas. Para más información, se recomienda revisar el tutorial [The Ultimate Pandas Guide: How to master Python’s main data analysis library in 20 Minutes](https://towardsdatascience.com/how-to-master-pandas-8514f33f00f6)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Bibliotecas**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "\n",
    "import matplotlib.pyplot as plt\n",
    "%matplotlib inline\n",
    "\n",
    "import calendar\n",
    "\n",
    "import folium\n",
    "from folium import plugins\n",
    "from folium.plugins import HeatMapWithTime"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Variables globales**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Archivo de datos con columnas del DwC (https://dwc.tdwg.org/terms/)\n",
    "archivo_datos = \"datos/Ara-macao-CR-2018.csv\"\n",
    "\n",
    "# Nombre científico que se desplegará en los gráficos estadísticos\n",
    "nombre_cientifico = \"Ara macao\"\n",
    "\n",
    "# Cantidad máxima de registros que se despliegan en un GeoDataFrame\n",
    "pd.options.display.max_rows = 12"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Carga y limpieza de datos"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Carga de datos en un DataFrame\n",
    "registros_presencia_df = pd.read_csv(archivo_datos, sep='\\t')\n",
    "registros_presencia_df\n",
    "\n",
    "# registros_presencia_df.head()\n",
    "# registros_presencia_df.tail()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Lista de columnas\n",
    "list(registros_presencia_df.columns)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Tipos de datos de las columnas\n",
    "registros_presencia_df.dtypes"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Información sobre el DataFrame\n",
    "registros_presencia_df.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Selección de un subconjunto de columnas\n",
    "registros_presencia_df = registros_presencia_df[['species', 'stateProvince', 'locality', 'decimalLongitude', 'decimalLatitude', 'eventDate']]\n",
    "registros_presencia_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Consulta del tipo de datos de una columna\n",
    "registros_presencia_df.eventDate.dtypes"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Cambio del tipo de datos dateTime\n",
    "registros_presencia_df[\"eventDate\"] = pd.to_datetime(registros_presencia_df[\"eventDate\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Verificación del nuevo tipo de datos de la columna\n",
    "registros_presencia_df.eventDate.dtypes"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Revisión del DataFrame para verificar la columna cambiada\n",
    "registros_presencia_df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Análisis de la información"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Graficación"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Estilo de los gráficos\n",
    "plt.style.use('ggplot')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Distribución de registros por mes"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Agrupación de los registros por mes\n",
    "registros_x_mes = registros_presencia_df.groupby(registros_presencia_df['eventDate'].dt.month).count().eventDate\n",
    "\n",
    "registros_x_mes"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Reemplazo del número del mes por el nombre del mes\n",
    "registros_x_mes.index=[calendar.month_name[x] for x in range(1,13)]\n",
    "\n",
    "registros_x_mes"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Gráfico de barras\n",
    "registros_x_mes.plot(kind='bar',figsize=(12,7), color='blue', alpha=0.5)\n",
    "\n",
    "# Título y leyendas en los ejes\n",
    "plt.title('Registros de presencia de ' + nombre_cientifico + ' en Costa Rica en 2018', fontsize=20)\n",
    "plt.xlabel('Mes', fontsize=16)\n",
    "plt.ylabel('Cantidad de registros', fontsize=16);"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Distribución de registros por día de la semana"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Agrupación de los registros por día de la semana\n",
    "registros_x_dia_semana = registros_presencia_df.groupby(registros_presencia_df['eventDate'].dt.dayofweek).count().eventDate\n",
    "\n",
    "registros_x_dia_semana"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Reemplazo del número del día por el nombre del día\n",
    "registros_x_dia_semana.index=[calendar.day_name[x] for x in range(0, 7)]\n",
    "\n",
    "registros_x_dia_semana"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Gráfico de barras\n",
    "registros_x_dia_semana.plot(kind='bar', figsize=(12,7), color='magenta', alpha=0.5)\n",
    "\n",
    "# Título y leyendas en los ejes\n",
    "plt.title('Registros de presencia de ' + nombre_cientifico + ' en Costa Rica en 2018', fontsize=20)\n",
    "plt.xlabel('Día de la semana', fontsize=16)\n",
    "plt.ylabel('Cantidad de registros', fontsize=16);"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Distribución de registros por fecha"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Agrupación de los registros por día del año\n",
    "registros_x_fecha = registros_presencia_df.groupby(registros_presencia_df['eventDate'].dt.date).count().eventDate\n",
    "\n",
    "registros_x_fecha"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Gráfico de líneas\n",
    "registros_x_fecha.plot(figsize=(20,8), color='blue')\n",
    "\n",
    "# Marca para el día de la semana con más registros\n",
    "registros_sabados = registros_presencia_df.groupby(registros_presencia_df[registros_presencia_df['eventDate'].dt.dayofweek==5].eventDate.dt.date).count().eventDate\n",
    "plt.scatter(registros_sabados.index, registros_sabados, color='green', label='Sábado')\n",
    "\n",
    "# Marca para el día de la semana con menos registros\n",
    "registros_jueves = registros_presencia_df.groupby(registros_presencia_df[registros_presencia_df['eventDate'].dt.dayofweek==3].eventDate.dt.date).count().eventDate\n",
    "plt.scatter(registros_jueves.index, registros_jueves, color='red', label='Jueves')\n",
    "\n",
    "# Título y leyendas en los ejes\n",
    "plt.title('Registros de presencia de ' + nombre_cientifico + ' en Costa Rica en 2018', fontsize=20)\n",
    "plt.xlabel('Fecha',fontsize=16)\n",
    "plt.ylabel('Cantidad de registros',fontsize=16);\n",
    "plt.legend()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Distribución de registros por provincia"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Agrupación de los registros por provincia\n",
    "registros_x_provincia = registros_presencia_df.groupby(registros_presencia_df['stateProvince'])['stateProvince'].count()\n",
    "\n",
    "registros_x_provincia"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Gráfico de barras\n",
    "registros_x_provincia.plot(kind='bar',figsize=(12,7), color='brown', alpha=0.5)\n",
    "\n",
    "# Leyendas en los ejes\n",
    "plt.title('Registros de presencia de ' + nombre_cientifico + ' en Costa Rica en 2018', fontsize=20)\n",
    "plt.xlabel('Provincia', fontsize=16)\n",
    "plt.ylabel('Cantidad de registros', fontsize=16);"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Gráfico de pastel\n",
    "registros_x_provincia.plot(kind='pie',figsize=(10,10), colors=['red', 'magenta', 'yellow', 'green', 'orange', 'brown'], labels=None, autopct='%1.1f%%', fontsize=16)\n",
    "\n",
    "# Leyendas y título\n",
    "plt.legend(labels=['Alajuela', 'Guanacaste', 'Heredia', 'Limón', 'Puntarenas', 'San José'])\n",
    "plt.title('Registros de presencia de ' + nombre_cientifico + ' en Costa Rica en 2018', fontsize=20)\n",
    "plt.ylabel('')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Mapeo"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Folium"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Mapa centrado en Costa Rica\n",
    "registros_presencia_mapa = folium.Map(location=[9.63, -84], zoom_start=8)\n",
    "\n",
    "registros_presencia_mapa"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "##### Mapa de puntos"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Mapa centrado en Costa Rica\n",
    "registros_presencia_mapa = folium.Map(location=[9.63, -84], zoom_start=8)\n",
    "\n",
    "# Mapeo de los puntos correspondientes a los registros de presencia\n",
    "for lat, lng, label in zip(registros_presencia_df.decimalLatitude, registros_presencia_df.decimalLongitude, registros_presencia_df.eventDate.astype(str)):\n",
    "    folium.CircleMarker(\n",
    "        [lat, lng],\n",
    "        radius=3,\n",
    "        color='red',\n",
    "        fill=True,\n",
    "        popup=label,\n",
    "        fill_color='darkred',\n",
    "        fill_opacity=0.6\n",
    "    ).add_to(registros_presencia_mapa)\n",
    "    \n",
    "registros_presencia_mapa"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "##### Mapa de \"cluster\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Mapa centrado en Costa Rica\n",
    "registros_presencia_mapa = folium.Map(location=[9.63, -84], zoom_start=8)\n",
    "\n",
    "# Instantiate a mark cluster object for the car accidents\n",
    "registros_presencia_cluster = plugins.MarkerCluster().add_to(registros_presencia_mapa)\n",
    "\n",
    "for lat, lng, label in zip(registros_presencia_df.decimalLatitude, registros_presencia_df.decimalLongitude, registros_presencia_df.eventDate.astype(str)):\n",
    "    folium.Marker(\n",
    "        location=[lat, lng],\n",
    "        icon=None,\n",
    "        popup=label,\n",
    "    ).add_to(registros_presencia_cluster)    \n",
    "    \n",
    "registros_presencia_mapa"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "##### Mapa de calor"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Mapa centrado en Costa Rica\n",
    "registros_presencia_mapa = folium.Map(location=[9.63, -84], zoom_start=8)\n",
    "\n",
    "lista_meses = [[] for _ in range(13)]\n",
    "for lat, log, mes in zip(registros_presencia_df.decimalLatitude, registros_presencia_df.decimalLongitude, registros_presencia_df.eventDate.dt.month):\n",
    "    lista_meses[mes].append([lat,log]) \n",
    "    \n",
    "# Etiqueas que indican la cantidad de meses\n",
    "index = ['Mes ' + str(i) for i in range(13)]\n",
    "\n",
    "# Mapa de calor\n",
    "HeatMapWithTime(lista_meses, index).add_to(registros_presencia_mapa)\n",
    "\n",
    "registros_presencia_mapa    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}