1.Introducao.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Para entrar no modo apresentação, execute a seguinte célula e pressione `-`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "%reload_ext slide"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"images/intro.png\" alt=\"João Felipe Pimentel. Universidade Federal Fluminense\" width=\"800\"/>\n",
    "\n",
    "<span class=\"notebook-slide-start\"/>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Para manter a **qualidade de software** é necessário **monitorar** e **extrair métricas**.\n",
    "\n",
    "\n",
    "<img src=\"images/extractmetrics.svg\" alt=\"Software sendo analizado\" width=\"100\"/>\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Durante a evolução do software, não só funcionalidades vão sendo adicionadas e removidas, mas o processo de desenvolvimento também muda. Às vezes novas métricas são adicionadas. Às vezes métricas antigas deixam de fazer sentido.\n",
    "\n",
    "<img src=\"images/evolution.svg\" alt=\"Evolução do software\" width=\"auto\"/>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Em algumas situações, o processo de monitoramento precisa ser **exploratório** para que se obtenham informações relevantes para o momento.\n",
    "\n",
    "<img src=\"images/complexity.svg\" alt=\"Software sendo analizado\" width=\"auto\"/>\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Para facilitar explorações e melhorias contínuas do processo, é interessante que as análises sejam feitas de forma **interativa**, ou seja, com a possibilidade de fazer análises explorativas e integrar análises prontas ao processo.\n",
    "\n",
    "Para obter dados para análises, precisamos **minerar** repositórios de software sob demanda.\n",
    "\n",
    "<img src=\"images/miningv0.svg\" alt=\"Mineração e Análise Interativa de Software\" width=\"auto\"/>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Este minicurso está dividido em 2 partes:\n",
    "\n",
    "- Interatividade\n",
    "- Mineração\n",
    "\n",
    "<img src=\"images/mining.svg\" alt=\"Mineração e Análise Interativa de Software\" width=\"auto\"/>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Por que Jupyter?\n",
    "\n",
    "Ferramenta que permite combinar código, texto, visualização, e widgets interativos.\n",
    "\n",
    "O código fica organizado em células que podem ser executadas e re-executadas em qualquer ordem e de acordo com o desejo do usuário.\n",
    "\n",
    "Em uma análise explorativa, é possivel manter resultados parciais, evitando esforço computacional.\n",
    "\n",
    "Extensões ao Python facilitam algumas tarefas."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Interatividade\n",
    "\n",
    "Será apresentado o Jupyter com as modificações ao Python proporcionadas pelo IPython, tais como **bang expressions**, **line magics** e **cell magics**.\n",
    "\n",
    "Para visualização, usaremos a biblioteca **matplotlib** e e estenderemos a visualização rica do Jupyter para formar grafos com programa **GraphViz**.\n",
    "\n",
    "Por fim, widgets interativos do **ipywidgets** serão apresentados."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Mineração\n",
    "\n",
    "Para mineração, criaremos um servidor de proxy em **Flask**, usaremos a biblioteca **requests** para fazer requisições web, extrairemos informações de repositórios usando comandos do **git** e usaremos a biblioteca **Pygit2** para auxiliar a extração dessas informações.\n",
    "\n",
    "As requisições web serão feitas com 3 objetivos:\n",
    "\n",
    "- Obter uma página HTML e usar a biblioteca **BeautifulSoup** para extrair informações dela.\n",
    "- Acessar a API v3 do GitHub, que utiliza REST\n",
    "- Acessar a API v4 do GitHub, que utiliza GraphQL\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Minicurso\n",
    "\n",
    "O minicurso está disponível no GitHub:\n",
    "\n",
    "> https://github.com/JoaoFelipe/minicurso-mineracao-interativa\n",
    "\n",
    "URL curta:\n",
    "\n",
    "> https://cutit.org/MIGHUB\n",
    "\n",
    "Ao longo do minicurso, passarei exercícios. A melhor forma de acompanhar sem perder tempo instalando dependências é pelo GitPod\n",
    "\n",
    "> https://gitpod.io/#https://github.com/JoaoFelipe/minicurso-mineracao-interativa\n",
    "\n",
    "URL curta:\n",
    "\n",
    "> https://cutit.org/MIGPOD\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Gitpod\n",
    "\n",
    "> https://cutit.org/MIGPOD\n",
    "\n",
    "Para entrar no GitPod, basta autorizar a conexão com uma conta do GitHub.\n",
    "\n",
    "Ao iniciar o ambiente, digite `\"echo $jupynb\"` no terminal e copie e cole o resultado também no terminal:\n",
    "```\n",
    "jupyter notebook --NotebookApp.allow_origin=\\'$(gp url 8888)\\' --ip='*' --NotebookApp.token='' --NotebookApp.password=''\n",
    "```\n",
    "\n",
    "Isso iniciará o Jupyter com toda a apresentação. Estamos no arquivo [1.Introducao.ipynb](1.Introducao.ipynb)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Agenda\n",
    "\n",
    "Vou começar apresentando o **Jupyter** com algumas funcionalidades para interatividade, apresentadas no Notebook [2.Jupyter.ipynb](2.Jupyter.ipynb) e [3.IPython.ipynb](3.IPython.ipynb).\n",
    "\n",
    "Em seguida vou falar de **mineração de repositórios**, apresentando os notebooks [4.Proxy.ipynb](4.Proxy.ipynb), [5.Crawling.ipynb](5.Crawling.ipynb), [6.API.v3.ipynb](6.API.v3.ipynb), [7.API.v4.ipynb](7.API.v4.ipynb), [8.Git.ipynb](8.Git.ipynb), [9.Pygit2.ipynb](9.Pygit2.ipynb).\n",
    "\n",
    "Por fim, vou voltar para a parte de interatividade para falar sobre formas de **estender** o Jupyter e **ipywidgets**, apresentando os notebooks [10.Visualizacao.Rica.ipynb](10.Visualizacao.Rica.ipynb) e [11.Widgets.ipynb](11.Widgets.ipynb).\n",
    "\n",
    "\n",
    "Programação do dia:\n",
    "- **09:00 - 10:00: Minicurso**\n",
    "- 10:00 - 10:30: Coffee Break\n",
    "- **10:30 - 12:00: Minicurso**\n",
    "- 12:00 - 13:30: Almoço\n",
    "- **13:30 - 15:45: Minicurso**\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Um pedido de desculpas\n",
    "\n",
    "Descrição do minicurso\n",
    "\n",
    "> O mini-curso tem o objetivo de apresentar mineração interativa de repositórios com o objetivo de melhoria continua de processos. O mini-curso abordará 4 tópicos: interatividade, coleta de dados, análise e visualização. Para interatividade, será apresentada a ferramenta Jupyter Notebook, indicando como ela pode ser usada para tarefas exploratórias e para a construção de dashboards. Para a coleta de dados, será usada a API do GitHub para obter issues de um repositório e a biblioteca PyGit2 para navegar no histórico. Para análise dos dados, será usada a biblioteca pandas. Por fim, para a visualização dos dados, será usada a biblioteca Matplotlib. O mini-curso será guiado por tarefas tais como observar a densidade de defeitos do projeto com o passar do tempo, descobrir quem são os desenvolvedores que mais contibuíram com o projeto no decorrer do tempo, ~~medir a cobertura de testes ao longo do tempo~~, etc.\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "O projeto que vou usar de exemplo ao longo da apresentação (`gems-uff/sapos`) mudou bastante ao longo do tempo e preparar um ambiente para medir **cobertura de testes** ao longo do tempo se mostrou mais complicado do que eu gostaria. Por conta disso, essa operação foi substituída por uma mais simples: medir a quantidade de linhas ao longo do tempo."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Continua: [2.Jupyter.ipynb](2.Jupyter.ipynb)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n",
    "&nbsp;\n",
    "\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": false,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}