Basic/multi_gpu_intro.ipynb

{
 "cells": [ 
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Multi GPU 활용을 통한 학습 속도 향상  "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 목적 \n",
    "\n",
    "아래에 리스트업 되는 GPU를 어떻게 하면 학습에서 잘 활용할 것인가? "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Thu Jan 25 15:42:20 2018       \r\n",
      "+-----------------------------------------------------------------------------+\r\n",
      "| NVIDIA-SMI 387.26                 Driver Version: 387.26                    |\r\n",
      "|-------------------------------+----------------------+----------------------+\r\n",
      "| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |\r\n",
      "| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |\r\n",
      "|===============================+======================+======================|\r\n",
      "|   0  GeForce GTX 1080    Off  | 00000000:01:00.0  On |                  N/A |\r\n",
      "|  0%   31C    P8     8W / 250W |     50MiB /  8110MiB |      0%      Default |\r\n",
      "+-------------------------------+----------------------+----------------------+\r\n",
      "|   1  GeForce GTX 1080    Off  | 00000000:02:00.0 Off |                  N/A |\r\n",
      "|  0%   31C    P8     8W / 250W |      2MiB /  8114MiB |      0%      Default |\r\n",
      "+-------------------------------+----------------------+----------------------+\r\n",
      "                                                                               \r\n",
      "+-----------------------------------------------------------------------------+\r\n",
      "| Processes:                                                       GPU Memory |\r\n",
      "|  GPU       PID   Type   Process name                             Usage      |\r\n",
      "|=============================================================================|\r\n",
      "+-----------------------------------------------------------------------------+\r\n"
     ]
    }
   ],
   "source": [
    "!nvidia-smi"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### parallel training \n",
    "\n",
    "- 현시점 대부분의 딥러닝 프레임웍은 알고리즘 분산보다는 데이터 분산으로 병렬학습을 지원하고 있다. \n",
    "- 병렬 학습에 사용되는 모든 GPU는 동일한 모형 아키텍처의 복사본을 각기 GPU에 보유하고 있다. \n",
    "  - 따라서 하나의 GPU에 모형 아케텍처가 모두 올라가지 않으면 학습을 할 수 없다. \n",
    "  - GPU 여러장을 하나의 GPU처럼 활용하는 기법은 현재 컨셉으로만 존재한다. \n",
    "  \n",
    "### data parallel training \n",
    "\n",
    "- pseudo-code\n",
    "\n",
    "```\n",
    "def train_batch(data, k):\n",
    "    split data into k parts\n",
    "    for i = 1, ..., k:  # run in parallel\n",
    "        compute grad_i w.r.t. weight_i using data_i on the i-th GPU\n",
    "    grad = grad_1 + ... + grad_k\n",
    "    for i = 1, ..., k:  # run in parallel\n",
    "        copy grad to i-th GPU\n",
    "        update weight_i by using grad\n",
    "```\n",
    "\n",
    "### Gluon parallel training\n",
    "\n",
    "- in training code\n",
    "```\n",
    "GPU_COUNT = 2\n",
    "ctx= [mx.gpu(i) for i in range(GPU_COUNT)]\n",
    "....\n",
    "        for i, (x_data, y_data, z_data) in enumerate(tr_data_iterator):\n",
    "            x_data_l = gluon.utils.split_and_load(x_data, ctx)\n",
    "            y_data_l = gluon.utils.split_and_load(y_data, ctx)\n",
    "            z_data_l = gluon.utils.split_and_load(z_data, ctx)\n",
    "            with autograd.record():\n",
    "                losses = [loss(model(x, y), z) for x, y, z in zip(x_data_l, y_data_l, z_data_l)]\n",
    "            for l in losses:\n",
    "                l.backward()\n",
    "            trainer.step(x_data.shape[0])\n",
    "....\n",
    "```\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 멀티 GPU의 장/단점 \n",
    "\n",
    "장점 \n",
    "\n",
    "- 한번에 많은 배치를 학습할 수 있다. \n",
    "\n",
    "단점 \n",
    "\n",
    "- 배치를 늘리지 않는다면 효과가 거의 없거나 오히려 학습 속도를 저해한다. \n",
    "- 배치라는 하이퍼파라메터가 바뀌기 때문에 싱글GPU에서 학습한 모형과 다른 모형이 도출된다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 8장의 GPU 중에서 마지막 4장의 GPU만 쓰고 싶다면.. \n",
    "\n",
    "아래의 코드를 Python 코드의 앞부분에서 실행해준다. \n",
    "\n",
    "```\n",
    "import os\n",
    "os.environ[\"CUDA_DEVICE_ORDER\"]=\"PCI_BUS_ID\" \n",
    "os.environ[\"CUDA_VISIBLE_DEVICES\"]=\"4,5,6,7\"\n",
    "```\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 테스트\n",
    "\n",
    "#### 환경 \n",
    "\n",
    "- 한영기계번역모형(seq2seq-atten)\n",
    "- A : GTX 1080 GPU 8Gb x 2\n",
    "- B : DGX Tesla V100 16Gb x 4\n",
    "    \n",
    "    \n",
    "- A환경에서는 1배치에 60개의 문장 학습 가능(메모리 한계)\n",
    "- B환경을 사용하면서 1배치에 240개 문장 학습 가능(GPU 메모리 2배 x GPU 숫자 2배)\n",
    "\n"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 1배치 학습 시간 \n",
    "\n",
    "- A\n",
    "\n",
    "![image.png](a.png)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "- B\n",
    "![image.png](b.png)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "약 5배 학습 속도가 향상됨. \n",
    "- 산술보다 빠른건 DGX에서 지원하는 [NVlink](https://devblogs.nvidia.com/dgx-1-fastest-deep-learning-system/) 기술 때문인것으로 추정됨\n",
    "- MXNet은 GPU가 늘어날 수록 선형적으로 학습 성능 향상이 가능하다는걸 알 수 있음 "
   ]
  }
 ],
 "metadata": {
  "celltoolbar": "Raw Cell Format",
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}