explore_prodigy_data.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import json\n",
    "path1=\"/home/yan/arabicNER/nerdata/full_arabic_ner.jsonl\"\n",
    "path2=\"/home/yan/arabicNER/nerdata/single_arabic_ner.jsonl\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "data2 = []\n",
    "with open(path2) as f:\n",
    "    for line in f:\n",
    "        data2.append(json.loads(line,encoding=\"uft-8\"))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "801"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(data2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'_input_hash': 1226011499,\n",
       " '_task_hash': -704813261,\n",
       " 'answer': 'accept',\n",
       " 'meta': {'page': 'https://ar.wikipedia.org/wiki/%D9%87%D9%88%D9%84%D9%86%D8%AF%D8%A7',\n",
       "  'score': 0.7843725483,\n",
       "  'source': 'wiki'},\n",
       " 'spans': [{'end': 683,\n",
       "   'input_hash': 1226011499,\n",
       "   'label': 'GPE',\n",
       "   'rank': 0,\n",
       "   'score': 0.7843725483,\n",
       "   'source': 'model',\n",
       "   'start': 673,\n",
       "   'text': 'أو هولندية'}],\n",
       " 'text': 'حكمت الإمبراطورية الرومانية المقدسة التي خلفت مملكة الفرنجة الشرقيين الكثير من البلدان المنخفضة في القرنين 10 و11 لكنها لم تكن قادرة على المحافظة على وحدتها السياسية، ولذلك استطاع النبلاء المحليون ذوو النفوذ من تحويل مدنهم ومقاطعاتهم ودوقياتهم إلى ممالك خاصة، الأمر الذي ولّد لديهم الإحساس بأنهم ليسوا ملزمون بأي شيء أمام الإمبراطور. وكانت مقاطعات هولندا، وهينو، وفلاندريز، وخيلدرز، ودوقية برابنت، وأسقفية أوترخت في حالة من الحرب شبه المستمرة أو كانت بمثابة وحدات سياسية شخصية متناقضة التشكيل. وكانت لغة معظم سكان مقاطعة هولندا وثقافتهم في الأصل فريزية. وبتقدم الفرنجة في مستواهم الحضاري بدرجة أكثر مما لدى فلاندرز وبرابانت سرعان ما أصبحت لغة المنطقة فرانكونية دنيا قديمة (أو هولندية قديمة).'}"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data2[1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "data1 = []\n",
    "with open(path1) as f:\n",
    "    for line in f:\n",
    "        data1.append(json.loads(line,encoding=\"uft-8\"))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "215"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(data1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'_input_hash': -1040137183,\n",
       " '_task_hash': -472725774,\n",
       " 'answer': 'accept',\n",
       " 'meta': {'page': 'https://ar.wikipedia.org/wiki/%D9%87%D9%88%D9%84%D9%86%D8%AF%D8%A7',\n",
       "  'source': 'wiki'},\n",
       " 'spans': [{'end': 63,\n",
       "   'endIdx': 7,\n",
       "   'label': 'GPE',\n",
       "   'start': 53,\n",
       "   'startIdx': 7}],\n",
       " 'text': 'وبعدما سُمِح للفرنجة الساليين بالإقامة كفيوديراتي في توكساندري. ونتيجة لما اقترن بذلك من تدهور للظروف المناخية وانسحاب الرومان اختفى الفريسيون من شمالي هولندا، وربما كانوا قد أجبروا على الإستيطان داخل مقاطعات رومانية مثل ليتاي عام 296. وبذلك ظلت الأراضي الساحلية الهولندية غير مأهولة بالسكان لمدة القرنين التاليين.',\n",
       " 'tokens': [{'end': 6, 'id': 0, 'start': 0, 'text': 'وبعدما'},\n",
       "  {'end': 12, 'id': 1, 'start': 7, 'text': 'سُمِح'},\n",
       "  {'end': 20, 'id': 2, 'start': 13, 'text': 'للفرنجة'},\n",
       "  {'end': 29, 'id': 3, 'start': 21, 'text': 'الساليين'},\n",
       "  {'end': 38, 'id': 4, 'start': 30, 'text': 'بالإقامة'},\n",
       "  {'end': 49, 'id': 5, 'start': 39, 'text': 'كفيوديراتي'},\n",
       "  {'end': 52, 'id': 6, 'start': 50, 'text': 'في'},\n",
       "  {'end': 63, 'id': 7, 'start': 53, 'text': 'توكساندري.'},\n",
       "  {'end': 70, 'id': 8, 'start': 64, 'text': 'ونتيجة'},\n",
       "  {'end': 74, 'id': 9, 'start': 71, 'text': 'لما'},\n",
       "  {'end': 80, 'id': 10, 'start': 75, 'text': 'اقترن'},\n",
       "  {'end': 85, 'id': 11, 'start': 81, 'text': 'بذلك'},\n",
       "  {'end': 88, 'id': 12, 'start': 86, 'text': 'من'},\n",
       "  {'end': 94, 'id': 13, 'start': 89, 'text': 'تدهور'},\n",
       "  {'end': 101, 'id': 14, 'start': 95, 'text': 'للظروف'},\n",
       "  {'end': 110, 'id': 15, 'start': 102, 'text': 'المناخية'},\n",
       "  {'end': 118, 'id': 16, 'start': 111, 'text': 'وانسحاب'},\n",
       "  {'end': 126, 'id': 17, 'start': 119, 'text': 'الرومان'},\n",
       "  {'end': 132, 'id': 18, 'start': 127, 'text': 'اختفى'},\n",
       "  {'end': 142, 'id': 19, 'start': 133, 'text': 'الفريسيون'},\n",
       "  {'end': 145, 'id': 20, 'start': 143, 'text': 'من'},\n",
       "  {'end': 151, 'id': 21, 'start': 146, 'text': 'شمالي'},\n",
       "  {'end': 159, 'id': 22, 'start': 152, 'text': 'هولندا،'},\n",
       "  {'end': 165, 'id': 23, 'start': 160, 'text': 'وربما'},\n",
       "  {'end': 171, 'id': 24, 'start': 166, 'text': 'كانوا'},\n",
       "  {'end': 174, 'id': 25, 'start': 172, 'text': 'قد'},\n",
       "  {'end': 181, 'id': 26, 'start': 175, 'text': 'أجبروا'},\n",
       "  {'end': 185, 'id': 27, 'start': 182, 'text': 'على'},\n",
       "  {'end': 195, 'id': 28, 'start': 186, 'text': 'الإستيطان'},\n",
       "  {'end': 200, 'id': 29, 'start': 196, 'text': 'داخل'},\n",
       "  {'end': 208, 'id': 30, 'start': 201, 'text': 'مقاطعات'},\n",
       "  {'end': 216, 'id': 31, 'start': 209, 'text': 'رومانية'},\n",
       "  {'end': 220, 'id': 32, 'start': 217, 'text': 'مثل'},\n",
       "  {'end': 226, 'id': 33, 'start': 221, 'text': 'ليتاي'},\n",
       "  {'end': 230, 'id': 34, 'start': 227, 'text': 'عام'},\n",
       "  {'end': 234, 'id': 35, 'start': 231, 'text': '296'},\n",
       "  {'end': 235, 'id': 36, 'start': 234, 'text': '.'},\n",
       "  {'end': 241, 'id': 37, 'start': 236, 'text': 'وبذلك'},\n",
       "  {'end': 245, 'id': 38, 'start': 242, 'text': 'ظلت'},\n",
       "  {'end': 253, 'id': 39, 'start': 246, 'text': 'الأراضي'},\n",
       "  {'end': 262, 'id': 40, 'start': 254, 'text': 'الساحلية'},\n",
       "  {'end': 272, 'id': 41, 'start': 263, 'text': 'الهولندية'},\n",
       "  {'end': 276, 'id': 42, 'start': 273, 'text': 'غير'},\n",
       "  {'end': 283, 'id': 43, 'start': 277, 'text': 'مأهولة'},\n",
       "  {'end': 291, 'id': 44, 'start': 284, 'text': 'بالسكان'},\n",
       "  {'end': 296, 'id': 45, 'start': 292, 'text': 'لمدة'},\n",
       "  {'end': 304, 'id': 46, 'start': 297, 'text': 'القرنين'},\n",
       "  {'end': 314, 'id': 47, 'start': 305, 'text': 'التاليين.'}]}"
      ]
     },
     "execution_count": 24,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data1[1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.5.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}