Skip to content

Latest commit

 

History

History
271 lines (240 loc) · 11.1 KB

README.md

File metadata and controls

271 lines (240 loc) · 11.1 KB

DATA HACK

Кейс 2. Генератор Фейковый Данных для Сложных Запросов

Информация про различные виды полей

Название класса Его описание
SparkField абстрактный класс, на основе которого строятся всевозможные виды полей
Range базовый класс для IntegerRange и FloatRange
IntegerRange класс для генерации рандомного целого числа от start до stop
FloatRange класс для генерации рандомного вещественного числа от start до stop
Constant класс для генерации констант
StringRange класс для генерации строк с заданным алфавитом длины от from_length до to_length
StringLen класс для генерации строк с заданным алфавитом с фиксированной длиной
WeightSelect класс для генерации чисел и строк из заданного множества готовых значений с частотным распределением
Select класс для генерации чисел и строк из заданного множества готовых значений
Mask базовый класс для IntegerMask и StringMask
IntegerMask класс для генерации чисел с помощью масок
StringMask класс для генерации строк с помощью масок
Time базовый класс для Date и Timestamp
Date класс для генерации данных типа date
Timestamp класс для генерации данных типа timestamp

Про поля настройки в конфигах таблиц

Ключи для настройки IntegerRange, FLoatRange

Ключ Описание
start, stop диапазон значений [start, stop], в рамках которых происходит генерация значений чисел

Ключи для настройки Constant

Ключ Описание
value значение константы

Ключи для настройки StringRange

Ключ Описание
from_length, to_length диапазог значений [from_length, to_length], в рамках которых происходит генерация длины строки
alphabet строка символов (алфавит), из которых генерируется строка

Ключи для настройки StringLen

Ключ Описание
length длина генерируемой строки
alphabet строка символов (алфавит), из которых генерируется строка

Ключи для настройки WeightSelect

Ключ Описание
select словарь, в котором ключ это строка или число, а значение это его приоритет встречаемости

Ключи для настройки Select

Ключ Описание
select множество (сет) значений, из которых выбирается случайным образом одно из них

Ключи для настройки IntegerMask, StringMask

Ключ Описание
mask строка, которая описывает маску. # отвечает за произвольный символ. Пример: "12fds###s"
alphabet строка символов (алфавит), из которых генерируются буквы на место символа # в маске

Ключи для настройки Date

Ключ Описание
start_year, start_month, start_day дата date(start_year, start_month, start_day), начиная с которой происходит генерация дат
stop_year, stop_month, stop_day дата date(end_year, end_month, end_day), заканчивая которой происходит генерация дат

Ключи для настройки TimeStamp

Ключ Описание
start_year, start_month, start_day, start_hour, start_minute время метка datetime(start_year, start_month, start_day, start_hour, start_minute), начиная с которой происходит генерация временных меток
stop_year, stop_month, stop_day, stop_hour, stop_minute время метка datetime(end_year, end_month, end_day, end_hour, end_minute), заканчивая которой происходит генерация временных меток

Пример настроек сущности в конфиге

full_fields_config.json
{
  "FullFields": {
    "integerRange": {
      "start": -15,
      "stop": 40
    },
    "floatRange": {
      "start": -5,
      "stop": 5
    },
    "constant": {
      "value": 789
    },
    "stringRange": {
      "from_length": 2,
      "to_length": 4,
      "alphabet": "abcdef"
    },
    "stringLen": {
      "length": 5,
      "alphabet": "tyuiop"
    },
    "selectInt": {
      "select": [
        12,
        13,
        14
      ]
    },
    "selectFloat": {
      "select": [
        1.111,
        2.222,
        3.333,
        4.444,
        5.555
      ]
    },
    "weightSelectStr": {
      "select": {
        "superOften": 6,
        "superRare": 1
      }
    },
    "integerMask": {
      "mask": "789######",
      "alphabet": "1234"
    },
    "stringMask": {
      "mask": "######",
      "alphabet": "ABCDEF"
    },
    "dateField": {
      "start_year": 1988,
      "start_month": 2,
      "start_day": 6,
      "stop_year": 2000,
      "stop_month": 11,
      "stop_day": 11
    },
    "timestampField": {
      "start_year": 1988,
      "start_month": 2,
      "start_day": 6,
      "start_hour": 10,
      "start_minute": 32,
      "stop_year": 2000,
      "stop_month": 11,
      "stop_day": 11,
      "stop_hour": 10,
      "stop_minute": 32
    }
  }
}

Про поля настройки в конфиге по запуску генератора

Ключ tasks отвечает за массив объектов, где каждый объект это последовательное действие, которое нужно выполнить. Каждое действие описывается ключом job, который определяет тип действия

Значение ключа job в объекте Описание действия
solo_generate Сгенерировать таблицу
paired_generate Сгенерировать две связанные таблицы
show_date Показать данные в консоли

Ключи настройки объекта типа solo_generate

Ключ Описание
args объект объектов, которые описываются ниже
table (script_name, class_name) объект table с ключами script_name и class_name, которые дают информацию о том, что таблица находится в скрипте script.name, и датаклассе, описывающем класс, это class_name
export (dir_name, data_type, mode) объект export с ключами dir_name, data_type, mode, которые дают информацию о том, что таблица будет сохраняться в папке dir_name типа data_type (по дефолту parquet, возможные значения csv, json, parquet), mode (по дефолту overwrite) - режим записи (append, overwrite, ignore)
config название файла конфига для таблицы

Ключи настройки объекта типа paired_generate

Ключ Описание
args объект объектов, которые описываются ниже
table1, table2 (script_name, class_name) объекты table1, table2 с ключами script_name и class_name, которые дают информацию о том, что таблицы находится в скрипте script.name, и датаклассе, описывающем класс, это class_name
export (dir_name1, dir_name2, data_type, mode) объект export с ключами dir_name1, dir_name2, data_type, mode, которые дают информацию о том, что таблицы будет сохраняться в папках dir_name1 и dir_name2 соответственно типа data_type (по дефолту parquet, возможные значения csv, json, parquet), mode (по дефолту overwrite) - режим записи (append, overwrite, ignore)
intersect_keys("a1" : "b1", "a2" : "b2", ...) объект, который сопоставляет поле a_i из первой таблицы полю b_i из второй таблицы
config название файла конфига для обеих таблиц

Ключи настройки объекта типа show_data

Ключ Описание
args объект объектов, которые описываются ниже
dir_name имя папки, из которой демонстрируется таблица
data_type тип данных, в котором хранится таблица
count количество первых строк столбца, которые надо вывести в консоль (по дефолту 20)

Пример настроек запуска генератора

default.json
{
  "tasks": [
    {
      "job": "solo_generate",
      "args": {
        "table": {
          "script_name": "CellClass",
          "class_name": "Cell"
        },
        "export": {
          "dir_name": "CellGen",
          "data_type": "parquet",
          "mode": "append"
        },
        "config": "config.json"
      }
    },
    {
      "job": "show_data",
      "args": {
        "dir_name": "CellGen",
        "data_type": "parquet",
        "count": 5
      }
    },
    {
      "job": "paired_generate",
      "args": {
        "table1": {
          "script_name": "CellClass",
          "class_name": "Cell"
        },
        "table2": {
          "script_name": "Cell2Class",
          "class_name": "Cell2"
        },
        "intersect_keys": {
          "integer1": "iid",
          "float2": "acceleration",
          "abcword": "word"
        },
        "export": {
          "dir_name1": "CellPrd",
          "dir_name2": "Cell2Prd",
          "data_type": "parquet"
        },
        "config": "config.json"
      }
    },
    {
      "job": "show_data",
      "args": {
        "dir_name": "CellPrd",
        "data_type": "parquet",
        "count": 10
      }
    },
    {
      "job": "show_data",
      "args": {
        "dir_name": "Cell2Prd",
        "data_type": "parquet",
        "count": 10
      }
    }
  ]
}