VUFS Use Cases (Release 1.0)

Snapshot - это множество всех файлов существующих на в данный момент времени на VUFS, представленное ввиде ациклического древовидного графа. При этом версионирование файлов не поддерживается, т.е. виртуальные файлы не поддерживают версионирование своих chunk'ов.

Технологические сценарии:

1. Создание файла на VUFS
2. Удаление файла на VUFS
3. Модификация файла на VUFS
4. Создание директории на VUFS
5. Удаление директории на VUFS
6. Модификация директории на VUFS
7. Создание Snapshot VUFS
8. Создание diff между Snapshot VUFS на локальном хранилище и текущем Snapshot VUFS на облаке
9. Мониторинг изменений файловой структуры на облаке
10. Мониторинг ресурсов облачных хранилищ (потребленное место под VUFS, общее доступное пространство).
11. Мониторинг доступности облачных хранилищ (пинг от клиента до облака, статистика о скорости загрузки и скачивания)

Бизнес сценарии:

1. Запуск клиента с пустой VUFS и пустым локальным хранилищем
2. Запуск клиента с пустой VUFS и локальным хранилищем содержащим файловую структуру
3. Запуск клиента с VUFS содержащей файловыю структуру и пустым локальным хранилищем
4. Запуск клиента с VUFS содержащей файловыю структуру и локальным хранилищем содержащим файловую структуру
5. Настройка стратегии резервирования для директории
6. Предоставление доступа другим пользователям к директории используя magic-ссылку
7. Предоставление доступа другим пользователям к директории используя профили пользователей в сервисе ariADDna
8. Настройка прав чтения\записи на директории для конкретного пользователя (не owner'a)
9. Ребалансировка VUFS при отказе в обслуживании части облачных хранилищ

---

Технологические сценарии:

1) Создание файла на VUFS

1. на клиенте сервис local-storage детектировал создание файла
2. на клиенте передать команду создание данного файла на сервер
3. сервер помечает файл как создаваемый и передает метаинформацию для этого VUFS пути (стратегия резирвирования и размер chunk'а)
4. клиент извлекает метаинформацию
5. клиент делит файл на части указанного размера (остаток добивается нулями)
6. передать с клиента на облачные хранилища команды создания chunk'ов
7. на клиенте собрать статистику по операциям с облачными хранилищами (время выполнения команды, число ошибок, число операций)
8. отправить с клиента на сервер подтверждение о создании файла и статистику по операциям.

2) Удаление файла на VUFS

1. на клиенте сервис local-storage детектировал удаление файла
2. на клиенте передать команду удаления данного файла на сервер
3. сервер помечает файл как удаляемый и передает метаинформацию по нему клиенту
4. клиент извлекает из метаинформации адреса всех chunk'ов
5. передать с клиента на облачные хранилища команды удаления chunk'ов
6. на клиенте собрать статистику по операциям с облачными хранилищами (время выполнения команды, число ошибок, число операций)
7. отправить с клиента на сервер подтверждение о удаление файла и статистику по операциям.

3) Модификация файла на VUFS

1. на клиенте сервис local-storage детектировал изменение файла
2. на клиенте передать команду изменения данного файла на сервер
3. сервер помечает файл как изменяемый и передает метаинформацию для этого VUFS пути (стратегия резирвирования и размер chunk'а)
4. клиент извлекает из метаинформации адреса всех старых chunk'ов
5. клиент вычисляет хеш для изменненного файла в локальном хранлище и сравнивает его с хешем в метаинформации. Если они не совпадают продолжаем.
6. клиент делит файл на части указанного размера (остаток добивается нулями)
7. передать с клиента на облачные хранилища команды создания новых chunk'ов
8. передать с клиента на облачные хранилища команды удаления старых chunk'ов
9. на клиенте собрать статистику по операциям с облачными хранилищами (время выполнения команды, число ошибок, число операций)
10. отправить с клиента на сервер подтверждение о изменении файла и статистику по операциям.

4) Создание директории на VUFS

1. на клиенте сервис local-storage детектировал создание директории
2. клиент передает на сервер команду создания пустой директории в VUFS
3. сервер помечает директорию как создаваемую и передает метаинформацию для этого VUFS пути (стратегия резирвирования и размер chunk'а для файлов принадлежащих этой директории)
4. клиент извлекает метаинформацию
5. клиент читает список новых файлов в директории на локальном хранилище и последовательно создает каждый из них (см. Создание файла на VUFS)
6. после создания каждого файла клиент регистрирует его в на сервере как принадлежащий создаваемой директории

5) Удаление директории на VUFS

1. на клиенте сервис local-storage детектировал удаление директории
2. клиент передает на сервер команду удаления директории в VUFS
3. сервер помечает директорию как удаляемую и передает метаинформацию для этого VUFS пути (список фалов в директории, стратегия резирвирования и размер chunk'а для файлов принадлежащих этой директории)
4. клиент извлекает метаинформацию
5. клиент читает список файлов в директории (из мета информации) и последовательно удаляет каждый из них (см. Удаление файла на VUFS)
6. после удаления каждого файла клиент регистрирует его удаление на сервере из удаляемой директории

6) Модификация директории на VUFS

1. на клиенте сервис local-storage детектировал изменение директории
2. клиент читает текущий список файлов в директории
3. клиент передает на сервер команду изменения директории в VUFS
4. сервер помечает директорию как изменяемую и передает метаинформацию для этого VUFS пути (список фалов в директории, стратегия резирвирования и размер chunk'а для файлов принадлежащих этой директории)
5. клиент извлекает метаинформацию и сравнивает список файлов на локальном хранилище и VUFS
6. если файла нет в локальном хранилище, но он есть в VUFS, то клиент последовательно удаляет эти файлы (см. Удаление файла на VUFS)
7. если файл есть на локальном хранилище, но его нет в VUFS, то клиент последовательно добавляет эти файлы (см. Создание файла на VUFS)
8. если файл есть на локальном хранилище, но он есть в VUFS, то клиент последовательно изменяет эти файлы (см. Модификация файла на VUFS)

7) Создание Snapshot VUFS

1. клиент запрашивает полный Snapshot VUFS.
2. сервер отправляет объект представляющий ациклический древовидный граф всей VUFS (сериализуется в JSON)

8) Создание diff между Snapshot VUFS на локальном хранилище и текущем Snapshot VUFS на облаке

1. см. Создание Snapshot VUFS
2. создание локального Snapshot VUFS (аналогичная процедура как на сервере)
3. сравнение двух ациклических графов
4. получение diff (набор ациклических древовидных графов с корнями в узлах последних в пути VUFS существующих директориях)

9) Мониторинг изменений файловой структуры на облаке

(если облачное хранилище не может уведомлять об изменении структуры, то запуск происходит по планировщику)

1. клиент запрашивает с сервера Snapshot VUFS
2. клиент проходиться по древовидному графу и для каждого его листа (файла) проверяет наличие ео chunk'ов на облачных хранилищах
3. клиент передает результаты проверки на сервер

10) Мониторинг ресурсов облачных хранилищ (потребленное место под VUFS, общее доступное пространство).

1. сервер агрегирует статистику от клиентов (храниться в БД) и строит для каждого клиента стат данные о доступных ресурсах на облачных хранилищах и потребленной емкости

11) Мониторинг доступности облачных хранилищ (пинг от клиента до облака, статистика о скорости загрузки и скачивания)

1. сервер агрегирует статистику от клиентов (храниться в БД) и строит для каждого клиента стат данные о доступности облачных хранилищ и скорости операций с ними

Бизнес сценарии

1) Запуск клиента с пустой VUFS и пустым локальным хранилищем

1. клиент запрашивает с сервера Snapshot VUFS
2. сервер отвечает что VUFS пуста
3. клиент переходит к старту остальных сервисов и ожиданию либо команды с сервера либо изменений в локальном файловом хранилище

2) Запуск клиента с пустой VUFS и локальным хранилищем содержащим файловую структуру

1. клиент запрашивает с сервера Snapshot VUFS
2. сервер отвечает что VUFS пуста
3. клиент получает список директории в локальном хранилище
4. клиент начинает последовательно создавать директории на VUFS (см. Создание директории на VUFS)
5. клиент переходит к старту остальных сервисов и ожиданию либо команды с сервера либо изменений в локальном файловом хранилище

3) Запуск клиента с VUFS содержащей файловыю структуру и пустым локальным хранилищем

1. клиент запрашивает с сервера Snapshot VUFS
2. клиент проходиться по древовидному графу и для каждого его листа (файла) выполняет загрузку в локальное хранилище если в метаинформации стоит признак синхронизации
3. клиент переходит к старту остальных сервисов и ожиданию либо команды с сервера либо изменений в локальном файловом хранилище

4) Запуск клиента с VUFS содержащей файловыю структуру и локальным хранилищем содержащим файловую структуру

1. клиент запрашивает с сервера Snapshot VUFS
2. сервер передает Snapshot VUFS
3. клиент получает diff структуру и создает новые файлы и директории, удаляет старые и изменяет существующие (см Создание diff между Snapshot VUFS на локальном хранилище и текущем Snapshot VUFS на облаке)
4. клиент переходит к старту остальных сервисов и ожиданию либо команды с сервера либо изменений в локальном файловом хранилище

5) Настройка стратегии резервирования для директории

1. пользователь выбрал директорию (в корне VUFS) и установил/сменил для нее стратегии резервирования
2. клиент отправляет на сервер смену стратегии резервирования для пути VUFS
3. сервер отмечает что меняется стратегия и возвращает клиенту текущую старую метаинформацию
4. из метаинформации клиент узнает текущую стратегию и принимает решение что нужно сделать:
   • union->mirror - добавить еще одну копию для каждого chunk на другом облачном хранилище
   • mirror->high - добавить еще одну копию для каждого chunk на другом облачном хранилище
   • high->mirror - удалить одну копию для каждого chunk на другом облачном хранилище
   • mirror->union - удалить одну копию для каждого chunk на другом облачном хранилище
   • union->high - добавить две копии для каждого chunk на другом облачном хранилище
   • high->union - удалить две копии для каждого chunk на другом облачном хранилище удаление происходит со стасистически самого медленного облачного хранилища для пользователя добавление происходит на стасистически самое быстрое облачное хранилище для пользователя
5. клиент отвечает серверу что смена стратегии прошла успешно и отдает статистику

6) Предоставление доступа другим пользователям к директории используя magic-ссылку

1. пользователь выбрал директорию (необязательно в корне VUFS) и нажал "открыть доступ по ссылке"
2. клиент передает на сервер что этот путь в VUFS может быть доступен другим пользователям перешедшим по ссылке
3. сервер отмечает это в своей БД, сгенерирует псевдослучайный хеш и передаст клиенту
4. клиент покажет хеш как часть url например htpps://ariaddna.stnetix.com/share?id=<хеш на базе ID владельца ресурса>&h=<хеш доступа> При заходе на этот Url должен открыться web ui для загрузки файлов из указанной директории. В клиенте ariADDna тоже можно внести функционал добавления доступных по ссылке директорий. В VUFS пользователя которому открыли доступ появляется путь /shared/<email владельца>/<имя директории>

7) Предоставление доступа другим пользователям к директории используя профили пользователей в сервисе ariADDna

1. пользователь выбрал директорию (необязательно в корне VUFS) и нажал "открыть доступ пользователю"
2. клиент предлагает пользователю строку поиска для ввода email пользователя зарегистрированного в сервере ariADDna
3. пользователь выбирает из выподающего списка email пользователя зарегистрированного в сервере ariADDna (можно добавить более одного)
4. для каждого пользователя владелец выставляет права: чтение, запись.
5. клиент передает на сервер что этот путь в VUFS может быть доступен указанному пользователю
6. сервер отмечает это в своей БД, передает оповещение пользователю которому открыли доступ (также извещает его на email) В VUFS пользователя которому открыли доступ появляется путь /shared/<email владельца>/<имя директории>

8) Обработка изменений файловой структуры на облаке

1. Мониторинг изменений файловой структуры на облаке на сервере информирует об изменении структуры или нотификацию генерирует сам сервер
2. клиент запрвшивает полный Snapshot VUFS
3. клиент проходиться по древовидному графу и для каждого его листа (файла) выполняет проверку наличия его chunk'ов на всех указанных в метаинформации облаках
4. в случае отсутствия chunk'a на облачном хранилище клиент создает его
5. для каждого файла клиент после его проверки на облаке клиент отдает результат и статистику на сервер

9) Ребалансировка VUFS при отказе в обслуживании части облачных хранилищ

1. Мониторинг доступности облачных хранилищ на сервере информирует об "падении облака"
2. сервер изменяет метаинформацию в стратегии хранения подставляя вместо "упавшего облака" наиболее статистически доступное
3. сервер извещает клента о изменений файловой структуры на облаке