Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Cемплирование данных с прода для локального теста airflow тасок #66

Open
viribus-issue-bot opened this issue Aug 16, 2024 · 3 comments
Assignees
Labels
epic 💯 Масштабная задача, целый сервис new feature 🆕 Новая фича или запрос на нее

Comments

@viribus-issue-bot
Copy link

Issue open by Михаил Парфенов via telegram message.

@mixx3
Copy link
Member

mixx3 commented Aug 16, 2024

Хочется одной командой подкладывать семплы (например, 10% случайных строк из прод таблицы) в локальную базу
по безопасности: сделаем встречу и подумаем
(предварительно хочется чтобы через аутх токен можно было проверять scope на чтение dwh базы или факт, что юзер прилинкован к постгресу)

@mixx3
Copy link
Member

mixx3 commented Aug 16, 2024

Definition of done:

  • Ревью (Стас, Миша, Артем Морозов +...) по архитектуре и интерфейсу (где будет находиться в коде, какие будут пареметры, как будет реализовано)
  • Реализация в коде
  • Поддержка в документации

@mixx3 mixx3 changed the title Дизайн: семплирование данных с прода для локального теста airflow тасок Cемплирование данных с прода для локального теста airflow тасок Aug 16, 2024
@mixx3 mixx3 added epic 💯 Масштабная задача, целый сервис new feature 🆕 Новая фича или запрос на нее labels Aug 16, 2024
@mixx3
Copy link
Member

mixx3 commented Aug 17, 2024

Воркфлоу такой примерно

я пишу эирфлоу таску, которая перекладывает данные из stg в ods например

написал, запустил у меня она зелененьким загорелась в UI эирфлоу
но я ее запустил на пустой локальной базе, по сути она просто скомпилировала sql код, который в ней
хочется проверить как она будет себя вести на данных (может я там аггрегацию какую-нибудь не так написал, или апдейт неправильный)
и в этот момент хочется просто одной cli командой залить в лоакльную базу часть конкретной таблички, чтобы протестировать конкретную таску

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
epic 💯 Масштабная задача, целый сервис new feature 🆕 Новая фича или запрос на нее
Projects
Status: Todo
Development

No branches or pull requests

3 participants