Fromage annotator and dff-fromage-image-skill #523

ciwwwnd · 2023-07-11T19:03:46Z

Все, что относится к fromage аннотатору:

/dp-formatters:

получаем список из пяти последних вхождений картинок (если есть картинка, то путь к ней, если нет картинки, то None). Выглядит это примерно так [None, 'https://bla-bla', None, None, 'https://bla-bla'].
Если сообщение текстовое — вытаскиваем последнее сообщение и среди полученного списка с адресами картинок вытаскиваем последний адрес к картинке, который не None и начинается с http
Если получаем картинку сразу, то вытаскиваем адрес к картинке и поле text оставляем пустой строкой

Почему пустой строкой? Переходим к server.py аннотатора.

Если поле текст — пустая строка, мы автоматически отправляем во фромаж последнюю пикчу и запрос ‘What is the image?’, чтобы он выдал релевантную информацию к картинке, а не просто последнее обсуждавшееся сообщение.

Можем обсуждать картинку примерно 5 сообщений (из-за устройства форматтера)

Что может работать не так:

после 5 сообщений может крашится из-за break в цикле, если не получает новую картинку (потому что тогда список состоит только из None)
может выдавать невнятные ответы типа A:A:A:A: и прочие вещи. Это ок, он сам по себе такой.

Скилл:

Просто выдает аннотацию фромажа. Там есть невнятный переход (condition, который всегда возвращает True), который не несет смысловой нагрузки, но возможно там будут нормальные переходы когда-нибудь между нодами…

Запуск:

docker-compose -f docker-compose.yml -f assistant_dists/dream_multimodal/docker-compose.override.yml -f assistant_dists/dream_multimodal/dev.yml -f assistant_dists/dream_multimodal/proxy.yml up --build

docker-compose exec agent python -m deeppavlov_agent.run agent.channel=telegram agent.telegram_token=<INSERT_YOUR_TG_TOKEN_HERE> agent.pipeline_config=assistant_dists/dream_multimodal/pipeline_conf.json

final thesis only

oserikov · 2023-07-12T09:41:41Z

@ciwwwnd please,

fix black/flake8 errors
provide with some description

This reverts commit b1733e6.

This reverts commit 9561e7b.

smilni

вроде всё, по любым вопросам пиши нам в тред или отвечай тут на комменты)
единственное -- я пока его не поднимала и не говорила, когда поправишь архитектурно и по коду, пингани меня, я еще раз по всему пройдусь, и уже тогда с ним пообщаюсь

annotators/fromage/Dockerfile

README.md

annotators/fromage/component.yml

smilni · 2023-07-24T18:30:15Z

annotators/fromage/service_configs/fromage/environment.yml

@@ -0,0 +1,3 @@
+SERVICE_PORT: 8069


у тебя еще MAX_HISTORY_DEPTH и MAX_RESPONSES_ABOUT_PICS

annotators/fromage/service_configs/fromage/service.yml

state_formatters/dp_formatters.py

assistant_dists/dream_multimodal/docker-compose.override.yml

annotators/fromage/fromage/__init__.py

smilni · 2023-08-03T19:59:47Z

services/fromage/pipeline.yml

+- group: services
+  connector:
+    protocol: http
+    timeout: 3.0


smilni · 2023-08-03T20:00:56Z

skills/dff_fromage_image_skill/component.yml

Нелль, мы вроде убрали component.yml файлы. извини, очень часто все меняется. посмотри пожалуйста свежий дев и сделай по аналогии ровно как в нем

чтоб лишнего не было а нужное было

и pipeline.yml вроде тоже. теперь внутри компонент только папке service_configs вместо этого

smilni · 2023-08-03T20:05:18Z

...emplate_prompted_skill/service_configs/dff-informal-letter-ru-prompted-skill/environment.yml

это не твое

smilni · 2023-08-03T20:05:25Z

...emplate_prompted_skill/service_configs/dff-official-letter-ru-prompted-skill/environment.yml

это не твое

smilni · 2023-08-03T20:08:04Z

services/agent_services/service_configs/dream_multimodal/environment.yml

-WAIT_HOSTS: ''
+WAIT_HOSTS: spelling-preprocessing:8074, sentseg:8011, badlisted-words:8018, intent-catcher:8014,
+  image-captioning:8123, fromage:8069, dff-program-y-skill:8008, dff-intent-responder-skill:8012,
+  dff-fromage-image-skill:8070, dff-image-skill:8124, convers-evaluation-selector:8009
 WAIT_HOSTS_TIMEOUT: ${WAIT_TIMEOUT:-480}


таймаут

smilni · 2023-08-03T20:10:00Z

services/fromage/README.md

@@ -0,0 +1,16 @@
+# FROMAGe Service
+**FROMAGe** is a service that is used to get an image and respond accordingly to the user's questions. FROMAGe is based on grounding pretrained language models to the visual domain ([Grounding Language Models to Images for Multimodal Inputs and Outputs](https://arxiv.org/abs/2301.13823)). 


**FROMAGe** is a service that is used to process an input image and respond to the user's questions accordingly. It is based on the [FROMAGe](https://github.com/kohjingyu/fromage/tree/main) model from [Grounding Language Models to Images for Multimodal Inputs and Outputs](https://arxiv.org/abs/2301.13823).

smilni · 2023-08-03T20:10:30Z

services/fromage/README.md

+# FROMAGe Service
+**FROMAGe** is a service that is used to get an image and respond accordingly to the user's questions. FROMAGe is based on grounding pretrained language models to the visual domain ([Grounding Language Models to Images for Multimodal Inputs and Outputs](https://arxiv.org/abs/2301.13823)). 
+
+GPU RAM 5 GB, RAM 5 GiB. 


services/fromage/server.py

smilni · 2023-08-03T20:16:40Z

services/fromage/server.py

+logger = logging.getLogger(__name__)
+
+FILE_SERVER_URL = os.getenv("FILE_SERVER_URL")
+RET_SCALE_FACTOR = 0


я бы вынесла его во внешние аргументы. но это на подумать, хочешь ты всегда его нулем иметь, или иметь возможность задавать его прямо в аргах в docker-compose.override.yml. я за второе, потому что вы же планируете расширять фромаж, и возможно для других ситуаций нужен будет другой RET_SCALE_FACTOR

services/fromage/server.py

dilyararimovna

вернуть удаленные файлы про informal letter из skills/dff_template_prompted_skill
в описании пр есть про "крашится в таких-то случаях", надо понимать, что каждый раз, как компонента крашится с ошибкой, она переподнимается! а это в случае больших нн моделей занимает прилично времени. Поэтому надо избежать всех возможных крашей с помощью try-except или правильных дефолтных значений

.env

assistant_dists/dream_multimodal/dev.yml

assistant_dists/dream_multimodal/cpu.yml

assistant_dists/dream_multimodal/docker-compose.override.yml

assistant_dists/dream_multimodal/pipeline_conf.json

dilyararimovna · 2023-08-04T08:25:12Z

skill_selectors/rule_based_selector/connector.py

@@ -97,6 +97,8 @@ async def send(self, payload: Dict, callback: Callable):
            dialog_len = len(dialog["human_utterances"])
            if user_uttr.get("attributes", {}).get("image") is not None:
                skills_for_uttr.append("dff_image_skill")
+                skills_for_uttr.append("dff_fromage_image_skill")


а если картинка была в предыдущей реплике и в текущую не попала, то и скилл не будет включаться? ты же вроде хотела, чтобы он мог до 5 реплик после присланной картинки обсуждать.

вопрос остался актуальным

it should be like

if any(["image" in user_uttr.get("attributes", {}) for user_uttr in dialog["human_utterances"][-5:]])

state_formatters/dp_formatters.py

dilyararimovna · 2023-08-04T08:36:45Z

components/8iHHdjsnfhewkl.yml

+author: [email protected]
+description: The service is built using the FROMAGe model, which is able to produce meaningful conversations with users about different images.
+ram_usage: 5G
+gpu_usage: 18G


в docker-compose.override.yml прописывается память не на гпу, а оперативка. ПОправить на корректные значения везде. Причем эти значения в docker-compose.override.yml - это прям лимит, то есть контейнер будет переподниматься, так как превзошел лимиты по оперативке. Так что назначай ее в виде максимального значения (например, при подгрузке модели на гпу скорее всего оперативы будет кушаться много)

...emplate_prompted_skill/service_configs/dff-informal-letter-ru-prompted-skill/environment.yml

assistant_dists/dream_multimodal/pipeline_conf.json

dilyararimovna · 2023-08-04T12:18:48Z

assistant_dists/dream_multimodal/pipeline_conf.json

-                    "component": "components/xSwFvtAUdvtQosvzpb7oMg.yml",
-                    "service": "skill_selectors/rule_based_selector/service_configs/agent"
+                    "component": "components/dfsw4bji8bgjq2.yml",
+                    "service": "skill_selectors/description_based_skill_selector/service_configs/agent"


почему используется description based skill selector, а добавляется он в rule based selector

так вроде щас description based skill selector как в деве дрима основного, или нет? я запуталась

вернуть rule_based? я вроде везде его выпилила и по поиску в папке вроде ничего на него не похоже
или он не туда встал?

я к тому, что у тебя должен использоваться тот же скилл селектор, в код которого ты добавила скилл)

да,в ерни rule based skill selector

services/fromage/service_configs/fromage/environment.yml

dilyararimovna · 2023-08-05T15:39:12Z

skill_selectors/rule_based_selector/connector.py

@@ -97,6 +97,8 @@ async def send(self, payload: Dict, callback: Callable):
            dialog_len = len(dialog["human_utterances"])
            if user_uttr.get("attributes", {}).get("image") is not None:
                skills_for_uttr.append("dff_image_skill")
+                skills_for_uttr.append("dff_fromage_image_skill")


вопрос остался актуальным

dilyararimovna · 2023-08-05T17:09:44Z

skills/dff_fromage_image_skill/server.py

+
+
+try:
+    # test_server.run_test(handler)


включи тесты обратно

и попробуй поднять локально, чтобы чекнуть, что поднимается скилл

state_formatters/dp_formatters.py

dilyararimovna · 2023-08-06T07:03:57Z

skill_selectors/rule_based_selector/connector.py

@@ -179,6 +181,7 @@ async def send(self, payload: Dict, callback: Callable):
                skills_for_uttr.append("meta_script_skill")
                skills_for_uttr.append("dummy_skill")
                skills_for_uttr.append("dialogpt")  # generative skill
+                skills_for_uttr.append("dff_fromage_image_skill")


ты хочешь во всех случаях включать скилл? странная логика. Надо делать так: включать 5 реплик после присланной картинки

dilyararimovna · 2023-08-08T08:14:50Z

skill_selectors/rule_based_selector/connector.py

@@ -97,6 +97,9 @@ async def send(self, payload: Dict, callback: Callable):
            dialog_len = len(dialog["human_utterances"])
            if user_uttr.get("attributes", {}).get("image") is not None:
                skills_for_uttr.append("dff_image_skill")
+                if dialog_len < 5:
+                    skills_for_uttr.append("dff_fromage_image_skill")


ты включаешь скилл в итоге в 5 пяти репликах диалога, елси есть картинка. По-моему ты хочешь по-другому.
Тебе надо чекнуть, есть ли в последних пяти репликах от человека картинка. Если есть, то включить твой скилл.

state_formatters/dp_formatters.py

dilyararimovna · 2023-08-22T11:04:56Z

skill_selectors/rule_based_selector/connector.py

@@ -97,6 +97,8 @@ async def send(self, payload: Dict, callback: Callable):
            dialog_len = len(dialog["human_utterances"])
            if user_uttr.get("attributes", {}).get("image") is not None:
                skills_for_uttr.append("dff_image_skill")
+                skills_for_uttr.append("dff_fromage_image_skill")


it should be like

if any(["image" in user_uttr.get("attributes", {}) for user_uttr in dialog["human_utterances"][-5:]])

oserikov · 2023-08-29T06:17:08Z

@dilyararimovna @smilni PR moved to #562 .

Nellya Dzhubaeva and others added 7 commits May 31, 2023 10:51

final thesis demo commit

d0b08f5

Update README.md

0cb87b2

final thesis only

wip

bab2637

Merge branch 'frmg' of https://github.com/ciwwwnd/dream into frmg

47ce513

wip

91eea80

fixed annotator, but still wip

bba720f

updated with dev, fixed fromage annotator and dff fromage skill

cfd369a

oserikov changed the title ~~Fromage annotator and dff-fromage-image-skill~~ [WIP] Fromage annotator and dff-fromage-image-skill Jul 12, 2023

Nellya Dzhubaeva added 15 commits July 13, 2023 12:50

fixed code style for fromage annotator

f0355ea

smth for black format tests

b1733e6

Revert "smth for black format tests"

7076464

This reverts commit b1733e6.

for black tests

fd1aa4a

Merge branch 'dev' of https://github.com/deeppavlov/dream into frmg

fee6619

fixed image-captioning container, fixed dff-fromage-image-skill

9336741

updated components, changed ports

664247a

Merge branch 'dev' of https://github.com/deeppavlov/dream into frmg

ea72150

small fixes

dd03722

small fixes

63bf07d

small fixes

51f5849

even more fixes

9561e7b

Revert "even more fixes"

b3e439f

This reverts commit 9561e7b.

for tests

bbeef22

removed dialogpt from cpu.yml

3a530f6

oserikov changed the title ~~[WIP] Fromage annotator and dff-fromage-image-skill~~ Fromage annotator and dff-fromage-image-skill Jul 24, 2023

changed gdrive model args json file

45736fa

smilni requested changes Jul 26, 2023

View reviewed changes

Nellya Dzhubaeva added 3 commits July 31, 2023 06:22

fixed issues

1c1a751

merged dev

388b4a8

dp formatters

c57f79c

smilni reviewed Aug 3, 2023

View reviewed changes

services/fromage/pipeline.yml Outdated

- group: services

connector:

protocol: http

timeout: 3.0

Copy link

Contributor

smilni Aug 3, 2023

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

?

smilni reviewed Aug 3, 2023

View reviewed changes

...emplate_prompted_skill/service_configs/dff-informal-letter-ru-prompted-skill/environment.yml Outdated

Copy link

Contributor

smilni Aug 3, 2023

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

это не твое

smilni reviewed Aug 3, 2023

View reviewed changes

...emplate_prompted_skill/service_configs/dff-official-letter-ru-prompted-skill/environment.yml Outdated

Copy link

Contributor

smilni Aug 3, 2023

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

это не твое

smilni reviewed Aug 3, 2023

View reviewed changes

services/fromage/server.py Outdated Show resolved Hide resolved

smilni reviewed Aug 3, 2023

View reviewed changes

services/fromage/server.py Outdated Show resolved Hide resolved

Nellya Dzhubaeva added 2 commits August 4, 2023 10:48

fixed issues

d8250f4

fixed issues

82f2753

dilyararimovna requested changes Aug 4, 2023

View reviewed changes

smilni reviewed Aug 4, 2023

View reviewed changes

...emplate_prompted_skill/service_configs/dff-informal-letter-ru-prompted-skill/environment.yml Outdated Show resolved Hide resolved

Nellya Dzhubaeva added 3 commits August 4, 2023 14:48

fixed issues

f7701ad

fixed codestyle

dfe7429

fixed service configs

6e4354a

dilyararimovna requested changes Aug 4, 2023

View reviewed changes

Nellya Dzhubaeva added 4 commits August 4, 2023 15:33

fixed pipeline_conf.json

d957334

changed selector

9bb2820

resolved conflicts

45ac064

Merge branch 'dev' of https://github.com/deeppavlov/dream into frmg

dada95e

dilyararimovna requested changes Aug 6, 2023

View reviewed changes

fixed issues

c17424b

dilyararimovna requested changes Aug 8, 2023

View reviewed changes

fixed issues

a3b25be

dilyararimovna requested changes Aug 22, 2023

View reviewed changes

oserikov mentioned this pull request Aug 29, 2023

Fromage #562

Merged

oserikov closed this Aug 29, 2023

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Fromage annotator and dff-fromage-image-skill #523

Fromage annotator and dff-fromage-image-skill #523

ciwwwnd commented Jul 11, 2023 •

edited

Loading

oserikov commented Jul 12, 2023 •

edited

Loading

smilni left a comment •

edited

Loading

smilni Jul 24, 2023

smilni Aug 3, 2023

smilni Aug 3, 2023

smilni Aug 3, 2023

smilni Aug 3, 2023 •

edited

Loading

smilni Aug 3, 2023

smilni Aug 3, 2023

smilni Aug 3, 2023

smilni Aug 3, 2023

smilni Aug 3, 2023 •

edited

Loading

smilni Aug 3, 2023

smilni Aug 3, 2023

dilyararimovna left a comment

dilyararimovna Aug 4, 2023

dilyararimovna Aug 5, 2023

dilyararimovna Aug 22, 2023

dilyararimovna Aug 4, 2023

dilyararimovna Aug 4, 2023

ciwwwnd Aug 4, 2023

dilyararimovna Aug 4, 2023

dilyararimovna Aug 4, 2023

dilyararimovna Aug 5, 2023

dilyararimovna Aug 5, 2023

dilyararimovna Aug 5, 2023

dilyararimovna Aug 6, 2023

dilyararimovna Aug 8, 2023

dilyararimovna Aug 22, 2023

oserikov commented Aug 29, 2023

		@@ -0,0 +1,16 @@
		# FROMAGe Service
		FROMAGe is a service that is used to get an image and respond accordingly to the user's questions. FROMAGe is based on grounding pretrained language models to the visual domain ([Grounding Language Models to Images for Multimodal Inputs and Outputs](https://arxiv.org/abs/2301.13823)).



		try:
		# test_server.run_test(handler)

Fromage annotator and dff-fromage-image-skill #523

Fromage annotator and dff-fromage-image-skill #523

Conversation

ciwwwnd commented Jul 11, 2023 • edited Loading

oserikov commented Jul 12, 2023 • edited Loading

smilni left a comment • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

smilni Aug 3, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

smilni Aug 3, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

dilyararimovna left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

oserikov commented Aug 29, 2023

ciwwwnd commented Jul 11, 2023 •

edited

Loading

oserikov commented Jul 12, 2023 •

edited

Loading

smilni left a comment •

edited

Loading

smilni Aug 3, 2023 •

edited

Loading

smilni Aug 3, 2023 •

edited

Loading