From 01cb148a6879ccc35caac62393d177acda3fc1e5 Mon Sep 17 00:00:00 2001
From: Yewon Hong <88092102+yewonh311@users.noreply.github.com>
Date: Wed, 28 Feb 2024 20:48:03 -0800
Subject: [PATCH] created
---
_posts/2024-02-24-multi-modal-project.md | 83 ++++++++++++++++++++++++
1 file changed, 83 insertions(+)
create mode 100644 _posts/2024-02-24-multi-modal-project.md
diff --git a/_posts/2024-02-24-multi-modal-project.md b/_posts/2024-02-24-multi-modal-project.md
new file mode 100644
index 0000000..2f148e6
--- /dev/null
+++ b/_posts/2024-02-24-multi-modal-project.md
@@ -0,0 +1,83 @@
+---
+layout: post
+title: "Multimodal이 가진 Infinite Dimensions 살펴보기 (ft. Diffusion Model, RL)"
+author: 홍예원
+categories: [ 8기 아카데미 ]
+image: assets/images/post/8th-builder/yewonhong/multimodal.png
+---
+
+안녕하세요, 저는 멀티모달 프로젝트를 빌드한 홍예원 입니다.
+이 글에서는 2024년 상반기 제가 진행할 멀티모달 프로젝트에 대해서 간단히 소개합니다.
+
+
+## Multimodal이 가진 Infinite Dimensions 살펴보기 (ft. Diffusion Model, RL) 프로젝트 소개
+최근 AI 연구 동향에 따라 LLM을 기점으로, 모든 Modality를 처리 및 응용할 수 있는 멀티모달 데이터에 대한 깊이 있는 탐구를 목표로 합니다.
+이 프로젝트는 1) 멀티모달 데이터의 이해와 활용을 극대화하고, 특히 2) diffusion 모델 및 Reinforcement Learning 기법을 중점적으로 연구합니다.
+최신 AI 기술을 활용하여 멀티모달 데이터를 처리하고, 이를 통해 새로운 응용 프로그램을 개발할 수 있는 기회까지 있다면 좋을 것 같습니다. 혹은 논문리뷰를 통해 관련 기법들을 익혀나갔으면 좋겠습니다!
+
+
+
+*가짜연구소 8기에서 진행되는 프로젝트는 [계획표](https://www.pseudo-lab.com/d16a59aa6f3847a092f8d55b89279b0)를 참고해주세요.
+
+
+
+
+## 빌더 소개
+
+안녕하세요, 가짜연구소와 함께하는 여정에 참여하게 된 홍예원입니다!
+가짜연구소의 일원으로 함께하는 것은 처음인데 많이 노력하고 배우고, 배울 수 있는 팀원으로 함께하도록 하겠습니다!
+
+빌더이기 전에 저도 함께 배우고, 많은 공부가 필요한 입장에서, 제가 가진 작지만 또 깊었던 이전 경험들을 통해 같은 목표를 가진 분들과 공통된 관심사를 가지고 진득하게 연구해보고 싶다는 생각이 들었습니다. ㅎㅎ
다양한 데이터를 아우르는 AI 기술의 진화와 그 가능성에 대해 탐구하는 것을 목표로 함께 유의미한 것들을 공유할 수 있는 시간이 되었으면 좋겠습니다. ¨̮
+
+[자기소개 노션 페이지](https://chanrankim.notion.site/4a59591c40dd49d3b288db7b78b2d27c)
+
+[링크드인](https://www.linkedin.com/in/yewonhong/)
+
+
+
+
+
+## 프로젝트 계획
+
+
+[프로젝트 링크](https://chanrankim.notion.site/Multimodal-Infinite-Dimensions-ft-Diffusion-Model-RL-ae2c6162834b419db40ccfa888ecc6ef?pvs=4)
+
+**스터디/프로젝트 내용**
+
+- 최근 AI 연구 동향에 따라, LLM을 시작으로 모든 Modality를 처리 및 응용할 수 있는 멀티모달 데이터에 대한 깊이 있는 탐구를 목표로 합니다. 이 프로젝트는 1) 멀티모달 데이터의 이해와 활용을 극대화하고, 특히 2) diffusion 모델 및 Reinforcement Learning 기법을 중점적으로 연구합니다. 최신 AI 기술을 활용하여 멀티모달 데이터를 처리하고, 이를 통해 새로운 응용 프로그램을 개발할 수 있는 기회까지 바라보고 있습니다. (프로젝트 기간 연장의 가능성이 있습니다.) 혹은 논문리뷰를 통해 관련 기법들을 익혀나갑니다.
+
+
+
+**스터디/프로젝트 목적**
+
+
+- 멀티모달에 앞서 LLM에 대한 각자 가진 지식들과 이해도를 공부 및 공유함으로써 LLM의 확장판에 대해 브레인스토밍합니다.
+- 멀티모달 데이터와 관련된 AI 기술의 깊은 이해와 더불어 LLM과의 연관 및 응용 가능성을 최적화하여 실용적인 멀티모달 기술의 활용 방안을 탐색합니다.
+- 참여자 모두의 연구 및 개발 역량 강화를 목표로 합니다.
+
+
+
+
+## 주차별 목표
+
+주차별 진행계획은 러너(스터디원)분들과 협의에 의해 변경될 수 있습니다.
+*청강이 가능합니다! 언제든지 관심 가져주시고 팀원분들을 복돋아주세요 :)
+
+
+| 주차 | Contents |
+|-------|----------------------------------------------------------|
+| 1주차 | OT (스터디 소개/방향 논의, Ice Breaking) |
+| 2주차 | Chapter 1, 2. Introduction to Multimodal Research |
+| 3주차 | Chapter 3. Understanding Multimodal Data |
+| 4주차 | Chapter 4, 5. Multimodal Data Fusion Techniques (ft. LLM)|
+| 5주차 | Chapter 6. Case Studies and Real-world Application |
+| 6주차 | Chapter 7. Diffusion Models |
+| 7주차 | Chapter 8. Reinforcement Learning and Multimodal Data |
+| 8주차 | 중간 리뷰 타임 |
+| 9주차 | Chapter 9. Diffusion Models in Depth (1) or Team Project |
+| 10주차 | Chapter 10. Diffusion Models in Depth (2) or Team Project|
+| 11주차 | Chapter 11. Reinforcement Learning in Depth (1) or Team Project|
+| 12주차 | Chapter 12. Reinforcement Learning in Depth (2) or Team Project|
+| 13주차 | Chapter 13. Team Project |
+| 14주차 | Chapter 14. Team Project |
+| 15주차 | 회고 및 최종 리뷰 |