Skip to content

TrellixVulnTeam/AI_WEB_AICARE_AIM_2021_AYYW

Repository files navigation

AICARE

AI 기반 정신건강 플랫폼

logo

팀 정보 (Team Information)

asd (1)

  • 성정환 (육군 지작사 1공병여단)
    고려대학교 산업경영공학과
    2021 국방부 데이터활용 경진대회 국방부장관상 수상

  • 기윤호 (해군 정보체계관리단)
    한동대학교 전산전자공학부 컴퓨터공학심화전공

  • 하철환 (육군 1군단 25사단 72여단)
    국민대학교 소프트웨어융합학과

  • 조성우 (국직 국군의무사령부 국군구리병원)
    세종대학교 데이터사이언스학과

프로젝트 소개

AICARE는 군대에서 나라를 지키고 있는 국군 장병 및 간부님들의 정신건강을 AI를 기반으로 관리하는 플랫폼입니다.
마음속 이야기가 담긴 음성의 내용과 음향학적 특성을 활용하여 정신건강을 객관적으로 분석합니다.
그리고 코로나로 1년넘게 휴가 및 외출이 통제되어 있는 폐쇄적인 상황에서 정신적으로 어려움을 겪고 스트레스를 받는 장병들과 간부님들의 상황에 맞는 개인맞춤형 해결책을 제공합니다.
image

모델 설명

- 데이터 수집

  • 기존모델의 한계1 : 감성을 파악하는데 있어서 기존사례를 분석해보니 단일 데이터를 사용하는 모델의 정확도가 낮음
  • 기존모델의 한계2 : 단순 긍/부정만을 판단하기때문에 구체적인 상황에서 실질적인 활용이 어려움
  • 따라서 상세한 감성정보를 가지고있는 멀티모달 데이터(텍스트와 음성)을 동시에 분석하여 감성을 파악하기로 결정
  • 상세감성 및 텍스트와 음성을 모두 보유하고 있는 데이터로 한국지능정보사회진흥원에서 제공하는 감성대화말뭉치를 찾았고, 이 데이터를 활용하기로 결정
  • 해당 데이터를 수집하고, 전체적인 구조와 특성을 파악

    데이터 수집

- 데이터 가공

  • 음성과 텍스트 각각의 데이터에 맞는 모델 구조를 설계
  • 해당 모델에 맞게 데이터를 적절하게 가공(Preprocessing)
  • 음성은 주파수기반의 스펙트로그램으로 변형하여 벡터화하여 활용
  • 텍스트는 Transformer기반의 ko-Bert모델에서 주어지는 토큰화함수를 이용하여 벡터화하여 활용

데이터 가공

데이터 가공



- 모델 개발

  • LSTM, RNN, TRANSFORMER등의 여러가지 모델을 각각 적용해보고 데이터에 맞는 세부 모델을 탐색
  • 최적의 모델을 찾은뒤 multi-weight 방식의 fusion을 통하여 텍스트모델과 음성모델을 앙상블
    모델 개발


기능 설명

- 감성일기장 / 마음일기

  • 오늘 하루의 마음/감성을 음성으로 기록합니다.
    감성일기장

    감성분석

- 감성분석 / 마음분석

  • 음성으로 기록된 감성을 AI기반으로 분석합니다.
  • 시간에 따른 감성의 변화를 시각화하여 보여줍니다.
    감성분석

    감성분석

    감성분석

- 음악추천

  • 분석된 감성에 따라 맞춤형으로 음악을 추천하여 들려줍니다.
  • 추천된 음악을 통해서 불안함과 우울함같은 감성들을 조절합니다.
    감성분석

    감성분석

- 비대면상담

  • 분석된 감성에 알맞는 전문 상담사를 추천하여 보여줍니다.
  • 감성 분석내용을 바탕으로 세부적인 감정 및 상황에 대해서 심도깊게 상담합니다.
    감성분석

- 로그인/회원가입

감성분석

- 마이페이지

  • 상담내역 및 감성기록들을 확인하고 체계적으로 관리합니다.
    감성분석

AICARE 기대효과

일상의 데이터를 활용하여 정신건강을 상세하게 측정

  • 강제적이고 작위적인 설문조사가 아닌 매일 기록하는 마음일기를 통하여 자연스럽게 정신건강을 분석
  • 데이터의 의미와 특징을 모두 활용하여 분석함으로서 분석결과에 대한 높은 신뢰성 확보
  • 단순감성이 아닌 의학적으로 의미있는 감성을 상세하게 분석하여 제공

정신건강의 객관적, 수치적 분석

  • 기존의 주관적인 정신건강 검사의 문제점을 해결
  • 다양한 감정을 앱을 통하여 기록하고 보관하여 체계적으로 관리

위험하거나 불안정한 상태를 조기에 발견하여 대처가능

  • 일기를 통하여 정신건강을 기록하고 분석하여 정신건강을 시간의 흐름에 따라 파악
  • 주의가 필요하거나 불안정한 감정상태를 조기에 선제적으로 파악, 대처 가능

정신건강상태에 따른 맞춤형케어

  • 각 개인별 정신건강상태에 따라 맞춤형으로 해결책을 제시
  • 비교적 가벼운 경우에는 음악을 추천하고, 정도가 심한 경우에는 감성에 맞는 전문상담을 연결

AICARE의 경쟁력

개발문서의 구체성

구체적인 개발문서의 양호도 및 구체적 표현성

  • 활용한 데이터에 대한 구조를 시각적으로 표현
  • 데이터의 전처리과정을 상세하게 설명하고, 코드상의 주석으로 문서화
  • 모델의 앙상블과정에 대해서 코드와 시각자료를 통해 상세하게 표현
  • 모델의 서비스화 상세 과정을 Issue에 적어놓음으로서, 구현과정에 대한 상세 설명

독창성

뚜렷한 독창성 유무 정도

  • 단순긍부정이 아닌 의학적으로 의미가 있는 상세감성에 대한 분석
  • 텍스트와 음성을 동시에 활용한 멀티모달 모델을 구성
  • 각각의 감성에 따라 맞춤형 해결책을 제공
  • 모바일 완벽 지원 및 PWA를 이용한 앱 활용 가능

발전 가능성

커뮤니티, 비즈니스 등에 대한 발전 가능성

  • 상세감성분석을 통하여 감성분석이 다양한 분야에 활용될 수 있는 토대를 구축
  • 멀티모달 모델을 통하여 2차원, 3차원의 데이터를 활용한 모델의 가이드를 제공
  • 간부님 및 관리자가 손쉽게 관리할 수 있도록 관리 시스템 구축

완성도(작품데모)

데모 결과에 대한 시현 능숙도 및 원활한 작동

  • 즉시 서비스를 시행할 수 있도록 완성도 있게 제작
  • 관리자 페이지를 제공하여 보다 체계적인 관리가 가능

기술 스택 (Technique Used)

AI

git
Tensorflow
docker
PyTorch
docker
Python

Back-end

nodejs
PHP
javascript
Javascript
strapi
Laravel
linux
ubuntu
nginx
Nginx

Front-end

react
SCSS
nextjs
Next.js
typescript
Tailwind
javascript
Javascript
html5
Html5
sass
JQUERY

Database

mongodb
Mysql

Web Skills

크로스 브라우징
(Cross Browsing)
웹 표준
(Web Standards)
SEO 검색엔진최적화
(Search Engine Optimization)
SSR
(Server Side Rendering)
CSR
(Client Side Rendering)
PWA
(Progressive Web Apps)


설치 안내 (Installation Process)

mxnet
torch
scikit-learn<0.23
gluonnlp
sentencepiece
transformers==3.0.2
speechrecognition
git+https://[email protected]/SKTBrain/KoBERT.git@master
librosa

프로젝트 사용법 (Getting Started)

USAGE
Start the server:
python -m ai.simple-keras-rest-api.run_keras_server
Submit a request via cURL:
curl -X POST -F wav=@ai/test.wav https://yhkee0404-osamhack2021-ai-web-aicare-aim-xxrpgj9v3q6q-5000.githubpreview.dev/score
Submit a request via Python:
python -m ai.simple-keras-rest-api.simple_request ai/test.wav https://yhkee0404-osamhack2021-ai-web-aicare-aim-xxrpgj9v3q6q-5000.githubpreview.dev/score

팀 정보 (Team Information)

Software Credits

image

The development of this software was made possible using the following components:

KoBERT by SK T-Brain

Licensed Under: Apache License 2.0 (Apache-2.0)
Korean BERT pre-trained cased (KoBERT)

Licensed Under: MIT License
A simple Keras REST API using Flask

Attribution document generated using tldrLegal
Rewritten in markdown

저작권 및 사용권 정보 (Copyleft / End User License)

This project is licensed under the terms of the MIT license.

About

No description, website, or topics provided.

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published