Sequential Recommendation System 카카오 서비스 적용기 강의 질문드립니다.

[joon619]

안녕하세요.
추천시스템에 관심이 많다보니 if(kakao)dev 영상을 보고 질문드립니다.

1. bert4rec은 mask language model task가 pretraining task는 아닌것 같아 질문드립니다.
   단순하게 training은 mask를 맞추도록하고 test는 next item을 맞추도록 하는것이라고 생각되어서요

2. MLM 없이, NLP만 한것은 학습할때도 next item을 맞추도록 학습을 진행했다는 의미인지요??

3. item의 meta inform은 고려한 반면, user profile 속성 정보는 고려안하신 이유가 있는지 궁금합니다. (sequential하지 않아 똑같이 input으로 넣는건 안되지만, behavior sequence transformer (2019) 에서 소개된것처럼 마지막에 concat해서 함께 학습하면 좋지않을까해서요

4. item의 meta 정보도 sequenctial 할거라고 생각되는데, 그렇다면 training시에 next item을 맞추도록만 하는것이 아니라, next item meta 정보를 함께 잘 예측하도록 학습하는것이 좋지 않을까 생각되는데 혹시 이러한 부분은 고려도 하셨는지 궁금합니다.

5. 혹시, SMLP를 적용하기전에, bert4rec의 모델 경량화 작업도 진행을 하셨는지 궁금합니다. 제가 알기로는 transformer 모델들이 속도가 너무 느리다보니, 경량화 연구도 많이 되고 있는것으로 알고있어서요.

끝으로, 좋은 영상 감사합니다.

[ita9naiwa]

안녕하세요. 카카오 추천팀 iggy.ll입니다.
저도 자세히 모르는 부분이 많아서 제가 답변드릴 수 있는 5번 질문만 답변드리자면,

• SMLP 모델은 inference가 아닌, Training 시점에서 학습을 빠르게 할 수 있다는 장점이 큽니다. 경량화 모델은 추가적인 model training 시간을 요구하는 것으로 알고 있습니다.
• inference 시간이 저희가 고민이 많은데, 우선적으로 GPU에서 모델을 서빙하거나, 같은 구조에서 더 효율적으로 모델을 서빙하는 방법을 먼저 시도해보고 있습니다.

[joon619]

답변감사합니다.
저는 처음에 https://arxiv.org/pdf/2010.13369.pdf 논문에서 처럼, 동일한 transformer 구조에서 학습시간을 줄이면서 성능은 유지할수 있는 방법을 생각해보려고했었는데, inference 시간을 줄이는 방법은 아닌것 같네요.
효과적으로 inference시간을 줄이는 방법이 내년 dev에서 발표되길 기대하겠습니다!

[strutive07]

안녕하세요. 카카오 추천팀 Joel.j 입니다. 제 발표 영상을 봐주셔서 감사합니다.
질문해주신 내용들에 대한 답변을 아래 적어두겠습니다.

1. BERT4Rec 원 논문에 있는 Cloze task (also known as “Masked LanguageModel”) 이라고 되어있어서 말씀하신대로 원 논문의 표현을 그대로 사용한다면 Cloze task 가 더 올바른 표현일 것 같습니다.

2. 네 맞습니다.

3. User profile 정보도 사용하려고 하였지만, 사용자 정보를의 경우 사용자 동의가 추가로 필요한 부분이 있는 등 ML system 외적인 요소에 대한 절차가 필요하여 이번 실험에서는 포함하지 못하였습니다.
   말씀하신대로 User profile 정보를 사용할 경우 성능 향상이 있을 수 있을 수 있을 것 같습니다.

4. 질문 해주신 내용에 대해서는 item prediction 과 meta prediction 을 동시에 학습하는 multi task learning을 제안해주신 것으로 이해했습니다.
   이 부분은 multi task learning 의 영역에서 생각해보아야 할 것 같은데요, item 소비와 상관관계가 높은 metadata를 도메인 지식에서 잘 찾았을 경우 사용해볼 수 있을 것 같습니다.
   다만, item 소비와 상관관계가 높지 않은 meta data 를 사용할 경우 발표 영상 3:19에 등장하는 브런치 Online AB Test 결과 처럼 메타 데이터를 사용할경우 오히려 성능이 떨어질 수 있을 것 같습니다.
   추가로, 학습 방법에서 생각해보면, objective 가 여러개인 경우와 달리, 추천 시스템에서는 사용자의 성향에 맞는 아이템을 추천 해주는 main objective 하나 뿐 이고, 따라서 multi task learning 이 주요하게 동작할지는 실험을 해봐야 할 것 같습니다.

5. 위에 iggy 가 잘 대답해주셨듯이 SMLP 와 bert4rec 의 시간 비교는 training time에 대한 비교 입니다. 추천 모델의 경우 지속적으로 학습을 하여 모델을 주기적으로 업데이트 해주어야 하기 때문에 학습 시간 또한 중요하다고 생각하여 추가한 장표 입니다. inference 의 경우 실시간/비실시간 등 부터 시작하여 cache, model inference 시 model 최적화 등 여러 지점에서 최적화를 진행할 수 있어 이 주제로 하나의 발표가 나올 수 있는 방대한 내용이여서 이번 발표에서 포함되지는 않았습니다. 추후 카카오 추천팀에서 고민하고있는 최적화 방법론을 소개할 수 있는 기회가 있다면 공유할 수 있도록 해보겠습니다.

[joon619]

답변 친절하게 해주셔서 감사합니다.
4번에서는 https://arxiv.org/abs/2204.11046 논문의 DIF-SR 모델을 예시로 질문드렸던 거였습니다. multi-task learning과 유사한것 같기는합니다만, 실제 테스트는 Next Item 1가지 task만 목적으로 했다는 점에서 차별은 있는것 같습니다. 제가 설명이 부족하여 해당 논문 링크를 올려드렸습니다.

답변 감사합니다!