로컬, 테스트 환경에서 elasticsearch 컴포넌트 활용 방법 논의

[gracefulBrown]

로컬, 테스트 환경에서 애플리케이션을 띄울 때 elasticsearch가 필요하게 되었는데요~
이 부분을 처리하기 위해서 몇가지 방법이 있는데 어떤 방법이 좋을 지 같이 고민해보면 좋을 것 같아요!

1. TestContainer를 활용하여 실제 ES 띄우기

• 👍 실제 es가 떠서 검색이 잘 동작함
• 👎 로컬을 띄울 때 로딩 속도가 엄청엄청 증가한다
• 👎 특히, 테스트를 할 때 속도가 엄청엄청엄청 증가한다
• 👎 로컬에 도커가 설치되어있어야 한다

2. es를 띄우지 않고 가짜 데이터를 응답받게 하기

• 👍 로컬, 테스트 시 속도가 빨라진다.
• 👎 실제 검색 기능이 동작하지 않고 약속된 값만 응답된다

[bperhaps]

저같은 경우도 프로젝트를 하면서 s3관련 로직에 대한 테스트에서 같은 문제를 접했었는데요. es처럼 s3도 localstack 사용해서 로컬 테스트가 가능해서 해봤는데 구동에서 1분넘게 걸리더라구요…. 그래서 일종의 프록시 서버를 하나 만들었습니다. s3의 보안그룹이 anyopen으로 안되니 ec2의 보안그룹에서 특정 포트가 anyopen인점을 이용한건데요, 저희팀 프로젝트 전체 인프라 구조(그림)에서 제가 빨간색으로 네모친 부분이 그 부분입니다. s3관련 요청을 s3가 아니라 ec2로 보내면 관련 전처리를 ec2가 다 해주고 s3에 요청해서(IAM ROLE을 통해 내부 적으로 통신 가능) response를 응답하게 했었어요… 설명이 잘 됐을라나…
물론 외부 API를 사용할때처럼 client-id랑 secret같은걸 발급(실제로는 걍 JWT사용했습니다.)해서 인가로직을 통해 s3 proxy에 아무나 request를 못하도록 했었구요..
이걸 통해서 여러 이점을 얻었었는데요. 첫번째로 local 테스트를 진행할때 속도문제를 해결했습니다. 당연히 localstack구동도 없고 단순 REST API호출일 뿐이니. 빨랐구요..
네트워크 통신이 하나 더 늘은점이 오버해드지만 여러 프로덕트들에서 MSA로도 서비스 잘 구동한다는 점에서 이정도는 괜찮아 보인다고 생각했었습니다...
그리고 두번째는.. 유사 MSA처럼 기능 분리가 프로젝트 단위도 돼서 뭔가 관리에 용이하더라구요..?
어찌됐든… 동일한 문제를 겪었었고… 저는 이렇게 해결했었다.. 정도로 마무리 하겠습니다..

[seovalue]

궁금한게 있는데 이 구조를 만약 적용한다고 하면 현재 ES 관련 기능들이 모듈화되어서 dev/main 서버와 다른 EC2에 배포가 된다는 말이 맞을까요오? 그리고 로컬에서는 es로 바로 요청하는 것이 아니라 또다른 서버에 요청보내듯이 보내는거구요!

[bperhaps]

@seovalue 맞습니다. 현재 ES관련 모듈을 호출할 때 Repository를 호출하고 받아온 데이터를 service나 도메인딴에서 정제하는걸로 알고 있는데요(맞나요?), 이 로직들을 Proxy쪽으로 옮겨서 서로 다른 프로젝트로 관리하게 됩니다(어느정도의 로직을 옮길지는 협의를 통해 정해지겠죠).

만일 ES에 찔러서 데이터를 가지고 오는 Repository만 프록시쪽으로 뺀다고 가정하면, 변경이 일어나는 Prolog프로젝트의 ElasticSearch Repository는 Domain Layer의 Interface로 구현되어 있을테니 기존의 구현체를 제거하고(아마 extends하고있는 그것을 뜻하게 될것 같군요) 새로운 설계에 따른 Repository 구현체를 infrastructure Layer에 생성하게 될 것 같네요. 그 구현은 Proxy 역할을 하는 EC2에 REST Call을 하는 형식으로 이루어 지겠죠. 이런식의 수정을 진행하면 웹 레이어드 아키텍쳐를 지키고 도메인과 서비스의 코드 변경 없이 전체적인 설계의 변화가 가능합니다.

[seovalue]

오호!!! 무슨 이야기인지 이해되었어요!! 직접적인 연결이 필요한 레포지토리단만 옮기는 것도 좋은 방법일 것 같다는 생각이 드네요 👍🏻👍🏻 의견 남겨주셔서 감사해요~🥳

[seovalue]

0906 회의 결정 사항

1. 우선은 es를 띄우지 않고 가짜 데이터를 응답받게 하기

• 로컬 및 테스트에서는 es를 띄우지 않고 약속된 가짜 데이터만 응답받도록 구현한다.

2. 이후 위 글의 의견대로 모듈 분리를 진행한다.