Firebase A/B Test 하기

A/B테스트를 할수 있는 플랫폼은 많이 있다.  회사마다 다양항 방식으로 진행하겠지만 Firebase를 이용해서 진행하는 방식을 해보기로 하겠다.

Firebase A/B Test는 Remote Config를 통해서 진행할수 있다.  구글개발자문서

Firebase가 제공하는 것은 A,B 인지를 제공하는 정도이다.  실망이 많을수 있다. 그럼 분석은 어떻게? 분석은 내부에서 사용하고 있는 것으로 사용해야 한다.

여기서 소개하는 것은 A/B를 제공하는 방식을 어떻게 Firebase 를 통해서 받을수 있을까에 대해서 소개하도록 한다.

A/B 테스트는 Remote Config의 CONDITIONS을 통해서 진행된다. 대략적인 진행 방식은 아래와 같다.

1.  내가 테스트 하고 싶은 조건을 선택한다.
2. 해당 조건으로 A, B인지의 조건을 부여한다.
3. 앱에서 Remote Config를 통해서 A,B인지에 따라서 관련된 코딩을 진행한다.
4. 해당 코딩에 분석툴을 추가하여 A, B의 결과를 분석한다.

Remote Config는 1,2번을 할수 있도록 지원한다.

조건은

1. 앱은 Remote Config 에는 여러가지 앱을 등록할수 있다. 해당 앱중에 한가지를 선택한다.
2. 앱을 선택하면 버전을 넣을수 있는데 해당 앱의 버전을 여러가지 조건으로 거를수 있다.
3. 운영체제도 선택 가능한다. iOS, Android,

 

아래 조건은 주로 사용하는 부분은 임의 백분위수의 사용자입니다.

 

Remote Config에서 조건을 선택하는 방식은 크게 2가지 방식이 있다.

1. 모든 조건을 한가지에 거는 방식
2. 조건을 하나씩 선택해서 거르는 방식.

내 무슨 말인지 모르겠다구요. 설명 드리도록 하겠습니다. 해당 내용은 저도 너무 궁금해서 구글 개발자지원을 받아서 알아낸 것입니다.

예시로 테스트 조건을

OS : Android

버전 : 1.0

모수 : A : 10%, B : 10, 나머지는 기본으로

1. 모든 조건을 한가지에 거는 방식은 아래와 같이 모든 조건을 걸어서 테스트 하는 방식이다.

참고로 B의 조건이 50~60으로 되어있는데 이렇게 한 이유는 추후에  A,B조건의 모수를 변경시에 유효범위를 위해서 입니다. 이렇게 하면 A는 0 ~50%가 유효범위고  B는 50~100% 가 유효범위이다.

2. 조건을 하나씩 거르는 방법은 아래와 같이 위에서 부터 조건을 거르는 것이다.

ios 유저를 처음에 거르면 안드로이드 유저만 남는다.

다음에 버전이 1.0이 아닌 사람을 거르면 1.0만 남는다.

그후에 A : 0~10,  B : 50~60 으로 나눈다.

위의 2가지 중에 어는 것이 효율적 일까 구글에 물어보니 아래의 방식이 조건이 더 효율적이라고 한다. 간단히 정리하자면 위의 방식의 조건의 개수가 아래 방식보다 많기 때문이다. 어차피 조건은 구글에서 만들어 처리해주는 것이니 아무거나 사용이 가능한데요. 아래와 같은 방식으로 하면 추후에 확장시(조건 변경)에 조금더 편리합니다

한번 조건에 걸린 유저는 앱을 삭제할때 까지 유지 된다. 재설치후에 변경될수 있다.

Remote Config를 통해서 A, B인지를 받아서 나머지 부분은 열심히 코딩하고 분석 툴을 넣어주면 된다. 물론 어떤 플랫폼은 분석까지 제공해주지만 기본적으로는 A,B를 제공해주는 것으로 만족해하고 있다. 여태까지 테스트를 하면서 가장 큰 이슈는 정말 A,B 를 잘 나누어 주는지였는데 난 구글을 믿고 싶었지만 대부분의 사람들이 신뢰를 하지 않았다. 몇번의 테스트를 통해서 모수를 잘나누어 준다고 결과가 리포트 되었고 이후로는 관련 이슈는 없었다.