우리는 모두 거짓말쟁이

뼈를 때리는 인트로다. 실제로 회사에서 일을 하다보면 수도없이 거짓말을 목격하고 나조차도 스스로에게 거짓말을 할 때도 있다. 실제 예상되는 일정보다 버퍼를 많이 둔다거나, 잘 모르는 사람 앞에선 어물쩡 넘겨 말한다거나. 회사의 경우 지금 상황에서는 이 데이터를 봐야한다는 사실을 알고있지만 다른 데이터를 던져주며 당장 사기를 올리는데에 사용한다거나. 이 챕터는 정확히 세번째 경우를 서론에 깔고 이야기한다.

좋은 지표

그렇다면 좋은 지표라는건 어떤걸까? 이 책에서는 좋은 지표의 기준을 몇가지 언급한다. 좋은 지표는 상대적이다. 지표를 놓고 시대별, 사용자 그룹별, 경쟁자별로 비교할 수 있으면 상황을 이해는데 도움이 된다. 좋은 지표는 이해하기 쉽다. 기억하기 쉽고 이해하기 쉬워야 모든 구성원들이 데이터를 가지고 이야기할 수 있다. 좋은 지표는 비율로 표현한다. 비율은 기본적으로 비교의 속성이 있기때문에 1번과도 관련이 있다. 좋은 지표는 행동 방식을 바꾼다. 행동을 바꾸려면 지표와 원하는 행동의 변화가 서로 관련이 있어야 한다. 목표를 항상 생각해야 한다.

우리는 허상 지표에 속는다

이 챕터를 읽으면서 가장 와닿았던 부분이다. 가공되지 않은 날것의 데이터부터 분석 가능하도록 클렌징을 거친 데이터까지를 다뤄보는 입장에서도 가장 간과했던 내용이었다.

보통 각 스쿼드에서 원하는 데이터를 요구할때는 대충 이런식이다.

PO: 성과 보고 자료가 필요해서 X월부터 Y월까지 데이터가 필요합니다. DAU, 완료 사용자 수, 월 별 매출 요청드립니다.
DA: 네!

동시다발적으로 쳐내야하는 업무도 많았고 여러 사람이 데이터 추출을 요청하던 때라 무지성으로(거의 기계처럼) 데이터를 주다보니 어느날에는 근본적인 물음이 들었다. 근데 왜 이런걸 요구하지? 저 지표들은 현시점에 사업에 어떤 도움이 될까?

이 질문을 스스로에게 진지하게 던지고나서부터는 요청한 사람과의 커뮤니케이션이 중요하겠다는 생각을 했다. 왜 필요하세요? 어디에 사용할건지 궁금해요. 등의 물음을 던지면 당황하는 사람도 있었고 근거가 명확한 사람도 있었다.

조직에 있다보면 관성으로 일하기 쉽고 기존의 상식(회사 내에서의)을 버리기가 쉽지 않다. 그냥 해오던게 맞다고 생각하기 쉽다. 하지만 우리 제품과 외부 상황은 계속 변하고 그때 봤던게 지금은 틀릴수도 있다는 것이다. 관성으로 하는게 잘못되었다는 말을 하려는게 아니다. 데이터를 보는 사람은 의심하고 이런 근본적인 물음을 계속 던져봐야한다는 것이다.

아래와 같은 커뮤니케이션은 각 구성원들로 하여금 데이터를 왜 봐야하는지에 대한 근본적인 물음을 떠올리게 해준다.

PO: 우리 제품의 사용자 수를 보고싶어요.
DA: 혹시 어떤걸 확인하고 싶으세요?
PO: 아, 이때 어떤 광고를 했는데 효과가 있었는지를 좀 보고싶습니다.
DA: 특정 기간동안 확보한 사용자 수를 보면 더 명확하게 확인이 되지 않을까요?
PO: 그러네요. 부탁드립니다.

많은 회사들이 우리는 데이터 주도적(Data-Driven)으로 일한다고 말한다. 사실일까? 어떤 지표를 볼 때마다 스스로에게 “이 정보로 무엇을 할 수 있을까?”를 물어보고 답이 떠오르지 않는다면 그 지표는 그다지 가치가 없을 수 있다. 오히려 실제 필요한 지표를 찾는데 방해만 될 뿐이다.