TrueSkill 2 및 최신 라이엇 랭크 시스템 겉 핥기

출처: MS Bing Image Creator, Google Deep Dream Generator

 

라이엇게임즈 관계자가 레딧에 '리그 오브 레전드(이하 롤)'의 매칭 및 랭킹 시스템을 개선한다고 밝혀 화제가 되고 있다. 특히, 이 관계자가 언급한 TrueSkill 2라는 랭킹 알고리즘이 국내외로 주목을 받고 있으며, 롤 유저들은 이를 바탕으로 매칭 시스템이 어떻게 변할 것인지 예측하는 글과 영상들을 업로드하고 있다.

 

TrueSkill 2 관련 영상들. (출처: 유튜브 캡쳐)

 

작년 연말(한국 시간 12월 30일경), 한 롤 유저가 실제로 게임 실력을 발전시키는 것보다 부계정을 파야만 롤 랭크를 올릴 수 있는 현 실태에 대해 비판하는 글을 레딧에 올렸다. 이 글에 어거스트 딘 "이크사르" 아얄라(August Dean "Iksar" Ayala)라는 롤 디자인 디렉터가 등장하여 롤 매칭 시스템의 미래에 대한 상세한 댓글을 남겼다.

이크사르 디렉터가 남긴 댓글 전문. (출처: 레딧 캡쳐 편집본)

이를 통해 라이엇이 롤 매칭 및 랭킹 시스템에 큰 변경 사항을 준비 중이라는 것을 유저들이 알게 되었다. 이크사르 디렉터에 의하면, 라이엇의 목표는 롤 유저들이 새로운 계정을 만들 필요 없이 게이머 실력에 걸맞은 '실제' 랭크에 쉽게 도달할 수 있도록 하고, 유저들이 스머프 계정(양학용 부계정)을 만들더라도 정확하게 매칭될 수 있도록 하는 것이다.

 

이크사르 디렉터의 발언에서 많은 사람들이 주목한 부분은 "라이엇 자사가 보유 중인 새로운 시스템으로 연초쯤에 이전할 예정이며, 이후 한 해 동안 TrueSkill 2라는 시스템으로 이전할 것을 조심스럽게 계획 중입니다. (We're moving to a different proprietary (riot-made) system at the start of the new year (ish) and then tentatively planning on moving to a new system later in the year called trueskill 2.)"라고 발언한 부분이다. 유저들은 새로운 매칭 시스템에 관심을 가지며 국내에서는 루리웹, 국외에서는 레딧과 같은 각종 커뮤니티에 분석글을 올리고 있는 중이다.

 

이를 힌트 삼아 2024 시즌, 그리고 그 이후 시즌의 매칭 및 랭크 시스템에는 어떤 식의 변화가 있을지 유추하려면, 다음 세 가지에 대해 알아볼 필요가 있다.

 

1. 기존 롤 매칭 및 랭킹 시스템은 어떤 알고리즘을 기반으로 되어 있는가?
2. 24년 연초에 도입하고자 하는 새로운 매칭 및 랭킹 시스템은 어떠한 성격을 띄고 있는가?
3. 24년 연중으로 도입을 고려하고 있는 TrueSkill 2는 어떠한 특징을 갖고 있는가?

※ 이 이후부터는 개인적인 조사내용과 해석이 들어가 있어, 보다 자세하고 정확한 정보를 원하시는 분들은 본문 내 링크들을 통해 원문을 읽고 각자 판단해 주시길 바랍니다.

 

1.

새로운 매칭 시스템과 관련된 유저들의 관심이 높아지자, 또다른 라이엇 관계자, 조단 "브락프로바마" 체크맨(Jordan "BarackProbama" Checkman) 경험 디렉터가 레딧에서 추가적인 정보를 제공하였다.

 

브락프로바마 디렉터가 남긴 댓글 전문. (출처: 레딧 캡쳐)

 

이를 통해 현재 롤 매칭 및 랭킹 시스템, "LoLMMR"은 TrueSkill 1(이하 "TrueSkill") 알고리즘에 기반하여 제작되었다는 것을 유추할 수 있다. TrueSkill은 마이크로소프트에서 개발 및 보유 중인 매칭 알고리즘이다. 2000년대 중반 NIPS(Neural Information Processing Systems) 학술지를 통해 공개되었으며, 첫 연구 버전은 2007년에, 개선된 버젼은 2008년에 각각 출판되었다.

 

TrueSkill의 논문에서는 Elo와 Glicko에 대해서 언급하고 있다. 먼저 Elo는 1959년 아르파드 엘뢰(Arpad Elo) 교수가 개발한 알고리즘으로, 체스와 같은 일대일 게임에서 게이머들의 실력을 수치화하는 기법이다. 두 플레이어의 실력 점수(skill rating)를 기반으로 승패 확률을 계산한 뒤, 결과에 따라 같은 양의 점수를 승자의 점수에는 더하고 패자의 점수에는 뺀다. Elo 시스템의 나무위키 문서에 아주 직관적인 예시가 있어서 가져와보았다.

● 가중치 20, 예상 승률 50%:
    ○ 승리한 사람은 +10점, 패배한 사람은 -10점
    ○ 무승부 시 점수 변동 없음
● 가중치 20, 예상 승률 75%:
    ○ 강자가 승리 시 강자 +5, 약자 -5
    ○ 무승부 시 강자 -5, 약자 +5
    ○ 약자가 승리 시 강자 -15, 약자 +15

요컨대 서로 점수를 내걸고 싸운다. 하지만 강자는 약자보다 더 많은 점수를 걸어야 한다.

 

Elo 시스템에서는 단일 숫자가 플레이어의 실력을 나타내지만, 90년대 후반에 마크 글릭맨(Mark Glickman) 교수가 개발한 Glicko 알고리즘은 등급 편차(rating deviation)을 추가로 도입하면서 Elo 알고리즘을 보완하였다. 게임을 오랫동안 쉬면 쉴수록 증가하도록 설계된 등급 편차를 통해, 플레이어의 실력에 대한 불확실성을 수치화한 것이다.

 

Elo와 Glicko 알고리즘은 체스와 같은 일대일 게임에는 아직도 사용되는 유용한 알고리즘이지만, 여러 인원의 여러 팀이 경쟁을 벌이는 현대 컴퓨터 게임에는 다소 부족한 측면이 있다. TrueSkill은 이를 해결하기 위해 개발되었으며, Elo와 Glicko의 특징을 일부 받아들이면서도, 헤일로(Halo)와 같은 온라인 멀티플레이어 게임의 특성을 고려하여 개발되었다.

TrueSkill. (출처: TrueSkill 2 논문)

 

TrueSkill의 특성을 나열하자면 다음과 같다:

• 다양한 팀구성에 적용 가능
  
  • 단순 일대일 게임뿐만 아니라, 4 vs 4, 2 vs 2 vs 2 vs 2, 1 vs 4 등 다양한 팀 구성의 경기들에 모두 적용 가능한 평가 시스템이다.

 

• 게이머의 평균 실력(μ)과 게이머의 실력에 대한 불확실성 정도(σ)의 두 가지 수치를 사용
  • Glicko 또한 실력 점수(skill rating) 이외에도 등급 편차(rating deviation)를 사용한다는 점에서 공통점을 갖고 있다.
  • 단, Glicko와는 달리 TrueSkill에서는 게임을 오랫동안 하지 않아도 편차가 증가하지는 않으며, TrueSkill의 편차는 고정값이다.

 

• 베이지안 실력 평가 시스템(Bayesian skill rating system)
  • 승률을 점차 더 잘 예측할 수 있도록, 게이머들의 실력 점수를 조절한다.
  • Elo, Glicko와 마찬가지로 시스템이 예측한 승률에 반하는 결과가 나온다면, 점수 등락폭도 커질 수 있다. 반대로, 시스템이 예측한 대로 경기 결과가 나온다면, 점수 등락폭이 작을 수 있다.

 

• 정확한 예측을 위해 플레이어가 단일 경기에서 기록한 성적뿐만 아니라, 과거에 플레이어가 기록한 성적(위 그림에서의 'past skill') 또한 참고하여 승률을 더욱 정확히 예측할 수 있다. ("TrueSkill through time(TTT)" 알고리즘에서의 개선점)

 

• ★ 팀의 최종 성적만을 바탕으로 플레이어의 실력 점수를 업데이트
  • 예시) 아린(A), 범수(B) vs 세진(C), 도윤(D) vs 은하(E), 희찬(F) 3팀이서 FPS 게임 한 판을 진행했고, 각각 9, 12, 4, 9, 5, 14킬을 기록했다고 하자. 각 플레이어의 성적(performance)은 팀 성적(team performance)으로 합산된다. (AB팀: 21킬, CD팀: 13킬, EF팀: 19킬) 팀 성적을 기반하여 각 팀의 순위를 매기고, 계산을 통해 각 플레이어들의 실력 점수를 업데이트한다. 이때, 각 플레이어의 팀 기여도는 반영되지 않는다. 3등을 기록한 CD팀에서 세진보다 도윤이 더 팀 성적에 기여를 많이 했지만, 반드시 세진의 점수 하락폭보다 도윤의 점수 하락폭이 적다고 할 수 없다. 도윤이 이전 판에서 어떠한 성적을 냈는지, 도윤의 현재 실력 점수가 몇점인지가 계산에 영향을 미칠 수 있으며, 경우에 따라서는 세진보다 점수가 더 떨어질 수도 있다.

 

※ 참고: 마이크로소프트 TrueSkill 공식 소개 페이지

 

다시 브락프로바마 디렉터의 발언으로 돌아와서, LoLMMR은 TrueSkill 1 알고리즘에 기반하여 제작되었다는 것을 유추할 수 있다. 단, TrueSkill 1과 완전히 같은 알고리즘이라고는 볼 수 없다. 첫 번째로, 마이크로소프트가 헤일로와 같은 FPS 게임을 위해 연구를 진행했던 것과는 달리, 라이엇은 AOS(MOBA, Multiplayer Online Battle Arena) 장르의 게임인 롤을 위한 매칭 시스템을 개발해야 했기 때문에 장르적인 차이가 있을 수 있다. (일단 단순히 생각해 보아도 FPS의 특정 배틀모드처럼 단순 KDA 합산으로 팀 성적을 계산할 수 없다.) 그리고 두 번째로, TrueSkill은 마이크로소프트가 보유하고 있는 시스템이라서 (비슷한 구현체를 웹상에서 구할 수 있을지는 몰라도) 라이선스 비용 없이 그대로 사용할 수는 없다.

 

하지만 큰 골자만 놓고 보았을 때에는 위 TrueSkill의 특징들이 LoLMMR의 특징이라고 보아도 무방할 것이다. 즉, 플레이어들의 LP(League Points) 점수는 매칭 시스템이 예측한 승패 결과값, 팀 최종 성적 및 각 플레이어의 과거 MMR(Match Making Rating) 점수 등의 요소에 영향을 받을 수 있겠지만, 각 플레이어의 팀에 대한 기여도는 반영되지 않는다.

 

2.

라이엇이 자체적으로 개발하고 있는 시스템은 어떤 특징을 지니고 있을까? 라이엇 R&D는 다른 해외 대기업 연구팀들과는 달리 논문 출판 내역을 공유해주고 있지 않아, 라이엇이 현재 어떠한 기술을 보유하고 있는지 조사하기 어려웠다. 하지만, 논문이 아니라 특허까지 범위를 넓혀서 조사를 해보니, 라이엇이 자사 게임들을 위해 열심히 기술력을 축적해 온 것을 알 수 있었다.

라이엇이 보유 중인 특허 목록 일부. (출처: Justia Patents)

 

게임 보안, 모바일 게임 조작 등 여러 분야에 대한 특허들이 많이 보였는데, 이 중 이일린 허(Yilin He)와 션 소핀스키(Sean Szopinski)가 2021년에 발명한 "동적 이벤트 기반 순위 결정 방법 및 시스템(Dynamic event-based ranking methods and systems)(17/223,730)"이라는 특허가 이크사르 디렉터가 언급했던 "라이엇이 보유한 새로운 시스템"과 연관되어 있지 않을까 생각했다.

 

특허 내용(이하 "Yilin-Sean")은 비전문가로서 굉장히 어려웠지만, 눈에 띄는 부분이 있었다.

... modern video games can be partitioned into discrete events, wherein many games have a large number of repeatable events of similar characteristics ...
... 현대 비디오 게임들은 독립적인 이벤트들로 분할될 수 있고, 많은 게임들은 반복적으로 발생하는 유사한 특성들의 이벤트들로 이루어져있다 ...

... Examples of events as described herein can include “encounters” and “rounds”...
... 본 특허에 기술된 이벤트들의 예로는 "접촉" 및 "라운드"를 포함할 수 있다 ...

... In a number of embodiments, encounters are engagements between one or more players and any number of opponents ...
... 다수의 실시예들에서, 접촉은 한 명 이상의 플레이어가 적군과 조우하여 벌어지는 교전을 뜻한다 ...

... The generation of more granular and accurate individual player scores and rankings can subsequently be used to generate more accurate and granular team rankings and scores ...
... 더 세부적이고 분명하게 개인 플레이어들의 점수와 순위를 생성함으로써 더 정확하고 세분화된 팀 순위와 점수를 도출하는 데 사용할 수 있다 ...

 

즉, 이 기술을 통해 플레이어의 실력을 단순히 최종 KDA, 최종 딜량, 최종 골드 획득량과 같이 마지막에 볼 수 있는 지표로만 평가하는 것이 아니라, 크고 작은 교전들 별로 세분화된 점수를 매겨, 각 교전에 참여하고 얼마나 기여하였는지를 반영하여 평가할 수 있게 되었다고 해석할 수 있다. 특허 내용에 특히 "이벤트 종류(event type)"에 대한 내용이 지속적으로 언급되는 것으로 보아, 게임 내 발생한 이벤트가 작은 교전인지, 대규모 한타인지, 트롤 유저가 적진으로 돌진한 것인지 등의 종류 또한 파악 가능한 것으로 이해했는데, 각 교전의 종류와 교전에 참여한 플레이어의 개별 기여도를 추출할 수 있다면 특허가 주장한 대로 각 플레이어에 대한 더욱 정확한 평가가 가능해질 것이다.

 

이외에도 특허에는 가중치 분포(weight distribution), 삭감(decay), 분산(variance)과 같은 계산식과 관련된 요소들과 플레이어가 부정적인 경험을 하는 중인지(experiencing negative emotions)와 한 판 내에 장기적으로 좋은 또는 나쁜 성적을 연속해서 내고 있는지(on a prolonged winning and/or losing streak within a particular game)의 변수들을 언급하고 있어, 라이엇이 다양한 종류의 데이터를 Yilin-Sean 매칭 시스템을 통해 반영할 수 있게 되었음을 유추할 수 있었다.

 

(더 다루고 싶었지만, 특허 내용이 너무 어려워서 더 이상의 정독은 포기했다.)

 

3.

TrueSkill 2는 마이크로소프트가 2018년에 개발하고 보유 중인 매칭 알고리즘으로, 이전 TrueSkill에 비해 훨씬 복잡해지고 정교해진 시스템을 자랑한다.

TrueSkill 2. (출처: TrueSkill 2 논문)

 

플레이어들의 다인큐 여부('squad'), 플레이어들의 계정 숙련도('experience'), 킬/데스('kill'/'death')와 같은 개인 성적 및 탈주 여부('quit?')가 TrueSkill 알고리즘 모식도에 추가되어, 기존 TrueSkill 알고리즘에 비해 훨씬 많은 변수들이 알고리즘에 영향을 주는 것을 알 수 있다.

 

추가된 변수 외에도, 알고리즘 개선점의 측면에서 정리하여 TrueSkill 2의 특성을 나열하자면 다음과 같다:

• 팀 승패 여부에 추가로 개인 성적까지 고려

 

• 탈주자는 팀의 승패와 상관없이 무조건 패배처리하여 계산

 

• 플레이어가 게임 내 다른 모드를 처음 플레이 할 시, 플레이어의 기록이 있는 모드의 점수를 초기값으로 차용

 

• 플레이어는 시간이 지날수록 실력이 증가할 확률이 더 높다고 가정
  • 기존 TrueSkill에서는 시간이 지날수록 플레이어의 실력이 증가할 확률과 감소할 확률이 같다고 가정

 

• 플레이어가 다인큐로 게임을 할 때에 더 좋은 성적을 낼 것이라고 가정

 

※ 한편, 어떤 레딧 유저가 TrueSkill 2 분석 글에 "유저들은 인센티브를 노리고 숙련도가 없는 챔피언을 랭크에서 활용하여 MMR 하락폭을 적게 만들 것이며, 이건 좋지 않다.(This would 100% incentivize people to first time champions in ranked as it would make them lose much less MMR than now, and this is bad.)"라고 분석했는데, 논문을 읽어봤을 때 실제로 이런 지 확실하지 않아 판단을 보류하려고 한다.

 

TrueSkill과 마찬가지로 TrueSkill 2 또한 FPS 장르를 우선시하여 연구된 알고리즘이며, 마이크로소프트가 보유 중인 알고리즘이기 때문에, 라이엇은 TrueSkill 2를 그대로 도입하는 것이 아니라 자사의 게임에 맞게 개조된 버전을 도입할 것이라는 것을 유추할 수 있다. 다만, 많은 유저들이 기대하고 있는 개인 기여도 추가 반영과 관련된 부분은 큰 변화가 없으리라고 생각한다.

 

결론.

LoLMMR이 전통적인 TrueSkill 알고리즘에 기반하여 제작되었음을 유추하였을 때, 롤 유저들은 본인 과거 MMR과 팀 승패 여부에 따라서만 LP를 얻고 잃었다고 볼 수 있다. 이번 판에 내가 잘했더라도, 경우에 따라서는 우리 팀 트롤 유저가 나보다 LP를 덜 잃을 수도 있는 것이다. 거기다가 매칭 시스템이 MMR을 기준으로 예측했을 때 내가 이길 확률이 높았는데 진 경우라면, 나의 LP 하락폭이 더 심해질 수도 있는 것이다.

 

이를 해결하기 위해 2024년 연초부터 라이엇이 자사가 보유한 새로운 시스템을 도입하고자 한다. 이 새로운 시스템이 만약 내가 조사한 Yilin-Sean 시스템이 맞다면, 라이엇은 앞으로 플레이어들의 각 교전 기여도를 측정하는 등 단순 플레이어들의 최종 지표뿐만 아니라 보다 세부적인 게임 내 교전 시점 별 지표들을 바탕으로 플레이어들을 평가할 수 있게 될 것이다. 그리고 2024년 연말에 TrueSkill 2의 도입이 확정된다면, 플레이어들은 이런 세부적인 개인 지표들을 바탕으로 평가받게 될 것이며, 보다 합리적인 LP 등락폭을 경험할 수 있게 될 것이다.