갤럭시S4가 벤치마크 조작설에 휩싸였다. 벤치마크 전문 사이트 아난드테크(www.anandtech.com)가 지난 7월 30일(현지시간) 자체 테스트 결과를 통해 삼성전자가 안투투와 쿼드런트, GL벤치마크 같은 벤치마크 프로그램에선 CPU와 GPU 클록을 일시적으로 올리는 코드를 쓴 것으로 보인다고 밝힌 것.

내용을 자세히 보면 갤럭시S4가 GL벤치마크 2.7.0에선 정상적으로 GPU 기본 클록인 480MHz로 작동하지만 2.5.1 버전에선 533MHz로 작동한다. 또 GPU 뿐 아니라 CPU에서도 비슷한 현상을 발견했다고 덧붙였다. 2.5.1. 버전에선 코어마다 최대 클록인 1.2GHz로 움직이지만 2.7.0에선 250MHz에 머물기 때문. 아난드테크 측은 GL벤치마크 뿐 아니라 다른 툴에서도 이 같은 결과가 나왔다며 벤치마크 속도를 높이기 위해 벤치마크부스터(BenchmarkBooster) 코드를 심었다며 자체 분석한 코드를 공개했다.

삼성전자는 31일 공식 블로그(http://samsungtomorrow.com/4676)를 통해 “일반 환경에선 최고 성능인 533MHz까지 구동되지만 상태바에 가려진 풀 스크린 모드에선 장시간 사용시 무리를 줄 수 있는 일부 게임 등은 480MHz로 구동된다”고 밝혔다. 이어 “벤치마크 점수를 높이기 위해 특정 툴만을 대상으로 측정 환경을 의도적으로 바꾼 게 아니라는 점을 말씀 드린다”고 덧붙였다.

출처 : www.anandtech.com

◇ 계기판에만 적혀 있는 최고시속=삼성전자 갤럭시S4가 지원하는 사양만으로만 본다면 문제될 건 물론 없다. 갤럭시S4가 탑재한 SGX 544MP3의 최대 클록은 533MHz가 맞다. 문제는 일반인이 533MHz를 체감할 수 없다는 것이다. 이번에 문제가 된 건 일부 벤치마크에서만 이 제한이 풀려 있다는 데에 있다. 자동차를 예로 들면 ‘계기판에는 시속 200km까지 적혀 있지만 실제 주행할 때에는 아무리 밟아도 150km는 넘지 못하는’ 것이나 마찬가지다.

설사 200km/h로 달릴 수 있더라도 어떤 환경에서 그런지 명확해야 하고 비중도 밝혀줘야 하지만 그런 게 없다. 삼성전자가 말한 것처럼 “풀스크린모드에서 장시간 사용하면 무리를 줄 수 있는”이라는 전제를 깐다고 해도 같은 풀스크린모드를 사용하는 GL벤치마크 2.5.1과 2.7.0 사이에 동작 클록이 다른 건 의문으로 남을 수밖에 없다.

벤치마크 프로그램은 PC나 스마트폰을 막론하고 같은 기준을 적용한다. 최대 클록을 쓸 수도 있다. 다만 이는 ‘실제로도 쓸 수 있을 때’의 얘기다. 어떤 식이든 ‘봉인된’ 환경을(오버클록 같은 예) 바꾼다면 그건 조금 특별한 테스트가 될 뿐 정상적인 성능 측정이라고 보기는 어렵다. 이번 아난드테크 테스트를 놓고 말이 많은 것도 이런 이유에서다.

◇ 해명에 빠진 진짜 해명=삼성전자가 밝힌 해명에서도 가장 중요한 ‘왜?’가 빠져 있다. 설명이 없으니 해명 없는 해명이라는 말이 나올 수밖에 없다. 아난드테크가 발견했다는 벤치마크 부스터 코드에 대한 설명은 아예 대답할 곳도 없다.

“연비 20km짜리 샀는데 회사쪽에서 평소에 쓸일 없다고 10km로 제한 걸어 놓고 측정하는데 가서만 20km로 측정되는 거 사면 좋겠냐”는 등 소비자 반응도 차갑다. 뉴욕타임스도 “삼성전자가 갤럭시S4를 조작해 벤치마크 프로그램을 바보로 만들었다. 부끄러운 일”이라고 평했다.

아난드테크가 공개한 내부 코드(출처 : www.anandtech.com)

◇ "단언컨대 벤치마크툴은 완벽한 도구가 아닙니다"=이번 사건에서 또 하나 생각해봐야 할 건 “벤치마크 툴은 얼마든지 바보가 될 수 있다”는 게 아닐까 싶다. 지금은 예전처럼 심하지는 않지만 같은 값이면 성능 좋은 걸 찾는다. 벤치마크 점수가 높으면 더 좋다고 인지하게 된다. 하지만 이번 사건의 이유나 원인은 둘째치고 결과적으로 벤치마크 툴이 객관적 가치를 전해주기 어려울 수 있다는 건 확실히 알려준 셈이 됐다. ‘수치 벤치마크’가 아닌 실측을 통한 ‘생활 벤치마크’가 되어야 하지 않을까. 설사 벤치마크 프로그램을 쓴다고 해도 삼성전자를 비롯한 기업이 해당 벤치마크에서의 환경 변화를 사전 공지하는 시스템이 없다면 얼마든지 이런 일은 또 벌어질 수 있다. 요즘 유행하는 광고 카피를 인용하자면 “단언컨대 벤치마크툴은 세상에서 가장 완벽한 도구가 아닙니다.” 조작될 수 있으니까.

룰이 필요하다. 스마트폰 배터리 연속사용시간도 마찬가지다. 기준이 다 제각각이다. 배터리마크를 쓴 곳도 있고 자체 테스트를 한 곳도 있고 일본 같은 곳은 그쪽 기준을 따른다. 한 눈에 놓고 ‘같은 기준이라고 생각하고’ 봤다간 현실과 이상의 괴리감을 단박에 느낀다. 이 참에 벤치마크툴에서의 환경에 대한 표기 문제를 떠나 사양 표기에 관한 룰이 필요하지 않을까 싶다. 소비자가 일일이 찾아서 환산해서 비교할 수는 없지 않은가.

아난드테크가 진행한 갤럭시S4 기사 원문은 이곳에서 볼 수 있다.

이석원 기자  lswcap@techholic.co.kr

<저작권자 © 테크홀릭, 무단 전재 및 재배포 금지>