Exclusif : Le fondateur de Geekbench répond à la controverse sur le blocage du benchmark du Pixel 8

Notebookcheck a récemment révélé que Google semble avoir bloqué l'accès à l'Internet bloqué les les rédacteurs qui examinent son nouveau Pixel 8 et Pixel 8 Pro de pouvoir installer facilement des applications de benchmark populaires comme Geekbench 6 et 3D Mark pendant la période d'embargo. Il s'agissait d'une démarche très inhabituelle qui a soulevé des questions sur les motivations de Google. Google a fait connaître les capacités du Tensor G3 au cœur de ses derniers Pixels, en particulier ses performances en matière d'intelligence artificielle. Toutefois, comme ils n'ont pas pu installer l'application, de nombreux évaluateurs n'ont pas pu vérifier les affirmations de Google en effectuant des tests de référence, comme c'est le cas pour la plupart des évaluations, car cela permet d'évaluer de manière objective et standardisée les performances des puces.

L'un des principaux tests de référence utilisés par les évaluateurs est Geekbench. Il s'agit d'un utilitaire d'analyse comparative multiplateforme populaire qui est principalement utilisé pour évaluer les performances du processeur, bien qu'il dispose également d'une suite de calcul GPU. Le test évalue à la fois les performances à cœur unique et les performances à cœur multiple d'une puce, et il s'agit également d'un test "multiplateforme". Cela signifie que les résultats qu'il produit peuvent être comparés entre différents appareils tels que les téléphones mobiles et les ordinateurs portables, les systèmes d'exploitation tels que Android et Windows, et entre les puces fabriquées par des sociétés telles que Apple, Intel, Qualcomm, Google, Samsung, MediaTek et AMD.

Lorsque Geekbench a été récemment mis à jour à la version 6, il a ajouté la possibilité de tester de nouveaux domaines d'application, notamment les performances AR, et a également mis davantage l'accent sur l'apprentissage automatique, qui alimente le potentiel AI d'une puce. Il est également utilisé et approuvé par des entreprises telles que Samsung, Microsoft, AMD, Dell, HP, LG, MediaTek et bien d'autres. En tant que tel, vous pourriez penser que, compte tenu de la façon dont Google vante les performances en matière d'IA de ses puces Tensor, il s'agirait d'un benchmark que Google serait heureux que les examinateurs installent sur leurs unités Pixel 8 et Pixel 8 Pro. Il y avait des évaluateurs avec les connaissances requises pour contourner le blocage du Play Store de Google en téléchargeant simplement le paquet d'applications pour Geekbench 6 et en l'installant manuellement à l'aide d'un processus connu sous le nom de side-loading (chargement latéral).

Les résultats de Geekbench 6 obtenus par le Tensor G3 étaient peu flatteurs - pendant la période d'embargo et par la suite. Certains fans du Pixel ont émis des théories selon lesquelles il y avait un problème de compatibilité entre les benchmarks et Android 14, et que Google n'avait pas délibérément empêché leur installation facile. Cependant, cela n'explique pas pourquoi les applications ont pu être chargées sur le côté et ont pu être exécutées avec succès, ou pourquoi les résultats avant et après le blocage de l'application post-blocage n'étaient pas différents. Nous avons contacté Google pour obtenir des commentaires, mais nous n'avons pas eu de réponse à l'heure où nous écrivons ces lignes. Nous avons également contacté Primate Labs, le fabricant de Geekbench 6, qui a été en mesure de nous fournir une réponse.

En contactant Primate Labs, nous leur avons demandé s'ils avaient connaissance de problèmes de compatibilité qui auraient empêché l'installation de Geekbench 6 sur les Pixel 8 et Pixel 8 Pro pendant la période d'embargo sur les tests. John Poole, créateur de la version originale de Geekbench et fondateur de l'entreprise, a fourni cette réponse à Notebookcheck :

Nous ne savons pas pourquoi Geekbench 6 n'était pas disponible sur les appareils Pixel 8 (bien que nous soupçonnions que cela ait quelque chose à voir avec les embargos). Nous n'avons pas connaissance de problèmes de compatibilité avec Geekbench 6 sur les Pixel 8 ou Pixel 8 Pro.

Suite à notre couverture de ce problème, Arun Maini, un YouTuber plus connu sous son pseudo de @Mrwhosetheboss a révélé que les nouvelles fonctionnalités clés alimentées par l'IA qui intègrent des techniques d'IA générative, notamment Magic Editor, AI Wallpaper et Best Take, nécessitent une connexion internet persistante pour fonctionner comme annoncé. Lors de sa présentation, Google a laissé entendre que ces fonctions étaient traitées par la puce Tensor G3. Ce message a été renforcé sur le blog officiel de Google, qui vante les mérites de la puce et la positionne comme étant "AI-first".

Dans le blogle vice-président de la gestion des produits de Google affirme ce qui suit :

Notre travail avec Tensor n'a jamais porté sur les vitesses et les flux, ni sur les mesures de performance traditionnelles. Il s'agit de faire progresser l'expérience de l'informatique mobile. Et dans notre nouvelle puce Tensor G3, chaque sous-système majeur a été mis à niveau, ouvrant la voie à l'IA générative sur l'appareil. Elle comprend la dernière génération de CPU ARM, un GPU mis à niveau, un nouvel ISP et un DSP d'imagerie, ainsi que notre TPU de nouvelle génération, qui a été conçu sur mesure pour exécuter les modèles d'IA de Google.

Nous avons testé les affirmations de Maini concernant la nécessité d'une connexion internet permanente pour faire fonctionner certaines de ces nouvelles fonctions d'IA générative. Malgré les affirmations de Google sur la capacité du Tensor G3 à faire fonctionner l'IA générative sur l'appareil, Google transfère en fait les exigences de traitement de ces fonctions dans le nuage pour qu'elles soient traitées par ses serveurs beaucoup plus puissants - même si une partie du traitement peut initialement être effectuée sur l'appareil. Toutefois, compte tenu des performances relativement médiocres du Google Tensor G3 dans les tests de référence tels que Geekbench 6, on comprend pourquoi Google a dû recourir à la délocalisation du traitement.

Comme l'explique le concepteur de puces Arm sur son site web (en gardant à l'esprit que le Tensor G3 utilise des cœurs de CPU conçus par Arm), l'ensemble de son architecture a été conçu en tenant compte des performances de l'IA, et les algorithmes d'apprentissage automatique sont exécutés sur l'ensemble de la puce. Cela signifie que si une puce n'obtient pas de bons résultats dans les tests de référence du CPU et du GPU, il est très peu probable qu'elle affiche de bonnes performances en matière d'intelligence artificielle. En effet, les tâches d'apprentissage automatique sont prises en charge par le CPU et le GPU, conjointement avec l'accélérateur d'IA embarqué dans le SoC, connu sous le nom de Neural Processing Unit (NPU) ou, comme l'appelle Google, de Tensor Processing Unit (TPU). Vous lirez souvent sur les forums et les chats que "les benchmarks n'ont pas d'importance", c'est la façon dont l'appareil fonctionne "dans le monde réel" qui compte. Dans une certaine mesure, ce point de vue est fondé : les critères d'évaluation ne sont qu'une partie de l'équation globale.

Cependant, on ne peut pas échapper au fait que la puissance de traitement brute est également une nécessité pour un appareil dont on dit qu'il est axé sur l'IA. L'IA générative nécessite clairement une puissance de traitement supérieure à celle que le Tensor G3 est capable de fournir, malgré les affirmations contraires de Google - sinon, il ne serait pas nécessaire de disposer d'une connexion Internet permanente et de décharger ces tâches dans le nuage pour les traiter avant que le résultat ne soit renvoyé à l'appareil de l'utilisateur. Les données seraient traitées à bord. Il semble que les algorithmes logiciels de Google alimentés par l'IA aient atteint leur limite avec la capacité du Tensor G3 à les traiter localement, et que le discours de Google sur l'absence d'importance des "mesures de performance traditionnelles" soit devenu caduc.

Mise à jour : article mis à jour avec des captures d'écran de la page produit Pixel 8 Pro de Google avec des captures d'écran de Google décrivant les nouvelles fonctionnalités avancées d'IA, y compris les fonctionnalités d'IA générative mentionnées dans l'article. Une capture d'écran est également incluse dans la note de bas de page en petits caractères référence '7' qui explique les exigences et les limitations. Notez que Google ne fait aucune référence à la nécessité d'une connexion internet persistante pour que les fonctionnalités fonctionnent, ou que le contenu doit être déchargé vers les serveurs de Google dans le cloud pour le traitement de l'IA.

Achetez le Google Pixel 8 Pro sur Amazon à partir de 999 $.