Optimiser le noyau Linux avec l’IA, selon ByteDance

Richmond, Virginie : Lors de la Linux Plumbers Conference, la réunion sur invitation uniquement pour les principaux développeurs du noyau Linux, l’ingénieur du noyau Linux ByteDance Cong Wang, a proposé que nous utilisions intelligence artificielle (IA) et apprentissage automatique (ML) pour régler le noyau Linux pour obtenir des résultats optimaux pour des charges de travail spécifiques.

Aussi : Rust sous Linux : où nous en sommes et où nous allons ensuite

D’une manière générale, le noyau Linux fonctionne très bien pour la plupart des tâches. Mais, pour en tirer le meilleur parti pour un travail particulier, vous devez l’affiner en définissant ses paramètres pour obtenir les meilleurs résultats possibles. Il n’y a qu’un petit problème avec cette approche. Il existe des milliers de paramètres. Même pour un expert Linux, les régler pour obtenir des performances optimales est un travail long et difficile. Et bien sûr, différentes charges de travail nécessitent différents réglages pour différents ensembles de paramètres du noyau Linux. Ainsi, comme l’a dit Wang : « Dans les centres de données à grande échelle comme celui de ByteDance, il est devenu presque impossible de régler manuellement les paramètres du noyau Linux pour des centaines de charges de travail différentes. »

Des outils tels que Outil d’interface de gestion du système (SMIT), Systèmeet Écoute peut aider. Mais ils vous permettent simplement d’effectuer plus facilement des modifications manuelles du réglage du noyau. Il existe également des programmes « intelligents », comme celui de Red Hat. BayOp, qui utilise le ML pour optimiser spécifiquement l’efficacité des applications réseau, mais il ne s’agit pas d’un programme IA/ML à usage général ; il est destiné à un type spécifique de réglage Linux.

Aussi : Garuda KDE Dr460nized pourrait être la distribution Linux la plus cool disponible

ByteDance travaille sur une première tentative d’automatisation de l’ensemble du processus de réglage des paramètres du noyau Linux avec un minimum d’efforts d’ingénierie. Plus précisément, ByteDance travaille sur l’optimisation de la gestion de la mémoire Linux. ByteDance a découvert qu’avec les algorithmes d’apprentissage automatique, tels que Optimisation bayésiennele réglage automatisé pourrait même battre la plupart des ingénieurs du noyau Linux.

Pourquoi? Eh bien, l’idée, comme le dit ironiquement Wang, “n’est pas de mettre les ingénieurs du noyau Linux en faillite”. Non, l’objectif est de « libérer les ingénieurs humains de l’ajustement des performances pour chaque charge de travail individuelle. Tout en prenant de meilleures décisions avec les données historiques, avec lesquelles les humains ont souvent du mal. Et, enfin et surtout, trouver de meilleures solutions que celles que nous proposons en utilisant nos essais et erreurs actuels, nos méthodes heuristiques.

Aussi : Si vous voulez essayer BSD, optez pour GhostBSD

Comment? Le système de réglage automatique est conçu pour ajuster automatiquement les paramètres internes du noyau Linux en fonction de la charge de travail spécifique et de la configuration matérielle. Cet ajustement dynamique garantit des performances optimales, répondant à un défi de longue date dans la communauté Linux consistant à régler manuellement le noyau pour des scénarios spécifiques. Pour ce faire, le framework AI/ML utilise plusieurs algorithmes tels que l’optimisation bayésienne, Algorithme génétiqueet le Recuit simulé/algorithme évolutif

Le résultat?

• Optimisation dynamique : le système surveille en permanence les performances du noyau, en ajustant en temps réel les paramètres tels que la mise à l’échelle de la fréquence du processeur et la gestion de la mémoire.

• Efficacité améliorée : en optimisant l’utilisation des ressources, le système de réglage automatique améliore considérablement l’efficacité des systèmes Linux, en particulier dans les environnements avec des charges de travail variables.

• Interface conviviale : le système comprend une interface conviviale, permettant même à ceux ayant des connaissances techniques limitées de bénéficier de performances améliorées du noyau.

• Paramètres personnalisables : les utilisateurs avancés peuvent personnaliser les paramètres de réglage automatique, en adaptant le système à leurs besoins spécifiques.

Il est encore tôt, mais ByteDance connaît déjà un certain succès. Par exemple, en utilisant DAMONun sous-système du noyau Linux pour la surveillance et l’optimisation de l’accès à la mémoire, avec ce framework, ils ont pu trouver le meilleur schéma pour un MySQL application. Pour ce faire, il a exécuté différents schémas DAMON et comparé leurs performances. Ils ont découvert qu’ils pouvaient réduire l’utilisation de la mémoire de l’application de 30 %. Pour les applications massives, cela représente une réelle économie.

Aussi : Linux pourrait être votre meilleur choix pour renforcer la sécurité de votre ordinateur de bureau.

Dans un autre cas, ByteDance a pu optimiser la latence du réseau HTTP sur un NGINX serveur en optimisant le réglage de 16 paramètres sysctl du noyau. Dans le meilleur des cas, le réglage ML a donné aux performances du réseau NGNIX une augmentation de 12 % par rapport au réglage manuel expert. Encore une fois, c’est une amélioration significative.

ByteDance ne prétend pas que son approche AI/ML fonctionnera pour chaque tâche de réglage de Linux, mais Wang a déclaré : « Bien qu’il existe des limites, nous pensons que l’apprentissage automatique du noyau est non seulement possible mais également nécessaire.

Moi? Je pense que cela pourrait potentiellement changer la donne pour les applications Linux. En simplifiant l’optimisation du noyau, cela rendra Linux plus accessible et plus efficace pour un plus large éventail d’utilisateurs et d’applications. En particulier, je vois le système de réglage automatique améliorer les performances sur presque tous les serveurs, le cloud computing et les applications de centre de données.