Chaque année le DevOps Research & Assessment, mené par Jez Humble et Nicole Forsgren récemment racheté par Google Cloud produit un rapport sur l’état de l’art du DevOps intitulé State of DevOps. Cet état des lieux des pratiques DevOps à travers le monde est réalisé à partir de plus de 31 000 interviews de professionnels (toutes industries, tailles, pays principalement USA et Europe…). L’édition 2019 sortie en début de cette année, est à ce jour la plus importante étude réalisée dans ce domaine.

Quelles sont les nouveautés et surprises de cette nouvelle édition ?

Tout d’abord, rappelons que cette étude répartit les Directions Informatiques des entreprises utilisatrices en 4 groupes suivant leur niveau de performance :

• Elite performer
• High performer
• Medium performer
• Low performer

Ces groupes sont définis en regard de la mesure des 4 indicateurs de performances DevOps détaillés plus tard dans cet article : lead time, deployment frequency, change fail rate, time to restore.

Les principaux apprentissages tirés de cette enquête se résument en 6 points :

1. Globalement, les pratiques continuent de progresser partout: la part des High Performers a triplé en 6 ans.
2. Le lien entre performance économique de l’organisation et sa capacité à livrer du logiciel rapidement de façon fiable est indéniable (DevOps). La mise en place du DevOps est donc un facteur de rentabilité pour les entreprises qui dégagent ainsi un avantage concurrentiel.
3. Les meilleures stratégies de déploiement du DevOps à l’échelle sont basées sur les Communautés de Pratiques à tous les niveaux de l’organisation ainsi que sur les approches test & learn type Proof of Concept.
   Voir à ce sujet l’article sur les Communautés de Pratique : https://blog.operaepartners.fr/2017/04/07/communautes-pratique-lean/
4. L’utilisation du Cloud Computing continue d’être un fort différenciateur des Elite et High Performers. Même si ce point était déjà présent dans les rapports précédents, rappelons que DORA est maintenant co-rédigé par les équipes de Google Cloud.
5. Les gains en productivité améliorent la QVT (Qualité de Vie au Travail) et ont tendance à réduire les burn-out. Bien qu’il puisse paraître contre-intuitif au 1^er abord, c’est une réalité également dans la pratique Lean. Les collaborateurs reprennent contrôle de leur activités, clarifient leurs objectifs quotidiens et sont autonomes pour améliorer leurs pratiques. C’est une réalité dans notre expérience de coaching des équipes, voir l’article à ce sujet : https://blog.operaepartners.fr/2017/10/31/il-ny-a-pas-de-lean-et-dagile-sans-respect-des-personnes/
6. Il existe un « bon » process pour approuver les demandes de changement (mise en production). Bon dans le sens qu’il permet l’accélération, le maintien de la stabilité du run et la diminution du burn-out des personnes.

L’obsession de la mesure

On ne le dira jamais assez, il est essentiel de mesurer la performance pour sortir du monde des opinions, aller sur le terrain des faits plus objectifs et mesurer les améliorations mises en œuvre. Le lean qui a inspiré les pratiques DevOps et Agile a depuis toujours proposé de mesurer la performances du point de vue du client (et pas du point de vue de l’équipe !) : les volumes produits, le nombre de défauts, la satisfaction du client, le stock, le lead time… Dans ce sens, le rapport préconise de continuer à s’appuyer sur les 4 mesures clés DevOps:

• Lead time : temps écoulé depuis le commit du code jusqu’à la mise en production. Les puristes objecteront que le vrai lead time est la mesure de depuis la demande du client jusqu’à sa livraison. Par exemple, il m’est arrivé de mesurer un lead time de quelques heures pour certaines équipes à plusieurs mois pour d’autres.
• Deployment frequency : la fréquence à laquelle du logiciel est mis en production, de plusieurs fois par jour à plusieurs fois par an.
• Change Fail : le taux d’échec lors d’une mise en production. Par exemple 15 % des mises en production conduisent à une relivraison, à un retour arrière, à des incidents…
• Time to restore : le temps mis pour réparer un incident depuis son apparition (attention, ce n’est pas le moment où il a été signalé mais l’instant où il est survenu) jusqu’à sa correction définitive.  Encore une fois, on mesure couramment des temps de l’ordre de quelques minutes à plusieurs semaines.

Enfin en 2019, DORA avait ajouté une 5ème mesure :

Availability : le taux de disponibilité, déjà bien connu des équipes IT dans le cadre des SLA.

Dans le rapport 2019, il est à noter qu’une fois de plus, la performance sur les 4 axes clés est intrinsèquement liée. On pourrait croire que certaines organisations vont privilégier un indicateur au détriment des autres. Par exemple, aller vite aux dépens de la qualité. Encore une fois, c’est une idée reçue qui s’avère fausse, plus on améliore la stabilité et la qualité, plus on accélère. Voir à ce sujet, l’excellent post de mon collègue Christian Ignace sur les biais cognitifs (biais n°4) : https://blog.operaepartners.fr/2019/05/15/mes-heuristiques-face-au-lean-qui-va-gagner/

Le rapport confirme donc que les High Performers excellent sur les 4 mesures de performance à la fois et les Low Performers sous-performent sur les 4 axes.

Extrait de: Accelerate – State of DevOps 2019

En synthèse, il est frappant de constater les différences de vitesse et de stabilité entre High Performers et Low Performers : les facteurs sont de l’ordre de 100 à 1000. On imagine immédiatement l’impact de ces chiffres en terme de time to market pour ces entreprises et l’impact sur leur performance économique :

Extrait de: Accelerate – State of DevOps 2019

Et dans votre organisation, comment mesurez-vous la performance et l’amélioration de votre process de delivery logiciel ?

Operae Partners est partenaire DORA pour la France depuis 2018 et allie l’approche Lean IT avec les déploiement DevOps pour améliorer l’ensemble du process de livraison de bout en bout.

Si vous souhaitez en discuter en discuter avec nous, contactez nous : thomas.deligny@operaepartners.com.

English version of this article:
https://operaepartnersblog.wordpress.com/2020/05/11/state-of-devops-a-look-back-at-the-year-2019/