Nombre de nos clients ont engagé ou envisagent une transformation DevOps. Comme nous l’avons vu dans notre article précédent (DevOps en 2017: les vrais enjeux et bénéfices), le DevOps est un véritable enjeu de transformation pour la compétitivité des entreprises : réduction du time to market, amélioration de la qualité de service, prise en compte du feedback des clients et amélioration de la sécurité. Cette transformation ne concerne pas simplement les équipes opérationnelles MOA, Etudes & Développement et Exploitation. Elle doit être fortement soutenue par le management et la direction car elle implique un changement d’ordre culturel.

Le Gartner Group va même plus loin en affirmant qu’en 2020 : « 50% of CIO’s that have not transformed their capabilities will be displaced from the digital leadership team »

Par où commencer ?

Les premières questions qu’un dirigeant IT (souvent le DSI ou CIO ou CTO) est amené à se poser sont les suivantes :

• quelle est la situation actuelle dans mon organisation ?
• comment évaluer le niveau des pratiques DevOps par rapport au secteur d’activité ?
• où investir pour obtenir un effet de levier important sur la performance globale de l’IT ?
• comment retenir les talents qui seront les moteurs de cette transformation ?

DORA – DevOps Research Assessement propose une solution originale et pertinente à ces questions essentielles pour bien démarrer sa transformation DevOps.

En quelque mots, le DevOps Research Assessment a été fondé par 3 chercheurs et penseurs très influents du monde DevOps : Jez Humble, Nicole Forsgren, Ph.D. and Gene Kim. Ils coréalisent également depuis 2011 le State of DevOps report : une passionnante synthèse de l’évolution du DevOps à travers le monde.

Nicole, Kim et Jez, ont passé plusieurs années de R&D avec les DSI d’entreprises de toutes tailles et dans tous les secteurs à travers le monde pour aboutir à un modèle permettant de déterminer les facteurs-clés de la performance de l’informatique d’une organisation.

La mission qu’ils se sont donnée avec DORA est d’aider les organisations informatiques dans leur transformation DevOps avec une approche scientifique. Pour cela, DORA fournit un outil d’évaluation et de benchmark vérifié sur un modèle de plus de 23 000 points de corrélation pour évaluer les organisations informatiques : le DevOps Assessment.

Convaincus que cette approche aidera nos clients dans leur transformation numérique, nous avons signé avec DORA un partenariat en 2017 qui fait d’Operae Partners le partenaire officiel en France.

Le DevOps Assessment

La première étape de l’assessment est réalisée par le consultant Operae Partners, conjointement avec le DSI. Elle vise à identifier les équipes trans-disciplinaires à interroger (MOA, MOE, Product Owner, testeur, responsable sécurité, administrateur système, infrastructures…). Un questionnaire en ligne anonyme d’une durée de 30 minutes est alors envoyé à l’ensemble des personnes identifiées au sein de la DSI.

Ce questionnaire est le fruit des années de R&D de l’équipe DORA. Il permet d’aborder tous les leviers déterminants de la performance IT en couvrant l’ensemble du scope DevOps :

• technique : versioning du code, intégration continue, tests automatiques, architecture, sécurité…
• processus : compréhension de la chaîne de valeur, droit à l’expérimentation, prise en compte des retours utilisateurs, capacité à traiter des petites évolutions (user story ou autre)
• métrique : visualisation de l’activité, monitoring des plateformes, limitation de l’en-cours…
• culture : satisfaction au travail des collaborateurs, culture de l’apprentissage…

A l’issue de ce questionnaire, DORA collecte les données et fournit un rapport constitué de 4 parties :

1. Les indicateurs clés de la performance IT pour le secteur d’activité de l’organisation ;
2. Un benchmark de l’organisation avec les autres entreprises de son secteur d’activité ;
3. Les priorités pour l’amélioration : les actions d’amélioration et investissements à prioriser pour avoir le plus d’impact sur la performance ;
4. Des recommandations sur la mise en œuvre et les prochaines étapes.

Voyons en détail quelques extraits de ce rapport et comment il aide les entreprises dans leur transformation DevOps.

1. Indicateurs clés de la performance IT

Il s’agit de mettre en évidence les indicateurs de haut niveau permettant de mesurer le succès des équipes dans leur delivery et la pérennité de ces résultats.
Sept indicateurs sont présentés : performance globale de l’IT, lead time (temps à livrer une nouvelle fonctionnalités aux clients), Deploy freq. (fréquence de déploiement), MTTR (temps moyen pour réparer un incident de production), Change Fail (% de échec sur les changements), Burn out (s’approche de la qualité de vie au travail) et Deploy pain (difficulté à déployer).

Dans l’exemple ci-dessus, les curseurs noirs indiquent le niveau de performance des high-performers du secteur d’activité. Les barres bleues et oranges représentent le niveau actuel de l’organisation.

Cet exemple met en évidence plusieurs potentiels d’amélioration par rapport aux high-performers .

Le rapport fournit également un benchmark avec la « moyenne » des entreprises du secteur d’activité.

2. Benchmark des leviers d’amélioration (Capabilities)

L’organisation est ensuite analysée et évaluée selon les différents leviers déterminant la performance. Ces leviers sont organisés en quatre domaines : technique, processus, métriques, culture). Ils sont le reflet de la perception des équipes exprimée dans le questionnaire, sur les moyens d’améliorer la capacité à livrer plus fréquemment et de façon plus sûre le logiciel. Cette fois, pour tous les leviers, on recherche la valeur la plus haute.

Les traits noirs représentent le point de comparaison avec le secteur d’activité.

Dans l’exemple ci-dessus, on constate que l’organisation, comparée aux standards de son secteur d’activité, est :

• Faible sur : évolutions, développements basés sur le trunk (limiter les branches de code), limitation de l’en-cours, visualisation du travail, intégration continue
• Forte sur : culture apprentissage/progrès, collaboration, notification en cas d’incident.

3. Les priorités pour l’amélioration.

Le rapport d’assessment permet de relier les leviers d’amélioration (chapitre 2) à la performance (chapitre 1).  Il propose une matrice représentant sur un axe les forces et faiblesses l’organisation (capability strength) et sur l’autre axe l’impact sur la performance (impact on software delivery) spécifique à l’organisation. Cette matrice permet ainsi de prioriser les sujets sur lesquels investir en premier pour avoir le plus d’impact sur la performance globale. Les résultats sont calculés grâce au modèle mathématique DORA. La performance mesurée est la performance perçue par les équipes, telle qu’elle a été recueillie via le questionnaire.

Dans l’exemple ci-dessus, les priorités identifiées sont dans le carré gris (faible capability et fort impact sur la performance) :

1. Process Control
2. Monitoring
3. Small Batch Development: capacité à traiter de petites évolutions
4. Test Data Management: gestion des données de test
5. Continuous Integration: intégration continue

Valider les priorités par des observations sur le terrain

En complément des résultats du DORA assessment issu des questionnaires adressés aux équipes, Operae Partners réalise un audit opérationnel des pratiques de travail par un ensemble structuré d’observations sur le terrain.

Le but de cet audit est de confirmer ou d’infirmer les leviers d’amélioration proposés par DORA et d’en confirmer les priorités.

Il permet également de formaliser les ambitions de la DSI, d’identifier le point du vue du client (interne ou externe) et de présélectionner des équipes avec lesquelles démarrer les chantiers d’amélioration.

Le rapport final est constitué de l’assessment DORA et de la synthèse des observations. Il permet de lancer le chantier DevOps sur les bonnes priorités, avec des équipes moteurs et en accord avec la stratégie et les attentes du client. Il fournit un état de la situation actuelle de l’organisation, un benchmark du niveau des pratiques DevOps ressentis par les collaborateurs, une priorisation des leviers d’amélioration essentiels ressentis par les équipes et le point de vue du client

Lancer son chantier DevOps

Les coachs Operae Partners apportent à nos clients l’expérience des meilleures pratiques de développement et de déploiement logiciel renforcée par une expertise reconnue en Lean Management. Nous accompagnons les équipes métiers, MOA, développement et exploitation par la mise en œuvre du Lean et de l’Obeya dans l’informatique pour en accélérer le delivery et réduire le time to market en favorisant la collaboration entre les équipes organisées en silos.

N’hésitez pas à contacter Pierre Jannez ou Thomas Deligny pour comprendre comment le Kaizen (amélioration continue), le management visuel, le flux tiré et la résolution de problèmes peuvent vous aider à accélérer votre transformation DevOps.

 

Par Thomas Deligny, merci à J.P. Douet, Pierre Jannez et Christian Ignace.

Autres articles sur le sujet:

Article de Forbes :
How To Assess Your Organization’s DevOps Readiness ?

Comment mesurer le ROI d’une approche DevOps ?
https://devops-research.com/roi/