C'est quoi un DevOps ?

@DambrineF

Florian Dambrine

Senior DevOps Engineer - @GumGum

La Tech Amiénoise

06 Novembre 2018

V2

$ WHOAMI

  • Florian Dambrine
  • Diplômé de l'Institut Universitaire de Technologie d'Amiens en 2011.
     
  • Diplômé de l'Université de Technologie de Compiègne en 2014.
     
  • Senior Ingénieur DevOps depuis 5 ans chez  GumGum (Startup Californienne).
     
  • Enseignant Master II - Cloud Computing & Mobility - INSSET

AGenda

  • GumGum

  • Nouveaux besoins​ - Nouveaux outils

    • L' automatisation des tâches
    • L'utilisation du Cloud
    • CI / CD Intégration continue et Déploiement continu​

  • C'est quoi un DevOps ?​​

  • Ça fait quoi un DevOps ?

    • Rôle
    • Missions et compétences

  • DevOps, mais comment ?

  • ​Q/A

 > gumgum - Computer vision company

Invente le In-Image Advertising en 2007

Publicité  innovante et  solution de "visual intelligence" pour les agences et les sites marchands  

bash
pour
automatiser

  • Complexe
  • Difficile à maintenir
  • Manque de robustesse

infrastructure as code

Enable the reconstruction of the business from nothing but a source code repository, an application data backup, and bare metal resources

-- Jesse Robins

Racks de Serveurs 

  • Infrastructure plutôt statique.
     
  • S'assurer de la capacité nécessaire au bon fonctionnement des services.

Cloud computing

  • Flexibilité d'utilisation des ressources
     
  • Utilisation à la demande
     
  • Utilisation de services spécifiques au Cloud (AWS RDS)

PETs Vs Cattle

Cattle no pets!

https://searchitoperations.techtarget.com

REleases plannifiÉes

  • Temps d'attente entre l'implémentation des fonctionnalités et sa mise en production
     
  • Difficultés à identifier la  cause d'un bug

Continuous Delivery

  • Production de logiciels par itérations courtes
     
  • Le code peut être mis en production à tout moment (en toute sécurité)
     
  • Feedback instantané

C'est quoi un DevOps ?

WARNING

Les explications que vous pouvez lire dans le suite de cette présentation où les définitions sur ce qu'est un DevOps sont purement basées sur des impressions personnelles et ne font en aucun cas d'eux des postulats.

> RÉponse 1

C'est un état d'esprit qui permet aux développeurs [DEV] et aux administrateurs systèmes [OPS] de travailler efficacement ensemble, dans l'optique de rendre leurs clients satisfaits et heureux.

> RÉponse 2

C'est l'utilisation d'outils permettant de:

 

  • Reduire le "Time to Market"
    • Déploiements fréquents (CI / CD / CDD)
       
  • Focus sur comment améliorer le business
    • Implémentation de nouvelles fonctionalités
       
  • Tout automatiser ! (Ansible, Terraform)
     
  • Supervision continue et mesure de performance des  applications (ELK / Prometheus)

Infrastructure
vue par les Devs

Équipe DevOps

> RÉsumÉ

Un nouvel état d'esprit



De nouveaux outils



Prêt à relever les challenges dans un monde qui bouge vite!

+

=

Ça fait quoi un DevOps ?

 > l'équipe devops - Par rapport aux autres équipes

Image Science

Web Team

Data Science

Big Data

8 Ingénieurs

5 Ingénieurs

19 Ingénieurs

4 Ingénieurs

11 Ingénieurs

DevOps

10.5 Ingénieurs pour 1 DevOps

 > l'équipe devops - par rapport à l'infrastucture

250 serveurs pour 1 DevOps

> missions Du devops (1/5)

  • Plateforme de centralisation de logs:
    • ~300 clients
    • ~40G de logs / jours
  • Tâches:
    • Calcul du budget et taille de l'infrastructure
    • Automatisation des technologies
    • Alertes par mail (script, elastalert)
  • Technologies: E.L.K, Redis, Ansible, AWS

> missions Du devops (2/5)

  • Ingestion de données en temps réel:
    • Extraire les données de 200 clients au plus vite (Fiabilité)
    • Limiter le nombre de fichiers produits (Aggrégation de données)
    • Comparaison de solutions pour la gestion de logs en temps réel
       
  • Technologie: Fluentd 
Tue Apr 12 23:47:14 -0700 2016, {"id":"c3abd0fe-1f4f-41ce-99bc-2f1a00da4a56","t":1460530034053,"cl":"js","ua":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36","ip":"72.0.177.26","cc":"US","rg":"OR","ct":"Redmond","pc":"97756","mc":821,"isp":"TDS Telecom","bf":"a7c33d2da9571a12da8c2f6b7fc9547a714166ab","vst":"cdbc2841-7592-4653-ae8f-5f5cd44ea8ca","lt":"Fri Apr 08 07:52:39 -0700 2016","sip":"10.11.153.143","awsr":"us-west-1"}, {"e":"other","et":"3","v":"1.1","t":"dbc517e1","ab":40621,"u":"http://cdn-s3.si.com/s3fs-public/styles/si_article_main/public/2015/11/29/2016-us-olympic-trials-schedule-track-and-field.jpg?itok=kZsubl3W","seq":"1","tr":"0.6","af":"false","pv":"c5cacfc9-5b94-4ff1-8e83-55984fc4794f","pu":"http://www.si.com/olympics/2016-us-olympic-trials-schedule-track-and-field-events","do":"*.si.com","zti":1,"vi":2,"pi":12366,"bu":1,"pcki":5945,"argi":1020,"pri":1,"uti":21,"adi":491,"ei":119,"agi":39,"spi":185,"di":122,"atmi":347,"ii":141,"cli":1,"aolid":290,"cid":2427,"cre":"true","pcc":["IAB17","IAB17-23","IAB17-38","IAB17"],"pevt":["GGE8-3","GGE3-5","GGE8-12","GGE18-1","GGE10-4","GGE8","GGE18","GGE10","GGE3"]}
  • Mise en place de 4  clusters Cassandra en multi-régions:
    • Benchmark & Stress tests (~300 serveurs démarrés et détruits sur 1 mois)
    • Automatisation (configuration des serveurs, firewall et maintenance automatisée)
    • Mise en place d'un cluster d'analyse pour le reporting
       
  • Technologies: Cassandra, Java, Ansible, Python, Spark

> missions Du devops (3/5)

ECS Cluster

 <feature-1>

 <feature-2>

 <dev>

 <stage>

 <master>

app.gumgum.com

stage.va.ggops.com

dev.va.ggops.com

feature-2.dev.va.ggops.com

feature-1.dev.va.ggops.com

commit > build > test > release > deploy







app/
├── ...
├── Dockerfile
└── .drone.yml
  • Mise en place de pipeline de release avec environements de dev éphémères:
    • Pipeline Drone avec exécution en conteneur
    • Déploiement de stacks dev en < 5min
  • Technologies: Drone,  Docker, Traefik

> missions Du devops (4/5)

  • Plateforme de centralisation de métriques systèmes (Datadog interne):
    • Mise d'un système de service discovery avec Hashicorp Consul (HA / Spotinst)
    • Mise en place de la stack Prometheus / Grafana sur Docker avec (HA / Spotinst)
    • Monitoring de VMs
      & Conteneurs

> missions Du devops (5/5)

 

Technologies:

Spotinst,  Docker, Traefik,  
Grafana, Prometheus,  Consul

 DevOps

Mais COMMENT ?

> The twelve-Factor app

https://12factor.net/fr/

L’application 12 facteurs est une méthodologie pour concevoir des logiciels en tant que service qui :

  • Utilisent des formats déclaratifs pour mettre en oeuvre l’automatisation
  • Offrent une portabilité maximum entre les environnements d’exécution
  • Sont adaptés à des déploiements sur des plateformes cloud modernes
  • Minimisent la divergence entre le développement et la production,
  • Peuvent grossir verticalement (nombre vs. taille)

> Simple pipeline Ci / CD

# .drone.yml
---
pipeline:

  build:
    image: node:alpine
    commands:
      - yarn

  test:
    image: node:alpine
    commands:
      - yarn test

  pre-release:
    image: node:alpine
    commands:
      - yarn build
      - tar -zcvf build.tar.gz -C build .
    when:
      event: tag

  release:
    image: plugins/github-release
    secrets: [ github_token ]
    files:
      - build.tar.gz
    when:
      event: tag

  notify:
    image: plugins/slack
    channel: drone
    secrets: [ slack_webhook ]
    when:
      status: [ success, failure ]
  • Feedback en continu sur l'état du code
     
  • Permet d'éviter les actions manuelles
     
  • Gain de temps sur la validation du code

> Unification dE l'environement de dev

https://github.com/geerlingguy/ansible-vagrant-examples

Mario

Karim

Nicolas

---
# docker-compose.yml

version: '3'
services:
  web:
    depends_on:
     - db
    build: './Dockerfile'
    ports:
     - "5000:8001"

  db:
    image: postgres
    volumes:
      - ./mounts/db_data:/var/lib/postgresql/data
    environment:
      POSTGRES_USER: <PG_USER>
      POSTGRES_PASSWORD: <PG_PASSWORD>
      POSTGRES_DB: stockerize_prod

VMs

Docker

> Conclusion

https://slides.com/floriandambrine/c-est-quoi-un-devops

https://bit.ly/2Jclrdo

C'est quoi un DevOps

By Florian Dambrine

Made with Slides.com

C'est quoi un DevOps

Plus de 1000 instances EC2 sur le Cloud AWS, une centaine de playbooks Ansible gérant des outils comme Cassandra, ElasticSearch, Storm et Kafka : le challenge relevé quotidiennement par les équipes d’infrastructure de GumGum fait de l’automatisation une ressource critique qui se doit d’être fiable à 100%. Pour répondre aux impératifs métier de mises en production fréquentes, la mise en place d’une organisation DevOps est une condition sine qua non. Nous verrons à travers cette présentation ce qu'est un DevOps, les outils qu'il utilise, et les différents projets qu'il est ammené à réaliser.

  • 3,629

More from Florian Dambrine