activation rabbitmq radx

* certaines expressions nix demandent à être exécutées dans des VM, conatiners et autres.
    Jusque là, ces builds restaient dans la file d'attente d'hydra.
    Cela devrait corriger le problème.

Makefile

@@ -1,3 +1,5 @@
+GSF=git submodule foreach
+
 all: rebuild-switch
 	date
 ##--------- Commandes spécifiques pour NixOS
@@ -37,15 +39,16 @@ push: submodules-push
 
 submodules-update:
 	#git submodule update --remote
-	git submodule foreach git co master
+	$(GSF) git co master
-	git submodule foreach git ff
+	$(GSF) git ff
+	$(GSF) git gc --auto
 
 submodules-push:
-	git submodule foreach git push --all
+	$(GSF) git push --all
-	git submodule foreach git push --tags
+	$(GSF) git push --tags
 
 submodules-tag:
-	git submodule foreach git tag -f "$$(date +%F)-$$(hostname -s)"
+	$(GSF) git tag -f "$$(date +%F)-$$(hostname -s)"
 
 template:
 	find . -name "*.nix" -exec meld /etc/nixos/base/module-template.nix {} \;

README.md

@@ -1,5 +1,7 @@
 # nixos-template-base
 
+Version de nixos supportée : NixOs 16.09
+
 Ce dépôt stocke une configuration générique des machines.
 Une recette dite "config-generator" adapte la configuration selon le nom de la machine (FQDN).
 

config-generator.nix

@@ -41,9 +41,11 @@ in
         edition-musique = mkEnableOption "Profil pour la création/édition de musique.";
         edition-photo   = mkEnableOption "Profil pour la création/édition de photos.";
         edition-video   = mkEnableOption "Profil pour la création/édition de video.";
+        elasticsearch   = mkEnableOption "Profil pour activer le service elasticsearch.";
         fail2ban        = mkEnableOption "Profil pour activer Fail2ban.";
         hydra-builder   = mkEnableOption "Profil pour une machine qui compile pour hydra.";
         hydra-core      = mkEnableOption "Profil pour un serveur hydra.";
+        kibana          = mkEnableOption "Profil pour activer le service kibana.";
         jeux            = mkEnableOption "Profil pour les jeux vidéos.";
         laptop          = mkEnableOption "Profil pour les outils spécifiques aux ordinateurs portables..";
         locate          = mkEnableOption "Profil pour activer la fonction locate.";
@@ -56,6 +58,7 @@ in
         print           = mkEnableOption "Profil pour activer cups & pouvoir imprimer.";
         rabbitmq        = mkEnableOption "Profil pour activer le service de messagerie AMQP.";
         radicale        = mkEnableOption "Profil pour activer le service d'hébergement de calendrier + tâches & contacts.";
+        scanner         = mkEnableOption "Profil pour que les scanners soient utilisable.";
         swap            = mkEnableOption "Profil pour que le swap soit activé.";
         virtualbox      = mkEnableOption "Profil pour l'utilisation de VirtualBox.";
         xmonad          = mkEnableOption "Profil pour activer le gestionnaire de fenêtres xmonad.";
@@ -120,6 +123,7 @@ in
       r6d.config-generator = {
         awesome = true;
         nix-serve-client = true;
+        scanner = true;
       };
     })
     (mkIf pfl.isHome {
@@ -201,9 +205,12 @@ in
       };
 
       r6d.config-generator = {
+        elasticsearch = true;
         hydra-builder = true;
         hydra-core = true;
+        kibana = true;
         print = true;
+        rabbitmq = true;
         virtualbox = true;
       };
     })
@@ -276,7 +283,6 @@ in
 
       r6d.config-generator = {
         nix-serve-server = true;
-        laptop = true;
         edition-photo = true;
         tincAddress = "192.168.12.1/24";
       };

public/app-bureautique.nix

@@ -21,6 +21,7 @@ mkIf profiles.isDesktop {
 
     ## Editeur de texte
     lyx           # surcouche WISIWIM à LaTeX
+    focuswriter # outil pour l'écriture
     textadept     # un éditeur de texte facile pour copier-coller graphique
     zim           # outil de prise de notes, wiki de bureau
 

public/app-developpement.nix

@@ -19,6 +19,7 @@ mkIf cfg.developpement {
     cloc
     idea.idea-community # IntelliJ IDEA
     gcc                 # pour les appels depuis les scripts
+    maven
 
     # Documentation
     zeal                # consulter la documentation hors ligne

public/environment.nix

@@ -37,6 +37,7 @@ in
       gnupg         # GPG
       gpm           # prise en charge de la souris en console
       htop          # monitoring
+      lsb-release   # pour les scripts qui utilisent cet outil
       #libressl      # librairie pour faire du TLS et les algorithmes de crypto par OpenBSD
       ncdu          # outil pour voir l'espace utilisé
       nmap          # outil de scan de port réseau

public/hardware-scanner.nix

@@ -0,0 +1,27 @@
+{ config, lib, pkgs, ... }:
+
+let
+  inherit (lib) mkIf mkMerge mkThenElse;
+  cfg = config.r6d.config-generator;
+  computers = config.r6d.computers;
+  profiles = config.r6d.profiles;
+in
+
+mkIf cfg.scanner {
+
+  # Paquets
+  environment.systemPackages = with pkgs; [
+    simple-scan
+  ];
+
+  # Services
+  hardware.sane.enable = true;
+
+  # Réseau
+  networking.firewall = {
+    allowedTCPPorts = [
+    ];
+    allowedUDPPorts = [
+    ];
+  };
+}

public/public.nix

@@ -18,6 +18,7 @@ in
     ./service-haveged.nix
     ./service-monitoring.nix
     ./service-ssh.nix
+    ./udev.nix
 
     # commandées par config-generator
     ## option de configuration spécifique
@@ -34,8 +35,10 @@ in
     ./auto-upgrade.nix          # mise à jour automatique du système
     ./laptop.nix                # appli & configuration adaptée pour un PC portable
     ./print.nix                 # configuration de base de cups
+    ./service-elasticsearch.nix # service de stockage et recher de données
     ./service-hydra-build.nix   # service de construction de paquet. -> la machine compile des paquets
     ./service-hydra-core.nix    # service pour l'instance d'hydra
+    ./service-kibana.nix        # service de visualisation de données stockées dans elasticsearch
     ./service-laptop.nix        # services spécifiques aux pc portables
     ./service-locate.nix        # service locate
     ./swap.nix                  # définition de l'utilisation du swap
@@ -47,6 +50,7 @@ in
     ./app-multimedia.nix        # pour gérer le son, l'image et la vidéo
     ./app-network.nix           # de gestion, de diagnostique & surveillance réseau
     ./app-securite.nix          # relatives à la sécurité (chiffrement, gpg, mots de passe, ...)
+    ./hardware-scanner.nix      # utilisation d'un scanner
     ./service-pulseaudio.nix    # activation du serveur audio
     ./service-x11.nix           # activation du serveur graphique X
   ];

public/service-elasticsearch.nix

@@ -0,0 +1,34 @@
+{ config, lib, pkgs, ... }:
+
+let
+  inherit (lib) mkIf mkMerge mkThenElse;
+  cfg = config.r6d.config-generator;
+  computers = config.r6d.computers;
+  profiles = config.r6d.profiles;
+in
+
+mkIf cfg.elasticsearch {
+
+  # Paquets
+  environment.systemPackages = with pkgs; [
+  ];
+
+  # Services
+
+  ## E : http://localhost:9200/_cat/indices?v
+  services.elasticsearch = {
+    enable = true;
+    port = 9200;
+    listenAddress = "127.0.0.1";
+    #listenAddress = "_site_";
+  };
+
+  # Réseau
+  # -> Aucun port n'est ouvert caril est recommandé de mettre un proxy HTTP devant
+  networking.firewall = {
+    allowedTCPPorts = [
+    ];
+    allowedUDPPorts = [
+    ];
+  };
+}

public/service-hydra-build.nix

@@ -11,19 +11,32 @@ mkIf cfg.hydra-builder {
 
   # Paquets
   environment.systemPackages = with pkgs; [
+    qemu
+    kvm
   ];
 
   # Services
 
-
+  ## Services de virtualisation utilisé pour les tests hydra
+  virtualisation.docker.enable = true;
+  virtualisation.libvirtd.enable = true;
+  virtualisation.libvirtd.enableKVM = true;
+  #virtualisation.virtualbox.guest.enable = true;
   virtualisation.virtualbox.host.enable = true;
+  virtualisation.virtualbox.host.headless = true;
+
+  ## Ménage automatique tous les jours
   nix.gc.automatic = true;
 
   users.users."hydrabld" = {
     description = "Execution des jobs hydra";
     group = "nixbld";
-    extraGroups = [ "nixbld" ];
+    extraGroups = [
-    isNormalUser = true;
+      "docker"
+      "nixbld"
+      "vboxusers"
+    ];
+    isNormalUser = true;  # devrait être à false: TODO débugger la conf ssh & users pour que ça marche en user système
 
     openssh.authorizedKeys.keys = [
       "ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIGYpjcWJCf8dXpv2LmoIaNVbwZXEC50QUU6Az+lqeD89 hydra radx"

public/service-hydra-core.nix

@@ -13,12 +13,28 @@ mkIf cfg.hydra-core {
   environment.systemPackages = with pkgs; [
   ];
 
+  # Documentation HYDRA
+
+  ## Installation
+
+  # 1. créer clef SSH :
+  #	ssh-keygen -C "hydra@pedro.dubronetwork.fr" -N "" -f /etc/nixos/id_buildfarm
+  # 2. récupérer la clef publique du serveur ssh + l'ajouter dans les `knownHosts` :
+  #	ssh-keyscan localhost
+  # 3. créer un utilisateur pour gérer hydra
+  #	su - hydra
+  #	hydra-create-user jpierre03 --password xxx --role 'admin'
+  # 4. relancer hydra
+  # 5. ajouter un vhost à nginx
+  # 6. relancer nginx
+  # 7. le service accessible à hydra.<nom de machine>
+
+  ## Tutoriel
+  # * https://github.com/peti/hydra-tutorial
+
   # Services
 
   ## Hydra
-  # 2. créer un utilisateur pour gérer hydra
-  # su - hydra
-  # hydra-create-user jpierre03 --password xxx --role 'admin'
 
   services.hydra = {
     enable = true;
@@ -26,16 +42,16 @@ mkIf cfg.hydra-core {
     notificationSender = "hydra@${config.networking.hostName}";
     listenHost = "localhost";
     minimumDiskFree = 50; # Go
+    smtpHost = "localhost";
   };
 
   ## Ménage
   #nix.gc.automatic = true;
 
-  ## Délégation des actions de compilation à la compilefarm
+  ## Délégation des actions de compilation à la ferme de compilation
 
   ### Machines connues
-  # 2. récupérer la clef publique du serveur ssh : ssh-keyscan localhost + l'ajouter dans les knownHosts
+
-  
   programs.ssh.knownHosts = {
     "monstre.dubronetwork.fr".publicKey = "ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIBTTrLhq1Cwm0rpnwEIxSLqVrJWZnt+/9dt+SKd8NiIc";
     "pedro.dubronetwork.fr".publicKey   = "ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIM7fjo2ysLqlfSo6BKnc6I6m1ayoPrbwEEyTKZmUzsOD";
@@ -44,17 +60,12 @@ mkIf cfg.hydra-core {
     "rollo.dubronetwork.fr".publicKey   = "ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAID4lWgS/sVdcZvnAAN+lBSOcCL9ISdAUsjp1kh9lalNu";
   };
 
-  # une fois installé :
+  ### La liste des machines utilisées
-  # 1. créer chef SSH : ssh-keygen -C "hydra@pedro.dubronetwork.fr" -N "" -f /etc/nixos/id_buildfarm
-  # ssh-keygen -t ed25519 -C "hydra MACHINE" -f /etc/nixos/hydra-ssh-key
-  # accessible à hydra.pedro.dubnronetwork.fr
-  
   nix = {
-    distributedBuilds = true;
+    distributedBuilds = false;
     buildMachines = [
-    #      { hostName = "pedro.dubronetwork.fr"; maxJobs = 2; speedFactor = 10; sshKey = "/etc/nixos/id_buildfarm"; sshUser = "root"; system = "x86_64-linux"; }
+    #      { hostName = "pedro.dubronetwork.fr"; maxJobs = 5; speedFactor = 10; sshKey = "/etc/nixos/id_buildfarm"; sshUser = "root"; system = "x86_64-linux"; }
     ];
     extraOptions = "auto-optimise-store = true";
   };
-  
 }

public/service-kibana.nix

@@ -0,0 +1,33 @@
+{ config, lib, pkgs, ... }:
+
+let
+  inherit (lib) mkIf mkMerge mkThenElse;
+  cfg = config.r6d.config-generator;
+  computers = config.r6d.computers;
+  profiles = config.r6d.profiles;
+in
+
+mkIf cfg.kibana {
+
+  # Paquets
+  environment.systemPackages = with pkgs; [
+  ];
+
+  # Services
+
+  # K : http://localhost:8000
+  services.kibana = {
+    enable = true;
+    elasticsearch.url = "http://127.0.0.1:9200";
+    port = 8000;
+  };
+
+  # Réseau
+  # -> Aucun port n'est ouvert caril est recommandé de mettre un proxy HTTP devant
+  networking.firewall = {
+    allowedTCPPorts = [
+    ];
+    allowedUDPPorts = [
+    ];
+  };
+}

public/udev.nix

@@ -0,0 +1,18 @@
+{ config, lib, pkgs, ... }:
+
+let
+  inherit (lib) mkIf mkMerge mkThenElse;
+  cfg = config.r6d.config-generator;
+  computers = config.r6d.computers;
+  profiles = config.r6d.profiles;
+in
+
+{
+  # Définition du IO Scheduler pour les SSD
+  services.udev.extraRules = ''
+  # set deadline scheduler for non-rotating disks
+  # according to https://wiki.debian.org/SSDOptimization, deadline is preferred over noop
+  ACTION=="add|change", KERNEL=="sd[a-z]", ATTR{queue/rotational}=="0", ATTR{queue/scheduler}="deadline"
+  '';
+
+}