ménage

* certaines expressions nix demandent à être exécutées dans des VM, conatiners et autres.
    Jusque là, ces builds restaient dans la file d'attente d'hydra.
    Cela devrait corriger le problème.

Makefile

@@ -1,3 +1,5 @@
+GSF=git submodule foreach
+
 all: rebuild-switch
 	date
 ##--------- Commandes spécifiques pour NixOS
@@ -37,15 +39,16 @@ push: submodules-push
 
 submodules-update:
 	#git submodule update --remote
-	git submodule foreach git co master
-	git submodule foreach git ff
+	$(GSF) git co master
+	$(GSF) git ff
+	$(GSF) git gc --auto
 
 submodules-push:
-	git submodule foreach git push --all
-	git submodule foreach git push --tags
+	$(GSF) git push --all
+	$(GSF) git push --tags
 
 submodules-tag:
-	git submodule foreach git tag -f "$$(date +%F)-$$(hostname -s)"
+	$(GSF) git tag -f "$$(date +%F)-$$(hostname -s)"
 
 template:
 	find . -name "*.nix" -exec meld /etc/nixos/base/module-template.nix {} \;

README

@@ -1,11 +0,0 @@
-# nixos-template-base
-
-Ce dépôt stocke une configuration générique des machines.
-Une recette dite "config-generator" adapte la configuration selon le nom de la machine (FQDN).
-
-Actuellement, les scripts contiennent un peu de configuration spécifique pour les machines des mainteneurs.
-
-# Lien pour install sur machine distante
-
-* https://nixos.org/wiki/How_to_install_NixOS_from_Linux#Installing_through_a_chroot
-* https://github.com/NixOS/nixpkgs/issues/13305

README.md

@@ -0,0 +1,43 @@
+# nixos-template-base
+
+Version de nixos supportée : NixOs 16.09
+
+Ce dépôt stocke une configuration générique des machines.
+Une recette dite "config-generator" adapte la configuration selon le nom de la machine (FQDN).
+
+Actuellement, les scripts contiennent un peu de configuration spécifique pour les machines des mainteneurs.
+
+# Lien pour install sur machine distante
+
+* https://nixos.org/wiki/How_to_install_NixOS_from_Linux#Installing_through_a_chroot
+* https://github.com/NixOS/nixpkgs/issues/13305
+
+# Notes pour l'upgrade de 16.03 vers 16.09
+
+* mettre le dépôt base sur la branche upgrade-16.09
+* changer le channel nixos : ```nix-channel --add https://nixos.org/channels/nixos-16.09 nixos```
+* activer x11 dans le configuration.nix
+
+~~~
+services.xserver.enable = true;
+~~~
+
+* remplacer le bootloader si gummiboot était utilisé
+
+~~~
+boot.loader.gummiboot.enable = true;
+~~~
+
+devient
+
+~~~
+boot.loader.systemd-boot.enable = true;
+~~~
+
+Pour résoudre les soucis d'upgrade, il est conseillé :
+* de désactiver tous les imports (sauf `hardware.nix`)
+* d'ajouter `.../localisation.nix` dans les imports sous peine d'être en clavier US
+* d'ajouter ```nixpkgs.config.allowUnfree = true;```
+* d'ajouter `vim` aux paquets
+* de réactiver petit à petit les lignes désactivées
+

config-generator.nix

@@ -41,7 +41,11 @@ in
         edition-musique = mkEnableOption "Profil pour la création/édition de musique.";
         edition-photo   = mkEnableOption "Profil pour la création/édition de photos.";
         edition-video   = mkEnableOption "Profil pour la création/édition de video.";
+        elasticsearch   = mkEnableOption "Profil pour activer le service elasticsearch.";
         fail2ban        = mkEnableOption "Profil pour activer Fail2ban.";
+        hydra-builder   = mkEnableOption "Profil pour une machine qui compile pour hydra.";
+        hydra-core      = mkEnableOption "Profil pour un serveur hydra.";
+        kibana          = mkEnableOption "Profil pour activer le service kibana.";
         jeux            = mkEnableOption "Profil pour les jeux vidéos.";
         laptop          = mkEnableOption "Profil pour les outils spécifiques aux ordinateurs portables..";
         locate          = mkEnableOption "Profil pour activer la fonction locate.";
@@ -53,10 +57,28 @@ in
         online-ipv6     = mkEnableOption "Profil pour activer l'IPv6 de online.net";
         print           = mkEnableOption "Profil pour activer cups & pouvoir imprimer.";
         rabbitmq        = mkEnableOption "Profil pour activer le service de messagerie AMQP.";
+        radicale        = mkEnableOption "Profil pour activer le service d'hébergement de calendrier + tâches & contacts.";
+        scanner         = mkEnableOption "Profil pour que les scanners soient utilisable.";
         swap            = mkEnableOption "Profil pour que le swap soit activé.";
         virtualbox      = mkEnableOption "Profil pour l'utilisation de VirtualBox.";
         xmonad          = mkEnableOption "Profil pour activer le gestionnaire de fenêtres xmonad.";
         znc             = mkEnableOption "Profil pour activer le relais IRC ZNC.";
+
+        tincAddress     = mkOption {
+          default = "";
+          example = "192.168.1.1";
+          description = "Adresse du noeud tinc local";
+          type = lib.types.string;
+        };
+        tincExtraConfig = mkOption {
+          default = "";
+          example = ''
+            Mode = router
+            ConnecTo = bar
+          '';
+          description = "Configuration supplémentaire pour tinc";
+          type = lib.types.string;
+        };
       };
       #* Utilisé pour avoir des raccourcis de machine
       r6d.computers = {
@@ -101,6 +123,7 @@ in
       r6d.config-generator = {
         awesome = true;
         nix-serve-client = true;
+        scanner = true;
       };
     })
     (mkIf pfl.isHome {
@@ -171,6 +194,11 @@ in
 
       r6d.config-generator = {
         docker = true;
+        radicale = true;
+        tincAddress = "192.168.12.6/24";
+        tincExtraConfig = ''
+          ConnectTo = rollo_dubronetwork_fr
+          '';
       };
     })
     (mkIf comp.isRadx {
@@ -181,7 +209,18 @@ in
       };
 
       r6d.config-generator = {
+        elasticsearch = true;
+        hydra-builder = true;
+        hydra-core = true;
+        kibana = true;
         print = true;
+        rabbitmq = true;
+        tincAddress = "192.168.12.3/24";
+        tincExtraConfig = ''
+          ConnectTo = monstre_dubronetwork_fr
+          ConnectTo = rollo_dubronetwork_fr
+          ConnectTo = ocean_prunetwork_fr
+          '';
         virtualbox = true;
       };
     })
@@ -201,6 +240,12 @@ in
 
       r6d.config-generator = {
         laptop = true;
+        tincAddress = "192.168.12.2/24";
+        tincExtraConfig = ''
+          ConnectTo = monstre_dubronetwork_fr
+          ConnectTo = rollo_dubronetwork_fr
+          ConnectTo = ocean_prunetwork_fr
+          '';
       };
     })
     (mkIf comp.isMonstre {
@@ -213,6 +258,11 @@ in
         fail2ban = true;
         nix-serve-client = true;
         nixStoreProxyCache = true;
+        tincAddress = "192.168.12.4/24";
+        tincExtraConfig = ''
+          ConnectTo = rollo_dubronetwork_fr
+          ConnectTo = ocean_prunetwork_fr
+          '';
       };
     })
     (mkIf comp.isNeoNomade{
@@ -252,6 +302,13 @@ in
 
       r6d.config-generator = {
         nix-serve-server = true;
+        edition-photo = true;
+        tincAddress = "192.168.12.1/24";
+        tincExtraConfig = ''
+          ConnectTo = monstre_dubronetwork_fr
+          ConnectTo = rollo_dubronetwork_fr
+          ConnectTo = ocean_prunetwork_fr
+          '';
       };
     })
     (mkIf comp.isRollo {
@@ -266,6 +323,10 @@ in
         mailboxes = true;
         murmur = true;
         online-ipv6 = true;
+        tincAddress = "192.168.12.5/24";
+        tincExtraConfig = ''
+          ConnectTo = ocean_prunetwork_fr
+          '';
         znc = true;
       };
     })

desktop/desktop.nix

@@ -1,10 +1,10 @@
-{ config, pkgs, ... }:
+{ config, lib, pkgs, ... }:
 
 let
   cfg = config.r6d.config-generator;
   computers = config.r6d.computers;
   profiles = config.r6d.profiles;
-  mkIf = pkgs.lib.mkIf;
+  mkIf = lib.mkIf;
 in
 
 {

public/app-bureautique.nix

@@ -21,6 +21,7 @@ mkIf profiles.isDesktop {
 
     ## Editeur de texte
     lyx           # surcouche WISIWIM à LaTeX
+    focuswriter # outil pour l'écriture
     textadept     # un éditeur de texte facile pour copier-coller graphique
     zim           # outil de prise de notes, wiki de bureau
 
@@ -37,7 +38,7 @@ mkIf profiles.isDesktop {
     jekyll        # générateur statique de site web
     odpdown       # conversion md -> presentation ODP : https://github.com/thorstenb/odpdown
     pandoc
-    texLiveFull   # distribution LaTeX
+    texlive.combined.scheme-full # distribution LaTeX
     #texLive       # distribution LaTeX de base
     #texLiveBeamer # paquets et extensions pour Beamer
     #texLiveModerncv # paquets pour la classe Modern CV

public/app-client-internet.nix

@@ -25,7 +25,7 @@ environment.systemPackages = with pkgs; [
     ## Mail & Discussion (texte, audio)
     clawsMail
     hexchat
-    kde5.quasselClient
+    quasselClient
     mumble
     mutt
     pidgin

public/app-developpement.nix

@@ -19,6 +19,7 @@ mkIf cfg.developpement {
     cloc
     idea.idea-community # IntelliJ IDEA
     gcc                 # pour les appels depuis les scripts
+    maven
 
     # Documentation
     zeal                # consulter la documentation hors ligne
@@ -38,7 +39,7 @@ mkIf cfg.developpement {
 
     ## Rust
     cargo               # récupération des dépendances + compilation projet rust
-    rustPlatform.rustc  # pour les appels depuis les scripts
+    rustc               # pour les appels depuis les scripts
 
     ## Visualisation & outils de diff
     gource              # visualisation en mouvement de l'historique git

public/app-network.nix

@@ -7,7 +7,8 @@ let
   profiles = config.r6d.profiles;
 in
 
-mkIf profiles.isDesktop {
+mkIf true {
+#mkIf profiles.isDesktop {
 
   # Paquets
   environment.systemPackages = with pkgs; [
@@ -19,7 +20,7 @@ mkIf profiles.isDesktop {
 
     ## Diagnostic
     arp-scan
-    wireshark
+    #wireshark
     whois
   ];
 

public/environment.nix

@@ -12,7 +12,7 @@ in
   nix.buildCores = 0;
 
   # The NixOS release to be compatible with for stateful data such as databases.
-  system.stateVersion = "16.03";
+  system.stateVersion = "16.09";
 
   #  copies the NixOS configuration file (usually /etc/nixos/configuration.nix) and links it from the resulting system (getting to /run/current-system/configuration.nix)
   system.copySystemConfiguration = true;
@@ -20,6 +20,12 @@ in
   # On autorise les paquets non-libres
   nixpkgs.config.allowUnfree = true;
 
+  # Lancement de dbus pour les utilisateurs
+  services.dbus.socketActivated = true;
+
+  # NixOS Hardening
+  #security.grsecurity.enable = true;
+
   # Paquets
   environment = {
     systemPackages = with pkgs; [
@@ -31,6 +37,7 @@ in
       gnupg         # GPG
       gpm           # prise en charge de la souris en console
       htop          # monitoring
+      lsb-release   # pour les scripts qui utilisent cet outil
       #libressl      # librairie pour faire du TLS et les algorithmes de crypto par OpenBSD
       ncdu          # outil pour voir l'espace utilisé
       nmap          # outil de scan de port réseau
@@ -39,6 +46,8 @@ in
       p7zip         # compression de fichier
       parted        # partitionnement de disque
       pciutils
+      pinentry      # pour taper les mots de passe gpg
+      psmisc        # fournis les utilitaires comme killall, fuser, pstree
       python        # python -- python -m SimpleHTTPServer 8000
       python34Packages.glances # monitoring
       pwgen         # générateur de mot de passe
@@ -52,6 +61,7 @@ in
     ];
     shellAliases = {
       byobu = "byobu-tmux";
+      gpg = "gpg2";
       jacques-a-dit = "sudo";
       tree = "tree -C";
       tree1 = "tree -d -L 1";

public/hardware-scanner.nix

@@ -0,0 +1,27 @@
+{ config, lib, pkgs, ... }:
+
+let
+  inherit (lib) mkIf mkMerge mkThenElse;
+  cfg = config.r6d.config-generator;
+  computers = config.r6d.computers;
+  profiles = config.r6d.profiles;
+in
+
+mkIf cfg.scanner {
+
+  # Paquets
+  environment.systemPackages = with pkgs; [
+    simple-scan
+  ];
+
+  # Services
+  hardware.sane.enable = true;
+
+  # Réseau
+  networking.firewall = {
+    allowedTCPPorts = [
+    ];
+    allowedUDPPorts = [
+    ];
+  };
+}

public/laptop.nix

@@ -21,6 +21,7 @@ mkIf cfg.laptop {
 
   # Paquets
   environment.systemPackages = with pkgs; [
-    networkmanagerapplet
+    networkmanagerapplet    # gestionnaire réseau graphique + console (nm-applet + nmtui)
+    wirelesstools           # fournis iwconfig
   ];
 }

public/network-ipv6.nix

@@ -22,5 +22,8 @@ mkIf true {
     "net.ipv6.conf.default.temp_prefered_lft" = 3600; # 1 heure
     "net.ipv6.conf.default.temp_valid_lft" = 3600; # 1 heure
     "net.ipv6.conf.default.use_tempaddr" = 2; # activé
-    };
+
+    "net.ipv6.conf.all.forwarding" = true;
+    "net.ipv6.conf.default.forwarding" = true;
+  };
 }

public/network.nix

@@ -0,0 +1,23 @@
+{ config, lib, pkgs, ... }:
+
+let
+  inherit (lib) mkIf mkMerge mkThenElse;
+  cfg = config.r6d.config-generator;
+  computers = config.r6d.computers;
+  profiles = config.r6d.profiles;
+in
+
+mkIf true {
+
+  # fix: Hostname -s renvoie "Unknown host" alors que hostname renvoie la bonne valeur
+  #      Il s'avère que hostname vérifie la validité du FQDN et du reverse.
+  #      Fixer ces paramètres dans les hosts permet de faire tomber en marche
+  networking.extraHosts = ''                                                                                                                                                                                                                                                 
+    127.0.0.1   ${config.networking.hostName}                                                                                                                                                                                                                             
+  '';
+
+  boot.kernel.sysctl = {
+    "net.ipv4.conf.all.forwarding" = true;
+    "net.ipv4.conf.default.forwarding" = true;
+  };
+}

public/public.nix

@@ -12,11 +12,13 @@ in
     # installées systématiquement
     ./environment.nix
     ./localisation.nix
+    ./network.nix
     #./network-ipv6.nix
     ./sudo.nix
     ./service-haveged.nix
     ./service-monitoring.nix
     ./service-ssh.nix
+    ./udev.nix
 
     # commandées par config-generator
     ## option de configuration spécifique
@@ -33,6 +35,10 @@ in
     ./auto-upgrade.nix          # mise à jour automatique du système
     ./laptop.nix                # appli & configuration adaptée pour un PC portable
     ./print.nix                 # configuration de base de cups
+    ./service-elasticsearch.nix # service de stockage et recher de données
+    ./service-hydra-build.nix   # service de construction de paquet. -> la machine compile des paquets
+    ./service-hydra-core.nix    # service pour l'instance d'hydra
+    ./service-kibana.nix        # service de visualisation de données stockées dans elasticsearch
     ./service-laptop.nix        # services spécifiques aux pc portables
     ./service-locate.nix        # service locate
     ./swap.nix                  # définition de l'utilisation du swap
@@ -44,6 +50,7 @@ in
     ./app-multimedia.nix        # pour gérer le son, l'image et la vidéo
     ./app-network.nix           # de gestion, de diagnostique & surveillance réseau
     ./app-securite.nix          # relatives à la sécurité (chiffrement, gpg, mots de passe, ...)
+    ./hardware-scanner.nix      # utilisation d'un scanner
     ./service-pulseaudio.nix    # activation du serveur audio
     ./service-x11.nix           # activation du serveur graphique X
   ];

public/service-elasticsearch.nix

@@ -0,0 +1,34 @@
+{ config, lib, pkgs, ... }:
+
+let
+  inherit (lib) mkIf mkMerge mkThenElse;
+  cfg = config.r6d.config-generator;
+  computers = config.r6d.computers;
+  profiles = config.r6d.profiles;
+in
+
+mkIf cfg.elasticsearch {
+
+  # Paquets
+  environment.systemPackages = with pkgs; [
+  ];
+
+  # Services
+
+  ## E : http://localhost:9200/_cat/indices?v
+  services.elasticsearch = {
+    enable = true;
+    port = 9200;
+    listenAddress = "127.0.0.1";
+    #listenAddress = "_site_";
+  };
+
+  # Réseau
+  # -> Aucun port n'est ouvert caril est recommandé de mettre un proxy HTTP devant
+  networking.firewall = {
+    allowedTCPPorts = [
+    ];
+    allowedUDPPorts = [
+    ];
+  };
+}

public/service-hydra-build.nix

@@ -0,0 +1,45 @@
+{ config, lib, pkgs, ... }:
+
+let
+  inherit (lib) mkIf mkMerge mkThenElse;
+  cfg = config.r6d.config-generator;
+  computers = config.r6d.computers;
+  profiles = config.r6d.profiles;
+in
+
+mkIf cfg.hydra-builder {
+
+  # Paquets
+  environment.systemPackages = with pkgs; [
+    qemu
+    kvm
+  ];
+
+  # Services
+
+  ## Services de virtualisation utilisé pour les tests hydra
+  virtualisation.docker.enable = true;
+  virtualisation.libvirtd.enable = true;
+  virtualisation.libvirtd.enableKVM = true;
+  #virtualisation.virtualbox.guest.enable = true;
+  virtualisation.virtualbox.host.enable = true;
+  virtualisation.virtualbox.host.headless = true;
+
+  ## Ménage automatique tous les jours
+  nix.gc.automatic = true;
+
+  users.users."hydrabld" = {
+    description = "Execution des jobs hydra";
+    group = "nixbld";
+    extraGroups = [
+      "docker"
+      "nixbld"
+      "vboxusers"
+    ];
+    isNormalUser = true;  # devrait être à false: TODO débugger la conf ssh & users pour que ça marche en user système
+
+    openssh.authorizedKeys.keys = [
+      "ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIGYpjcWJCf8dXpv2LmoIaNVbwZXEC50QUU6Az+lqeD89 hydra radx"
+    ];
+  };
+}

public/service-hydra-core.nix

@@ -0,0 +1,71 @@
+{ config, lib, pkgs, ... }:
+
+let
+  inherit (lib) mkIf mkMerge mkThenElse;
+  cfg = config.r6d.config-generator;
+  computers = config.r6d.computers;
+  profiles = config.r6d.profiles;
+in
+
+mkIf cfg.hydra-core {
+
+  # Paquets
+  environment.systemPackages = with pkgs; [
+  ];
+
+  # Documentation HYDRA
+
+  ## Installation
+
+  # 1. créer clef SSH :
+  #	ssh-keygen -C "hydra@pedro.dubronetwork.fr" -N "" -f /etc/nixos/id_buildfarm
+  # 2. récupérer la clef publique du serveur ssh + l'ajouter dans les `knownHosts` :
+  #	ssh-keyscan localhost
+  # 3. créer un utilisateur pour gérer hydra
+  #	su - hydra
+  #	hydra-create-user jpierre03 --password xxx --role 'admin'
+  # 4. relancer hydra
+  # 5. ajouter un vhost à nginx
+  # 6. relancer nginx
+  # 7. le service accessible à hydra.<nom de machine>
+
+  ## Tutoriel
+  # * https://github.com/peti/hydra-tutorial
+
+  # Services
+
+  ## Hydra
+
+  services.hydra = {
+    enable = true;
+    hydraURL = "http://hydra.${config.networking.hostName}";
+    notificationSender = "hydra@${config.networking.hostName}";
+    listenHost = "localhost";
+    minimumDiskFree = 50; # Go
+    smtpHost = "localhost";
+  };
+
+  ## Ménage
+  #nix.gc.automatic = true;
+
+  ## Délégation des actions de compilation à la ferme de compilation
+
+  ### Machines connues
+
+  programs.ssh.knownHosts = {
+    "monstre.dubronetwork.fr".publicKey = "ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIBTTrLhq1Cwm0rpnwEIxSLqVrJWZnt+/9dt+SKd8NiIc";
+    "pedro.dubronetwork.fr".publicKey   = "ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIM7fjo2ysLqlfSo6BKnc6I6m1ayoPrbwEEyTKZmUzsOD";
+    "ocean.prunetwork.fr".publicKey     = "ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAINCaRuTl8iCTUE4XInOpkSlwQj5Re4w4Iq+gNIlJe8pA";
+    "radx.prunetwork.fr".publicKey      = "ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIGyoXdTEnxSgZTMfRfVH+bpOGZJtJpydAijcRGsZik7U";
+    "rollo.dubronetwork.fr".publicKey   = "ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAID4lWgS/sVdcZvnAAN+lBSOcCL9ISdAUsjp1kh9lalNu";
+  };
+
+  ### La liste des machines utilisées
+  nix = {
+    distributedBuilds = false;
+    buildMachines = [
+    #      { hostName = "pedro.dubronetwork.fr"; maxJobs = 5; speedFactor = 10; sshKey = "/etc/nixos/id_buildfarm"; sshUser = "root"; system = "x86_64-linux"; }
+    ];
+    extraOptions = "auto-optimise-store = true";
+  };
+}

public/service-kibana.nix

@@ -0,0 +1,33 @@
+{ config, lib, pkgs, ... }:
+
+let
+  inherit (lib) mkIf mkMerge mkThenElse;
+  cfg = config.r6d.config-generator;
+  computers = config.r6d.computers;
+  profiles = config.r6d.profiles;
+in
+
+mkIf cfg.kibana {
+
+  # Paquets
+  environment.systemPackages = with pkgs; [
+  ];
+
+  # Services
+
+  # K : http://localhost:8000
+  services.kibana = {
+    enable = true;
+    elasticsearch.url = "http://127.0.0.1:9200";
+    port = 8000;
+  };
+
+  # Réseau
+  # -> Aucun port n'est ouvert caril est recommandé de mettre un proxy HTTP devant
+  networking.firewall = {
+    allowedTCPPorts = [
+    ];
+    allowedUDPPorts = [
+    ];
+  };
+}

public/service-x11.nix

@@ -12,13 +12,11 @@ mkIf profiles.isDesktop {
   # Services
   # Enable the X11 windowing system.
   services.xserver = {
-    enable = true;
+    #enable = true;
     layout = "fr";
     xkbOptions = "eurosign:e";
     displayManager.lightdm.enable = true;
     windowManager.awesome.enable = true;
-    startGnuPGAgent = true;
-    startOpenSSHAgent = false; # pas compatible avec l'agent GnuPG
     inputClassSections = [''
     Identifier  "Marble Mouse"
     MatchProduct "Logitech USB Trackball"

public/udev.nix

@@ -0,0 +1,18 @@
+{ config, lib, pkgs, ... }:
+
+let
+  inherit (lib) mkIf mkMerge mkThenElse;
+  cfg = config.r6d.config-generator;
+  computers = config.r6d.computers;
+  profiles = config.r6d.profiles;
+in
+
+{
+  # Définition du IO Scheduler pour les SSD
+  services.udev.extraRules = ''
+  # set deadline scheduler for non-rotating disks
+  # according to https://wiki.debian.org/SSDOptimization, deadline is preferred over noop
+  ACTION=="add|change", KERNEL=="sd[a-z]", ATTR{queue/rotational}=="0", ATTR{queue/scheduler}="deadline"
+  '';
+
+}