Graphite
Graphite est un outil de graphique, comme son nom le laisse supposer. C'est un projet Python composé de trois parties.
Whisper, une base en roundrobin, qui permet d'envoyer des éléments antidatés, à la différence des RRDTools, facilitant ainsi la création de moulinette lisant des logs.
Carbon, un frontend serveur, qui s'occupe de gérer les accés concurrents, ou de faire relais/routeur. Trois protocoles sont proposés, un format texte avec un retour à la ligne, un autre avec la serialisation pcickle, spécifique à Python, et un AMQP, pour faire pro.
Graphite, le frontend web, une application Django, avec un moteur de graphique basé sur Cairo, rapide, mais un peu pénible comme dépendance. Il est possible de bypasser le frontend et d'utiliser le quasi DSL mis à disposition qui créer ses propres graphiques.
Techniquement, c'est une application python traditionnaliste, peu documenté, avec du Twisted et d'autres dépendances plus ou moins folklorique. La documentation caché propose enfin de faire des installations autrement que tout en dur, obligeant de dédier une VM rien que pour ça. Debian refuse de packager l'ensemble, et seul whisper est disponible. Ce n'est pas de la mauvaise volonté, mais l'application est pas conçu de manière orthodhoxe.
Installation
Le plus sage est de passer par un virtualenv et de conserver la préconisation de tout mettre le bazar dans /opt/graphite. Comme il faut freezer certains paquets, il est plus sage d'éviter les paquets systèmes.
Debian:
apt-get install python-virtualenv gcc python-dev Tous:
mkdir -p /opt/graphite virtualenv --no-site-packages /opt/graphite source /opt/graphite/bin/activate pip install whisper pip install carbon pip install graphite-web Il faut ensuite créer des fichiers de conf. Le dossier /opt/graphite/conf/ est bien pourvu en exemple. Puis lancer le service carbon. Il faut lire les fichiers de conf largement commentés, pour éviter d'avoir ensuite des surprises, comme le temps de retention qui est super court, par défaut.
cd /opt/graphite/conf/ cp carbon.conf.example carbon.conf cp storage-schemas.conf.example storage-schemas.conf Debian :
adduser --disabled-password --quiet --system --home /opt/graphite graphite chown -R graphite /opt/graphite Il faut préciser l'utilisateur dans /opt/graphite/conf/carbon.conf ligne 36
USER = graphite Il faut emballer le script de boot fourni pour gérer le virtualenv : /etc/init.d/carbon
#!/bin/sh ### BEGIN INIT INFO # Provides: carbon # Required-Start: $remote_fs $syslog # Required-Stop: $remote_fs $syslog # Default-Start: 2 3 4 5 # Default-Stop: 0 1 6 # Short-Description: Carbon # Description: Carbon interface for Whisper storage. ### END INIT INFO # Author: Mathieu Lecarme <mlecarme@bearstech.com> /opt/graphite/bin/carbon-cache.py $1 Puis l'installer
chmod +x /etc/init.d/carbon update-rc.d carbon defaults et le lancer
/etc/init.d/carbon start OSX:
/opt/graphite/bin/carbon-cache.py start Normalement, à ce moment, on peut lui causer avec netcat.
echo "local.random.diceroll 4 `date +%s`" | nc localhost 2003 Maintenant, c'est le tour de l'application web, ce qui nécessite un peu plus de sport.
pip install django pip install django-tagging cd /opt/graphite/webapp/graphite cp local_settings.py.example local_settings.py Il faut éditer le fichier de conf pour paramétrer la base de donnée. Un bon sqlite devrait suffire pour commencer, ligne 141 à 150.
python manage.py syncdb Les utilisateurs logués pourront faire plus d'actions sur le site, comme enregistrer des vues (un ensemble de graphiques).
Tout marche sauf l'affichage des graphiques. pycairo snobe pip, et de toutes façons, il a des dépendances, il est plus simple de passer par son gestionnaire de package.
Pour OSX:
brew install py2cairo ln -s /usr/local/Cellar/py2cairo/1.10.0/lib/python2.7/site-packages/cairo /opt/graphite/lib/python2.7/site-packages Pour Debian:
apt-get install python-cairo ln -s /usr/lib/pymodules/python2.6/cairo /opt/graphite/lib/python2.6/site-packages Il faut ensuite lancer le site web (sur le port 8000, par défaut).
Pour OSX:
python manage.py runserver Pour Debian:
pip install gunicorn Un petit script de boot :
#!/bin/sh ### BEGIN INIT INFO # Provides: graphite # Required-Start: $remote_fs $syslog # Required-Stop: $remote_fs $syslog # Default-Start: 2 3 4 5 # Default-Stop: 0 1 6 # Short-Description: Graphite # Description: Graphite web frontend. ### END INIT INFO # Author: Mathieu Lecarme <mlecarme@bearstech.com> PIDFILE=/opt/graphite/storage/graphite.pid DAEMON=/opt/graphite/bin/gunicorn_django HOST=0.0.0.0 PORT=8000 USER=graphite HOME=/opt/graphite/webapp/graphite WORKERS=4 case "$1" in start) cd $HOME && $DAEMON --pid $PIDFILE -b $HOST:$PORT --daemon --user $USER --workers $WORKERS ;; stop) kill -9 `cat $PID` ;; *) echo "Usage: graphite {start|stop}" >&2 exit 3 ;; esac Il faut ensuite l'installer
chmod +x /etc/init.d/graphite update-rc.d graphite defaults /etc/init.d/graphite start Pour être complet, il faut un démon statsd, qui va de manière non intrusive gérer des flots de compteurs, en UDP.
Pour Debian:
apt-get install libevent-1.4-2 libevent-dev Pour OSX:
brew install libevent Il existe une version packagé dans Debian, mais sans script de boot, je viens de proposer un patch pour ça.
pip install -e git+https://github.com/bearstech/gstatsd.git#egg=gstatsd pip install gevent Debian :
Un script de boot est proposé, mais il faut changer le chemin du daemon : /opt/graphite/bin/gstatsd
wget https://raw.github.com/bearstech/gstatsd/master/init.d/gstatsd mv gstatsd /etc/init.d chmod +x /etc/init.d/gstatsd update-rc.d gstatsd defaults /etc/init.d/gstatsd start Il est maintenant possible d'utiliser un des multiples clients statsd pour commencer à publier des statistiques.
Attention, ce produit est conçu pour être utilisé sur un LAN, Carbon ne gère des mots de passe qu'avec son interface AMQP, et Statsd n'en a pas. Graphite fait de trés beau graphique mais son interface est un peu rude, tôt ou tard, il faudra tater de son DSL et de ses règles de consolidation. Il faut jeter un oeil sur les frontaux alternatifs, qui ont souvent plus une approche plus tableau de bord.
