demande d'information sur taille .rrd

[pastaguas]

Bonjour ou rebonjour à tous. Après pas mal de temps et de test sur les possibilité de oreon, j'ai oublier l'envie d'utiliser perfparse et je me suis mis sur ODS. Une chose tout de même m'inkiète un peu...
Lorsque je regarde mes fichiers .rrd lors de leur création (sans souci) je remarquer que les fichier ont directement des taille variant de 10 à 13Mo !!!.
Ce qu'il faut savoir de plus c'est que caque fichier représente 1 unique courbe alors que les graphique comme un check -traffic en représente deux. Soit une courbe check traffic de plus de 20Mo.... Alors pour un controle d'environ 500 services pour la plupart de check traffic, je vais me retrouver avec une base rrd de 500*10Mo soit 5go .... et encore sur des service à 1 courbe ....
Es ce que j'ai fait un petite erreur de configuration ?
Es ce que ce fichier sont variable de taille dans le temps ?
Comment les purge ou les moyennage sont fait ?
Ou tous simplement ya des infos la dessus que je n'ai pas trouvé ?

[DonKiShoot]

Taille fixe dans le temps

[julio]

ca c'est a toi de le regler... dans les confs de ODS y a le nombre de jours de retention... y a juste a configurer ca. La taille de la base est configuré en fonction de ca.

Par contre si tes bases sont deja créées faudra les supprimer pour que la bonne taille soit prise en compte..

[pastaguas]

1)
ok c'est noté , pour le moment j'ai une rétention de 365j , pour un service par exemple qui chèque toute les minutes ==> 11/13Mo
Autre question : admettons que je mette en place une rétention de 1j sans suppression de donnée :

• sa va me creer un fichier XX.rrd pour 1 jour.
• le lendemain un autre XX_X.rrd .... etc ...

Mais alors mes fichiers seront petit mais je retomberai sur un dossier toujours aussi gros sachant que le but est d'avoir un appercu sur X années ???? Ou alors je ne comprend pas le terme rétention ce qui est fort possible

2)
Bon j'ai rencontrer un petit souci lorsque j'ai changer mon temps de check des plug les graphs ne se "graphais" plus .... Donc je suppose que cela va se regler en supprimant mes rrd comme pour les changement de conf de ods. (NB les graph reprenne de la gueulle en remettant le temps de chèck à celui d'origine).

3)
==> proposition : trouver une solution pour que l'on puisse changer les paramètres des services sans pour autant en perdre nos anciennes données ou faire toute une manipulation .... surtout pour un changement de check ...
NB : si je suis pas claire dsl mais je suis en train de peter une pile ... la taille de ces rrd m'inkiète bcp.

[pastaguas]

Alors voila pour certain qui se pose des questions ou qui prenne un peu peur tous comme moi, voyant que des fichier gérant les mrtg font moin de 1Mo par exemple et que ceux .rrd font 11Mo petit calculs simple :

prenons l'exemple d'un check_traffic, qui renvoi des valeurs sur environ 21octets.

Je suis partis dans une première configuation à check_traffic toute les minutes et à une rétention de 365 jours le calcul est le suivant :

21(octet)x1(check)x60(min)x24(heure)x365(jours)= fichier .rrd creer et non grandissant de 11037600 octets soit 11Mo. Ceci ,'est qu'un exemple ...

Vous pouvez donc modifier la taille de ces fichiers rrd en modifiant les paramètre suivant entrainant bien sur une perte de précision mais à quoi bon checker certains service toute les minutes ... surtout sur un traffic (ya que moi pour faire cela ...):wink:

[tbernard]

Auto-Suppression des bases RRD

La place prise est effectivement très importante.
Après une longue recherche sur le forum et le net je n'ai rien trouvé :
A quoi sert le champs "Auto-Suppression des bases RRD" dans la config d'ODS ? (Option/Options Générales/ODS)

[pastaguas]

Il faudrai tester je pense pour être sur mais je suppose que la suppression des bases rrd se fait à la fin de tes 365jours (suivant ta configuration). Maintenant reste à savoir si cette suppresion a pour principe de supprimer simplement un jour par un jour ou supprimer totalement ton fichier .rdd ???

Faudrai que je test cela sur une durée de rrd de 2 jours pour voir ce qu'il m'en sort.. A toi l'honneur tiens nous au courant

[tbernard]

J'ai fais le test sur 48h : les données à +48h sont au fur à mesure effacées (toutes les heures, c'est la dernière qui est supprimée). L'intervalle de 48h est donc toujours respecté.
La taille des fichiers restent fixe.

[clifden]

La taille des fichiers restent fixe.

C'est le principe des bases rrd: Round Robin Database. Les données sont cycliques et les plus anciennes sont supprimées pour être remplacés par les plus recentes. Un systeme de consolidation permet d'obtenir les informations week à partir de day, month à partir de week, year à partir de month.

[tbernard]

Complément

Lorsque l'on utilise les graphs par plugin (ou sonde graphique), il est possible d'afficher un graphe en fonction de la période (options avancées). Très utile pour faire du reporting au client sur un jour particulier.

En revanche en utilisant ODS&RRD (graphe simple), cette option n'est pas disponible. Ce qui signifie que l'on a des moyennes sur la semaine, les 15 derniers jours, le mois...mais pas pour un jour en particulier.

La question est : est-ce que cela vient de RRDTool justement qui fait des moyennes pour éviter de stocker toutes les données ? Est-ce possible de lui demander de garder toutes les informations ? Est-ce possible de les récupérer pour un jour particulier ?

EDIT : en fait, il est possible de choisir une période spécifique dans "Oreon Graphs" mais seulement à partir de la page "Graphs par Hosts" et non par "Graphs Simples"

[clifden]

La question est : est-ce que cela vient de RRDTool justement qui fait des moyennes pour éviter de stocker toutes les données ? Est-ce possible de lui demander de garder toutes les informations ? Est-ce possible de les récupérer pour un jour particulier ?

Tu peux avoir la precision que tu veux dans un fichier rrd, avec les consequences sur la taille du fichier...
Tu peux avoir autant de rra dans un fichier rrd, avec les presision que tu veux sur chaque et le type de calcul qui permet de sonsolider un rra vers un autre rra.
Exemple:
rra1 precision 1 minute sur 1 journée
rra2 precision 2 minutes sur la semaine
fonction permettant de passer de rra1 à rra2: MAX

Moi j'ai connu une boite qui avait des rrd precis à 30s sur 5 ans... Bon, faut quelques giga de place sur disque apres....

[tbernard]

Si la taille des Bases RRDTool est paramétrable dans l'interface (options générales/ODS/taille des Bases RRDTool), j'imagine que les autres paramètres de rrdtool ne le sont pas et qu'Oreon adopte des paramètres par défaut au niveau de la précision ? si on veut plus de précision, il faut faire les modif à la main ?

Valeur par défaut d'Oreon ?
rra[0].cf = "AVERAGE"
rra[0].rows = 8640
rra[0].pdp_per_row = 1
rra[0].xff = 5.0000000000e-01
rra[0].cdp_prep[0].value = NaN
rra[0].cdp_prep[0].unknown_datapoints = 0

[tbernard]

Bon, j'ai réussi à générer avec la commande rrdtool graph des graphiques très précis. Donc finalement, on peut stocker des valeurs pour des graphes vraiments précis, mais on ne peut les exploiter directement avec l'interface d'Oreon (pas de zoom par exemple...)

Sur le forum anglais, il parle de "bonsai zoom function". Je vais y jeter un coup d'oeil...

EDIT : ça marche ! Je ne comprenais pas pourquoi les fichiers rrd brut nous permettait pas défaut d'avoir une bonne précision pour les graphiques mais que cela n'était pas exploité par Oreon. Sur le forum anglais http://forum.oreon-project.org/showthread.php?t=3202
il y a la solution pour intégrer le zoom !!! C'est tout simplement....génial

[tbernard]

Il faudrai tester je pense pour être sur mais je suppose que la suppression des bases rrd se fait à la fin de tes 365jours (suivant ta configuration). Maintenant reste à savoir si cette suppresion a pour principe de supprimer simplement un jour par un jour ou supprimer totalement ton fichier .rdd ???

Je viens de faire un test en activant l'option "Auto-Suppression des bases RRD" dans Options/Options Générales/OreonDataStorage puis un test en la désactivant. En fait, cette option ne concerne pas les fichiers rrd du répertoire /usr/local/oreon/OreonDataStorage
Quoiqu'il arrive la durée graphée est strictement celle définie dans l'option "Taille des Bases RRDTool". En gros, les vues qui sont mise par défaut par mois ou par année non aucun intérêt si la durée des graphes est sur 7 jours par exemple.

J'imagine donc que cette option "Auto-Suppression des bases RRD" concerne les fichiers rrd du répertoire /usr/loac/oreon/rrd pour les check_graph_XXXX

Une confirmation ?

[mike57728]

salut à tous!!!

J'aurai une petite question sur RRDtool. Est il possible d'ouvrir les fichiers .rrd?
De plus, est ce que quelqu'un pourrai m'expliquer en détail le fonctionnement entre le fichier service perfdata ods et rrdtool?
Je n'arrive pas à comprendre comment cela fonctionn, surtout le lien entre ODS et rrdtool.