bug ODS

[[email protected]]

Bonjour, j'ai remarquer un bug dans mon ODS !
Lorqu'un host qui est grapher devient down alors tous les raphes ne se font plus...
c'est deja arriver a quelqu'un ?

[fgrosu]

C'est possible. Quelques serveurs se sont arrêtés aujourd'hui et à peu près à la même heure mes graphes ont disparus. Je n'aurais pas fait la liason sans ton post :idea: Mais le pire est que je n'arrive plus à redemarrer les graphes. Et toi?
Dans le log d'ods, j'ai environ 5000x (fois)

1183043877 - ERROR while updating /usr/local/oreon/rrd//50.rrd : illegal attempt to update using time 1183022808 when last update time is 1183022808 (minimum one second step)

Pour l'instant, je ne sais pas comment résoudre.

[fgrosu]

Cependant, certains fichiers rrd sont à jour, comme illustré ci-desous:

/usr/local/nagios# ll /usr/local/oreon/rrd/
total 155M
-rw-rw-r-- 1 nagios nagios 204K 2007-06-28 17:42 10_6.rrd
-rw-rw-r-- 1 nagios nagios 2,4M 2007-06-28 11:27 10.rrd
-rw-rw-r-- 1 nagios nagios 204K 2007-06-28 17:39 1_1.rrd
-rw-rw-r-- 1 nagios nagios 2,4M 2007-06-28 11:27 11.rrd
-rw-rw-r-- 1 nagios nagios 2,4M 2007-06-28 11:27 12.rrd
-rw-rw-r-- 1 nagios nagios 407K 2007-06-28 17:39 13_28.rrd
-rw-rw-r-- 1 nagios nagios 407K 2007-06-28 17:39 13_37.rrd
-rw-rw-r-- 1 nagios nagios 407K 2007-06-28 17:42 13_56.rrd
-rw-rw-r-- 1 nagios nagios 204K 2007-06-28 17:39 13_58.rrd
...

Je ne trouve pas d'autres erreurs. J'ai relancé nagios et ods, mais rien ne se passe. C'est quand-même embetant. :|

Mouai, je crois que ceux qui sont à jour, sont pour le reporting. J'ai modifié le chemin dans Options-->OreonDataStorage ce matin, d'ailleurs c'est comme ça que mes graphes ont (re)démarré. Je vais re-tester ça, pour voir. Si ça se trouve, il faut supprimer les anciens fichiers pour qu'ods recommence. Si tel est le cas, c pas trop cool.

[fgrosu]

Aujourd'hui je n'ai pas beaucoup de temps, donc je dois laisser l'histoire de bug pour un autre jour. Je veux juste compléter que les graphs par plugin continuent à se remplir comme il faut, c'est tout bon. Par contre, je ne suis pas parvenu à redémarrer les graphs Oreon. Je vais tester bientôt de supprimer les .rrd pour voir si c'est le seul moyen de remettre les graphes en marche.

[[email protected]]

moi c'est repartit ! mes graphes fonctionne niquel , jai redemarre ods et c'est bon mais je sais pas d'ou ca vien et cava surement recommencer

[fgrosu]

T'as de la chance, pour moi les graphes sont morts. Meme si je redémarre la machine, cela ne change rien. Bien au contraire, maintenant j'ai deux erreurs de plus. Les voici:

host05	check snmp_cpu			UNKNOWN	05/07/07 09:10:29	6d 12h 19m 35s	4	unable to update '/usr/local/oreon/rrd/1_1.rrd' : expected 2 data source readings (got 1) from 1183619429:0:...
host06	check nt_uptime			UNKNOWN	05/07/07 09:10:35	6d 12h 20m 34s	4	unable to update '/usr/local/oreon/rrd/1_1.rrd' : expected 2 data source readings (got 1) from 1183619435:4:...

Et on dit que ods est plus performant que perfparse! Il faudrait rajouter "... si on arrive à le faire marcher" :x

[Arkhan]

J'ai déjà eu un message similaire. C'est parce que j'avais eu la mauvaise idée de changer l'heure sur le serveur nagios (car elle n'était pas bonne).
Du coup, plein de messages de ce genre :
1183043877 - ERROR while updating /usr/local/oreon/rrd//50.rrd : illegal attempt to update using time 1183022808 when last update time is 1183022808 (minimum one second step)
Nagios n'aime pas quand on change l'heure..

[fgrosu]

Et comment tu t'en es sorti? Sauf la radicale "reinstallation" , j'aimerais continuer sans avoir à reinstaller. Par ailleurs, je ne me rappelle pas avoir changer l'heure et en plus, sur tous les checks, je n'ai que ces 2 erreurs de ce genre. Mais bon, le fond du problème me parait le même, donc j'aimerais avoir ta solution.

[DonKiShoot]

tu petes et tu recrées ces 2 services, c surement le plus rapide, non ?

[[email protected]]

j'ai remarqué un truc en fait !
lorsqu'un hote qui est graphé s'arete, ses graphes s'arrete, normal me direz vous, mais les graphes des autres hosts s'arrete aussi !!! et il redemarre quand le serveur down redemarre !!

voila le bug !

[[email protected]]

personne n'a ce probleme ???

[rom]

Hum a vrai dire non...
ODS parse le fichier perfdata, donc est complement dependant de ce que lui envoi Nagios, ton probleme arrive a priori du fait que ton Nagios arrete lui meme les checks.... pq ? a toi de voir.

Sinon les problemes d'update rrd sont surement du a des decalages dans le remplissage de la base physique :
- Nagios a un decalage dans ses checks. (Load de la machine trop haut ?)
- La "case" rrd est deja rempli. (Vous avez reduit l'interval de check et ODS veut remplir plus souvent que prevu la base rrd)(on va proposer bientot de recreer a la volee les bases rrd selon les datas contenues en base SQL)

ODS qui graphe pas est surement du a un plantage d'ODS, c'est un daemon, il en est a ses debuts, ca arrive... Si qq a le temps d'aller voir ce qui peut merder...
A titre d'information, ce n'est pas forcement grave dans la mesure ou sil il est coupé les perfdata ne sont plus historisées, mais toujours aggregées dans le fichier service-perfdata, donc des que vous redemarrez ODS, il va reprendre les calculs la ou il s'est arréte.
Donc verifiez que le process tourne, sinon /etc/init.d/start, et si vous avez un probleme avec le fichier pid, effacez le et relancez l'operation.
Je vous conseille donc de mettre dans votre monitoring un check de process sur ods.pl, comme ca vous serez vite fixé si ya un probleme... limite mettez derriere un event_handler.

[[email protected]]

ok, j'ai essayer de faire un process sur ods mais il me retourne une erreur;
j'ai fais :
$USER1$/check_graph_process.pl $HOSTADDRESS$ -v $ARG1$ -C $ARG2$ -p $ARG3$
en argument :
!1!public!ods
ou
!1!public!ods.pl

[ludo_x]

Quand mes graphiques se sont arrétés, j'ai fait cela :

	nano /root/correct_rrd.sh
	
#!/bin/sh
cd /usr/local/oreon/OreonDataStorage
for f in *.rrd; do rrdtool tune $f --heartbeat metric:600; done
exit 0

	chmod +x /root/correct_rrd.sh

Pour l’exécuter : ./root/correct_rrd.sh

Car par défaut, au bout de quelques services et de temps, les graphes ne graphent plus :/

[[email protected]]

on à pas la même erreur, moi il graphe bien , tant qu'aucun host n'est down.