Validite des donnees enregistrees dans un nouveau systeme de surveillance de la mortalite quotidienne a Montreal (Canada).

Tessier, Francois ; Plante, Celine ; Kosatsky, Tom 等

Depuis quelques annees, la disponibilite croissante des donnees electroniques de sante, la menace du terrorisme, les canicules et la grande mediatisation des epidemies recentes ou annoncees (par exemple la grippe aviaire), ont fait en sorte que les systemes de surveillance pouvant detecter rapidement un evenement sanitaire inhabituel ont ete ameliores ou crees (1,2). Plusieurs systemes de surveillance recueillent quotidiennement des donnees de mortalite et de morbidite dans des villes et agglomerations urbaines, par exemple : detection quotidienne des flambees de maladies infectieuses et de mortalite pour la grande region de Washington DC a partir des installations militaires de sante (military treatment facilities) et detection quotidienne a partir des urgences pour la ville de New-York (3-5).

Pour etre efficaces, ces systemes dependent de plusieurs criteres, dont les principaux sont : saisie et traitement en temps voulu des donnees recueillies, collecte efficace des evenements surveilles, representativite des evenements enregistres par rapport a la totalite des evenements et methodes de detection appliquees a la surveillance afin de distinguer les evenements sanitaires inhabituels de ceux attendus (6-8).

Depuis 2004, a Montreal, la Direction de sante publique (DSP) de meme que l'Agence de la sante et des services sociaux de Montreal (ASSSM) assurent une vigie sanitaire consistant a surveiller continuellement plusieurs fichiers comptabilisant differents evenements de sante : les inscriptions a l'urgence, les hospitalisations, les transports ambulanciers, les deces, ainsi que les donnees des appels a Info-Sante (service telephonique 24/24hrs, conseils de sante de premiere ligne). La possibilite de connaitre rapidement ces evenements de sante (1 a 2 jours suivant leur avenement) a permis de developper de nouvelles approches et de nouveaux outils pour la detection et la caracterisation des menaces emergentes pour la sante de la population. En lien avec le Plan de prevention et de protection en cas de chaleur accablante et de chaleur extreme (9), plan visant a informer et a mobiliser la population de facon a reduire au minimum la mortalite et la morbidite evitables en cas de chaleur accablante ou de chaleur extreme, la DSP peut-elle se fier au nombre de deces par jour enregistre dans les fichiers pour declencher ses differentes actions de protection?

Pour repondre a cette question, nous evaluons le degre de concordance entre le nombre de deces par jour transmis pratiquement en temps reel, enregistre dans les fichiers de donnees utilises par le Bureau de surveillance epidemiologique (BSE) de la DSP pour effectuer la surveillance, et le nombre de deces par jour enregistre dans le fichier officiel des deces du ministere de la Sante et des Services Sociaux (MSSS).

METHODES

Fichier VIGIE

Les informations presentes dans le systeme de surveillance (fichier VIGIE) proviennent du BSE de la DSP et concernent des personnes de tous ages et de toutes provenances mortes sur le territoire de l'ile de Montreal en 2004. Ces informations sont issues de trois fichiers de donnees independantes :

1) SITURG+ (Systeme d'informations sur les urgences) : Chacun des 22 centres hospitaliers avec urgence (CH) saisit manuellement les informations concernant des personnes decedees dans leur etablissement et les transmet au systeme SITURG+.

2) INFO-PRESENCE : INFO-PRESENCE est un systeme d'informations utilise par le service regional d'admission permettant la gestion des entrees et des sorties en centres hospitaliers de soins de longue duree (CHSLD). Les informations sur les deces sont transmises quotidiennement a INFO-PRESENCE par telecopieur. Par contre, les deces survenant le vendredi, le samedi et le dimanche ne sont transmis que le lundi suivant. Toutefois, nous avons utilise un fichier ajuste et les deces survenus durant la fin de semaine sont enregistres a la bonne journee.

3) URGENCES-SANTE : Urgences-Sante (US), unique corporation mandatee a Montreal pour effectuer des transports ambulanciers, saisit et traite des informations concernant la gestion des services de transports ambulanciers. Nous avons employe les informations portant sur la date des deces constates par des medecins affectes a ce service dans la << communaute >>, c'est-adire a l'exterieur d'un etablissement de soins de sante.

Fichier Officiel (fichier officiel des deces du MSSS)

Ces donnees de deces sont tirees du bilan demographique effectue par l'Institut de la statistique du Quebec (ISQ) en collaboration avec le MSSS. Dans le fichier des deces du MSSS, la variable utilisee afin de determiner le lieu ou le constat de deces est effectue s'intitule << code d'etablissement >>. Bien que la plupart des etudes demographiques portant sur la mortalite abordent principalement le lieu de residence du decede, nous nous sommes interesses plutot aux 17 109 Quebecois de tous ages decedes sur l'ile de Montreal en 2004. Pour en arriver a ces resultats, plusieurs operations de verification, de correction et d'epuration sont effectuees par le MSSS et l'ISQ (10). Dans le cadre de cette etude, le fichier officiel des deces du MSSS est considere comme etant la reference ou << Gold Standard >>.

Finalement, pour cette premiere annee d'operation, plusieurs dates etaient manquantes selon le lieu de deces dans le fichier VIGIE (CH : aucune donnee avant le [1.sup.er] juin 2004 et US : aucune donnee entre le 7 septembre et le 19 novembre 2004). Pour cette raison, l'analyse a ete effectuee en utilisant les donnees de deces uniquement lorsque les dates etaient presentes simultanement pour tous les lieux de deces (140 dates) : 5 743 deces pour le fichier VIGIE et 5 983 deces pour le fichier Officiel.

Analyse des donnees

Bien que le BSE de la DSP verifie quotidiennement et valide au besoin les donnees, il semble que des donnees aberrantes (probablement des erreurs de saisie) n'aient pas ete corrigees dans le fichier VIGIE par la suite. Considerant que quotidiennement, par rapport au fichier Officiel, il n'y a que trois deces de moins en moyenne dans le fichier VIGIE, toutes donnees depassant par plus de 3 ecartstype (CH : 16,8; CHSLD : 9,9; US : 7,8) la valeur du fichier Officiel ont ete considerees comme etant des erreurs de saisie et n'ont pas ete utilisees dans les analyses subsequentes. En tout, six donnees concernant des deces survenus dans quatre CH ont depasse le seuil de rejet : +17 deces, +26, +19, +26, +46 et +124. Sans ces six jours, le total des deces pour la periode consideree est de 5 733 deces pour le fichier Officiel et de 5 254 deces pour le fichier VIGIE.

Le coefficient de correlation de Pearson * et l'erreur quadratique moyenne (EQM, root mean square error) ont ete calcules pour quantifier la relation entre le nombre de deces par jour des fichiers VIGIE et Officiel (11). L'EQM, soit la racine de la moyenne des ecarts au carre, est une estimation de l'importance de l'ecart d'une estimation par rapport a une autre. Des statistiques descriptives (moyennes, ecartstype et coefficients de variation) ont ete calculees afin de comparer les distributions et la variabilite du nombre de deces par jour enregistre dans les deux fichiers.

[FIGURE 1 OMITTED]

Des analyses de variance (ANOVA) sur les ecarts en valeur absolue entre |VIGIE-Officiel| ont permis de tester l'influence des trois lieux de deces sur les differences observees, de meme que l'influence de la fin de semaine pour les CHSLD (vendredi-samedi-dimanche versus les autres jours) (11).

Finalement, afin de repondre directement a notre question de recherche, un exercice consistant a identifier des journees presentant des exces de deces a ete effectue pour chaque lieu de deces pour la periode estivale ([1.sup.er] juin au 6 septembre 2004). Nous avons fait le test en appliquant un seuil de 20 % de plus que la moyenne de deces par jour, ce qui est beaucoup plus bas que le niveau d'exces de mortalite suggere par l'Institut francais de veille sanitaire (50 %) pour une ville de la taille de Montreal (8). Le choix de ce seuil relativement bas s'est appuye sur le fait que la variabilite du nombre de deces par jour durant l'ete 2004 a ete relativement faible, probablement a cause de l'absence de jours tres chauds et des pics de mortalite qui y sont associes (12).

RESULTATS

L'illustration du nombre de deces par jour des donnees des fichiers VIGIE et Officiel en fonction du temps montre que dans l'en] semble, les deux mesures sont bien associees (Figure 1). On remarque aussi un sous-compte presque systematique des nombres de VIGIE (le systeme recueille environ 80 % des deces, Figure 1). Les ecarts moyens sont de -1,0, -1,7 et -0,82 pour les CH, les CHSLD et US respectivement. Dans plus de 73 % des jours (CH : 73,2 % ; CHSLD : 79 % ; US : 83,5 %), la difference du nombre de deces par jour entre les deux fichiers se situe dans une fourchette de [+ or -]3 deces, pour une difference moyenne de -3,6 deces par jour pour les 134 jours utilises.

[FIGURE 2 OMITTED]

Le coefficient de correlation de Pearson entre les nombres de deces par jour des deux fichiers pour la periode consideree est de 0,80, p<0,001 (Figure 2). Toutefois, lorsqu'on calcule les coefficients de Pearson par lieu oU sont survenus les deces, on s'apercoit que les nombres de VIGIE sont mieux correles avec ceux du fichier Officiel pour les CH et les CHSLD (r=0,81, p<0,001 ; et 0,78, p<0,001 respectivement), mais moins pour les deces US (r=0,55, p<0,001). Par contre, l'erreur quadratique moyenne (EQM) est plus elevee pour les CH (3,8 deces/jour) que pour les autres lieux (CHSLD : 2,7 ; US : 2,6). Pour le total des deces, l'EQM est de 6 deces/jour.

On constate que les divergences relatives du nombre de deces par jour entre les fichiers VIGIE et Officiel (Tableau 1) sont plus importantes pour les deces en CHSLD et les deces US (14 % et 18 % de moins dans VIGIE) que ceux en CH (3,6 % de moins dans VIGIE). Les enregistrements des deces en CHSLD et par US sont aussi plus variables (disperses) que ceux en CH comme le demontre les coefficients de variation (Tableau 1). L'analyse de variance (ANOVA) sur la difference du nombre de deces par jour |VIGIE-Officiel| demontre que le lieu de deces explique d'ailleurs une part importante des divergences entre les deux fichiers (F=6,29 ; Tableau 2). Aucun effet de fin de semaine n'a ete detecte pour les donnees provenant des CHSLD (ANOVA : F=0,90 ; p=0,44).

Le Tableau 3 presente les decomptes des jours presentant des exces de deces (>20 % de plus que la moyenne) selon les deux sources, pour la periode estivale comprise entre le [1.sup.er] juin et le 6 septembre. Dans le fichier VIGIE, 16 journees ont surpasse le seuil choisi comparativement a 13 journees pour le fichier Officiel et ce, 12 fois la meme date. Ce test montre que la validite des donnees quotidiennes de VIGIE pour l'identification d'exces de deces dans l'ensemble des lieux s'avere elevee (sensibilite=92 %, specificite= 95 %, valeur predictive positive=75 %, valeur predictive negative= 99 %).

DISCUSSION

La presente etude consistait a evaluer la validite des donnees de mortalite quotidienne utilisees par la DSP dans le cadre de ses activites de surveillance.

Le degre de concordance entre les deux fichiers s'avere assez eleve (r=0,80), meme s'il varie selon le lieu de deces. L'ecart moyen entre le fichier de surveillance VIGIE et celui Officiel (EQM) est de 6 deces par jour. Nous avons constate une sous-estimation du nombre de deces dans le fichier VIGIE. En effet, certains CH, certaines residences pour personnes agees de meme que les deces dans la << communaute >> qui ne sont pas constates par US (ex. : les deces a la maison constate par un medecin de famille) ne sont pas comptabilises dans le systeme.

Notre etude a demontre la capacite potentielle du fichier VIGIE a identifier adequatement des exces quotidiens de deces par rapport a un seuil puisque le test effectue (avec un seuil de 20 % de plus que la moyenne) a donne une sensibilite de 92 % et une specificite de 95 % (Tableau 3).

Le fait que le fichier VIGIE offre la possibilite de connaitre pratiquement en temps reel le nombre de deces constates par US << dans la communaute >> est un atout majeur pour la surveillance des impacts sanitaires relies a la chaleur extreme combinee a d'autres donnees quotidiennes (la meteo). Par exemple, durant la canicule francaise de 2003, la surmortalite a ete particulierement marquee pour les deces ayant eu lieu au domicile (13-15).

Finalement, pour la DSP, le fichier VIGIE est economique sur le plan des couts relies a l'acquisition et a l'exploitation des donnees puisqu'il utilise des donnees provenant d'autres organismes gouvernementaux ou paragouvernementaux.

Neanmoins, notre analyse a mis en lumiere certains problemes. Meme si notre analyse n'a pas demontre d'effet de fin de semaine sur la precision des deces puisque les donnees dans le fichier VIGIE sont attribuees a la bonne journee (vendredi, samedi ou dimanche), il est certain qu'un biais negatif existe pour ces journees dans l'exercice de surveillance puisque les informations sur les deces en CHSLD ne sont transmises que le lundi. Par ailleurs, les informations sur les deces en CH sont saisies manuellement et il serait relativement simple de mettre en place << une marche a suivre >> dans les CH permettant d'eliminer en amont les aberrations; plusieurs systemes ayant mis en place des methodes pour capter les aberrations (3,5,16). Un systeme informatique integre et automatise dans l'ensemble des CH et CHSLD permettrait de reduire au minimum les erreurs humaines liees a la manipulation et a la transmission des donnees. Dans les CHSLD, il pourrait etre relativement simple, si le personnel est en nombre suffisant, de mandater une personne responsable de transmettre les donnees la fin de semaine.

En conclusion, bien que le degre de concordance entre les deux fichiers varient selon le lieu de deces, ce systeme de surveillance (fichier VIGIE) repond suffisamment aux criteres de saisie, de traitement, de qualite et de transmission des donnees. De plus, il serait possible d'ameliorer ce systeme en bonifiant les informations sur les personnes decedees : age, sexe, province de residence, citoyennete, intersection des rues oU est survenu le deces, etc. A court terme, la validation de la repartition des deces de l'annee 2005 sera souhaitable pour evaluer l'amelioration generale du systeme de surveillance des deces lors de sa deuxieme annee d'exploitation, d'autant plus que cette annee fut exceptionnelle en terme de chaleur (12)

Recu: 7 avril 2008

Accepte: 8 aout 2008

REFERENCES

(1.) Declich S, Carter AO. Public health surveillance: Historical origins, methods and evaluation. WHO Bulletin 1994;72:285-304.

(2.) Centers for Disease Control and Prevention. Framework for evaluating public health surveillance systems for early detection of outbreaks. MMWR 2004;53(No. RR-05).

(3.) Lewis MD, Pavlin JA, Mansfield JL, O'Brien S, Boomsma LG, Yevgeniy E, et al. Disease outbreak detection system using syndromic data in the greater Washington DC area. Am J Prev Med 2002;23(3):180-86.

(4.) ESSENCE: Electronic Surveillance System for the Early Notification of Community-based Epidemics. Disponible en ligne a : www.geis.fhp.osd.mil/GEIS/SurveillanceActivities/ ESSENCE/ESSENCE.asp (Accede le 19 juin 2008).

(5.) Heffernan R, Mostashari F, Das D, Karpati A, Kulldorff M, Weiss D. Syndromic surveillance in public health practice, New York City. Emerg Infect Dis 2004;May. Disponible en ligne a : www.cdc.gov/ncidod/EID/vol10no5/030646.htm (Accede le 4 avril 2008).

(6.) Wagner M, Tsui FC, Espino JU, Dato VM, Sittig DF, Caruna RA, et al. The emerging science of very early detection of disease outbreaks. J Public Health Management Pract 2001;7(6):51-59.

(7.) Sartorius B, Jacobsen H, Torner A, Giesecke J. Description of a new all cause mortality surveillance system in Sweden as a warning system using threshold detection algorithms. Eur J Epidemiol 2006;21:181-89.

(8.) Litvak E, Fortier I, Gouillou M, Jehanno A, Kosatsky T. Programme de vigie et de prevention des effets de la chaleur accablante a Montreal. Direction de la Sante Publique-Montreal. Automne 2005. Disponible en ligne a : www.santepubmtl.qc.ca/Publication/pdfenvironnement/rapportchaleurfinal.pdf (Accede le 19 juin 2008).

(9.) Plan regional sociosanitaire de prevention et de protection en cas de chaleur accablante et de chaleur extreme. Agence de la sante et des services sociaux de Montreal, 2007.

(10.) Rapport sur la qualite des fichiers du Registre des evenements demographiques : 1995 a 1998. Institut de la statistique du Quebec, 2002.

(11.) Sheskin DJ. Handbook of Parametric and Nonparametric Statistical Procedures. Boca Raton, FL: CRC Press, 1997;719p.

(12.) Centre de Ressources en Impacts et Adaptation au Climat et a ses Changements. Environnement Canada. Disponible en ligne a : www.criacc.qc.ca/climat/ suivi/ete04/bilan_f.html et www.criacc.qc.ca/climat/suivi/ete05/ bilan_f.html (Accede le 4 avril 2008).

(13.) Pirard P, Vandentorren S, Pascal M, Laaidi K, LeTertre A, Cassadou S, et al. Summary of the mortality impact assessment of the 2003 heat wave in France. Eurosurveillance 2005;10(7):153-56.

(14.) Abenhaim L. Canicule : la sante publique en question. Paris : Fayard, 2003;267p.

(15.) Surmortalite liee a la canicule d'aout 2003. Institut national de la sante et de la recherche medicale. Octobre 2004. Disponible en ligne a : lara.inist.fr/BITSTREAM/ 2332/1301/1/INSERM_RAPPORT_CANICULE_OCTOBRE2004.PDF (Accede le 4 avril 2008).

(16.) Buckeridge DL, Owens DK, Switzer P, Frank J, Musen MA. Evaluating detection of an inhalational anthrax outbreak. Emerg Infect Dis 2006 ;Dec. Disponible en ligne a : www.cdc.gov/ncidod/EID/vol12no12/06-0331.htm (Accede le 4 avril 2008).

* L'absence d'autocorrelation temporelle dans les series chronologiques a ete testee au prealable. Seule une des 6 variables (nombre de deces par jour dans les CH) presente une faible autocorrelation (r<0,25) parmi les << lags >> 12 a 24.

Francois Tessier, MSc, Celine Plante, MSc, Tom Kosatsky, MD

Affiliation des auteurs

Direction de sante publique de l'Agence de la sante et des services sociaux de Montreal (DSP Montreal), Montreal, Qc

Correspondance: Francois Tessier, DSP Montreal, 1301 Sherbrooke Est, Montreal (Qc) H2L 1M3, Tel. : 514-528-2400, poste 3243, Telec. : 514-528-2459, Courriel : ftessier@santepub-mtl.qc.ca

Remerciements: Nous tenons a remercier Andre Bilodeau (DSP Montreal) pour la transmission des donnees du fichier VIGIE. Egalement, nous remercions Michel Fournier, Dr Robert Allard, Lucie Bedard et Maude Beausoleil, tous de la DSP Montreal, pour leurs judicieux et precieux commentaires.

Tableau 1. Statistiques descriptives : deces survenus entre le
1erjuin et le 6 septembre et entre le 20 novembre
et le 31 decembre 2004 (134 journees)

                        Nombre     Moyenne   Ecarts-type   Coefficient
                        total de   par       du nombre     de
                        deces      jour      de deces      variation
                                             par jour      (%)

Centre       VIGIE      3582       26,7      6,2           23,3
hospitalier  Officiel   3716       27,7      5,7           20,5
CHSLD        VIGIE      1013       7,6       2,8           36,8
             Officiel   1247       9,3       3,3           35,4
Urgences--   VIGIE      659        4,9       2,6           52,5
Sante        Officiel   770        5,7       2,7           46,6
Tous lieux   VIGIE      5254       39,2      7,7           19,7
de deces     Officiel   5733       42,8      7,3           17,0

Tableau 2. Analyse de variance de la difference quotidienne en
valeur absolue entre les deux fichiers selon les trois
lieux de deces : US, CHSLD, CH

                Somme        Degre de   Ecarts    F       P
                des ecarts   liberte    moyens

Inter Groupes   50,88        2          25,44     6,29    0,002
Intra Groupes   1612,66      399        4,04
Total           1663,55

Tableau 3. Correspondance entre le fichier VIGIE et le fichier
Officiel pour le nombre de journees presentant des
exces de deces pour la periode comprise entre le
1er juin et le 6 septembre 2004. Le seuil correspond
a la moyenne de deces par jour +20 %

                             Officiel   nombre
                             de jours   > seuil
                             oui        non

VIGIE     nombre     oui     12         4
          de jours   non     1          77
          > seuil