CMIS : CKOA ?

1 – Introduction

CMIS (Content Management Interoperability Services) est un standard OASIS (Organization for the Advancement of Structured Information Standards) paru en mai 2010 pour la V1 et en décembre 2012 pour la V1.1.

Il décrit une interface standard pour accéder à un ECM (Enterprise Content Management) comme Alfresco, SharePoint…

2 – Description

Ce standard définit un modèle de données « universel » dans le monde de l’ECM ainsi que les fonctions associées pour manipuler ces données.

Les principaux concepts (je laisse les termes en anglais) sont décrits avec leurs propriétés ainsi que les différentes fonctions permettant de les manipuler.

Au niveau des objets

  • Repository : permet d’avoir des conteneurs
  • Objets pouvant être de différents types : de type Document, Folder, Relationship, Policy et Item
  • Document : peut être versionnable, contenir de 0 à N fichiers. Un fichier est appelé un Content Stream. Des Renditions (représentation alternative comme un PDF pour un fichier bureautique) peuvent être associées à un document
  • Folder : conteneur pour des Documents et/ou Folders
  • Relationship : permet de faire un lien depuis un objet source vers un objet cible
  • Policy :
  • Item : permet d’étendre le modèle CMIS en définissant du’autres objets
  • ACL (Access Control List) : gestion des droits d’accès
  • Query : système permettant d’interroger la base CMIS au travers d’un langage de requête

Au niveau des fonctions, on retrouve des fonctions classiques de gestion documentaires :

  • Gestion des objets : création, lecture, destruction
  • Gestion des versions (check-in, check-out, version mineure/majeure)
  • Gestion des droits d’accès : lire les droits d’accès sur un objet ou les positionner
  • Fonction de recherche

Ce standard définit également les implémentations associées au travers de protocoles plutôt que d’API (Application Programming Interface) trop liées à un environnement/langage.

  • AtomPub : AtomPub (RFC4287 par l’IETF) est un protocole à base de XML au dessus d’HTTP
  • Web Services : protocole classique SOAP
  • Browser : repose sur JSON (Java Script Object Notation, [RFC4627])

Comme on peut le voir, CMIS est un protocole détaillé (le document de référence fait plus de 300 pages…) qui permet de définir un moyen d’interagir avec un CMS au travers de fonctions permettant de manipuler des objets.

3 – Cas d’usage

Comme on peut le voir sur Wikipedia, les principaux éditeurs proposent une interface CMIS pour leur ECM : Alfresco, EMC Documentum, IBM Filenet, Microssoft SharePont, Nuxeo, OpenText Content Server… (Remarque : la version française et anglaise sont plutôt complémentaires

Intérêt et cas d’usage :

  • Proposer un portail qui accède à différents ECM au travers de la même interface
  • Proposer un navigateur universel accédant à différents conteneurs CMIS
  • Proposer un connecteur universel d’un ECM en interface avec le SAE 

Lorsqu’on travaille dans le le monde de l’archivage, on ne peut pas s’empêcher de faire l’analogie avec la norme 45-020 (voir mon autre article). Mais autant CMIS est une interface assez complète pour qu’il y ait plusieurs implémentations, autant la norme 45-020 reste au niveau de spécifications de trop haut niveau.

Coffre-Fort Numérique et norme NF Z 42-020 : Est-ce utile ?

1 – Introduction

La norme AFNOR NF Z 42-020 est sortie en juillet 2012 sous le titre :

Spécifications fonctionnelles d’un composant Coffre-Fort Numérique destiné à la conservation d’informations numériques dans des conditions de nature à en garantir leur intégrité dans le temps (là, vous pouvez respirer 😉 )

Comme le titre l’indique, cette norme est une spécification : elle décrit les fonctions permettant d’interagir avec un  CCFN (ou Composant Coffre-Fort Numérique).

2 – Contenu de la norme

La norme est un petit document de 23 pages décrivant les concepts et les exigences fonctionnelles que doit suivre un CCFN.

Les principaux concepts :

  • Un CCFN contient des conteneurs. Un conteneur contient des objets numériques. Un objet numérique pouvant contenir un ou plusieurs fichiers. A un objet numérique sont associées des métadonnées techniques obligatoires (identifiant d’objet, l’identifiant de l’utilisateur ayant déposé l’objet, la date de dépôt, la taille de l’objet, l’algorithme pour le calcul de l’empreinte et l’empreinte elle-même)
  • Trois types d’utilisateurs définis : l’Administrateur Général (gérer les administrateurs fonctionnels), l’Administrateur Fonctionnel (gestion des utilisateurs, gestion des conteneurs) et le Simple Utilisateur (lecture/écriture)
  • Un CCFN doit proposer la notion de journal pour tracer toutes les appels de fonction sur le CCFN

Les fonctions :

  • Déposer un objet numérique (l’empreinte peut être fournie par l’application ou calculée par le CCFN)
  • Lire un objet numérique
  • Détruire un objet numérique (et ses métadonnées)
  • Lire les Métadonnées Techniques d’un objet numérique
  • Contrôler un objet numérique pour vérifier l’intégrité d’un objet numérique
  • Lire Journal pour récupérer toutes les opérations répondant au critère (objet numérique, entre deux dates)
  • Lister pour obtenir les objets numériques répondant au critère (par rapport aux métadonnées techniques par exemple)
  • Compter le nombre d’objets numériques répondant au critère (par rapport aux métadonnées techniques par exemple)

3 – Cas d’usage

Maintenant que la norme est présentée, la question de son utilité peut se poser.

Quand un éditeur se proclame compatible 42-020, qu’est ce que cela veut dire ? Personnellement, je suis assez réservé car il est difficile d’être compatible d’exigences fonctionnelles pour un logiciel. Il faudrait descendre à un plus bas niveau.

Autrement, sur le principe,cette norme permet de définir les bases de tout CCFN qui faciliteraient l’intégration d’un SAE dans le système d’information :

  • Un SAE pourrait écrire et lire dans différents CCFN à partir de la même interface
  • En cas de reprise, il serait facile de récupérer les données au travers de cette interface
  • Une application tierce pourra lire et écrire des données et l’interface n’aura pas besoin d’être modifiée si le CCFN est changé

4 – Et la suite ?

Baptisé NF 203 CCFN, une certification NF logicielle est en cours pour permettre de valider la conformité d’un produit à cette norme.

A mon avis, il manque certains points importants au niveau de l’administration (gestion des conteneurs, gestion des droits d’accès) et des besoins fonctionnels comme la gestion de la durée de conservation des objets.  L’approche, pour les concepteurs de la norme, était, je pense, de décrire un composant technique interne au SAE. Les autres fonctions seraient alors plutôt au niveau du SAE.

Par analogie avec un autre standard : dans le monde des ECM (Enterprise Content Management), il existe un standard similaire appelé CMIS (Content Management Interoperability Services).

Mais contrairement à la norme 42-020, CMIS va beaucoup plus loin dans les détails en définissant avec précision les interfaces . Il aurait été intéressant que la 42-020 s’inspire de ce standard.

Pour ceux intéressés, n’hésitez à parcourir mon billet sur CMIS.

Archivage d’un email : oui, mais quel format ?

Nous avons vu dans un précédent article la nécessité d’archiver les emails engageants.

Il s’agit maintenant d’identifier le format adapté à l’archivage pour ces emails.

Existe-t-il « un » format  d’archivage pour les emails ?

Cet article, sans être trop technique, se focalise sur le format proprement dit. De manière générale, pour qu’un format soit candidat à l’archivage, il est recommandé de s’appuyer sur un format pérenne, ouvert, normalisé, fidèle…

J’élimine donc tout de suite, les fonctions « d’archivage’ proposées par les clients de messagerie, trop propriétaires (format base PST ou similaire).

Un email est un objet complexe composé d’informations structurées (émetteur, destinataires, date, objet) et non structurées (le corps du message plus ou moins complexe et les différentes pièces jointes). Les formats sont normalisés au travers de RFC (Request For Comments) gérées par l’IETF : la partie structurée d’un email dans la RCF 2822 et des extensions pour gérer notamment les pièces jointes de différents formats (notion de type MIME) dans les RFC 2045, RFC 2046, RFC 2047, RFC 2048 et RFC 2049.

Les principaux formats rencontrés sont :

  • .msg (format Outlook) est un format propriétaire Microsoft dont les spécifications sont publiques. Il se base sur le principe d’un document composite englobant les différentes pièces jointes.
  • .eml, équivalent à un .mht, est un format texte avec les pièces jointes encodées dans le format Base64. Cet encodage ne pose pas de problème particulier car la table de conversion est publique. mais au final, on récupère les PJ dans leurs formats d’origine qui peuvent être propriétaires (Office par exemple)
  • MBOX (http://tools.ietf.org/html/rfc4155) et ses variantes.

Aucun de ces formats ne remplit les critères pour être archivé mais il est techniquement faisable de les transformer dans un format standard bien qu’un tel format n’existe pas. XML est bien adapté pour représenter la partie structurée d’un email et de nombreux projets ont vu le jour (XMTP, draft IETF, projet XMaiL) sans qu’aucun n’ait vraiment percé…

La gestion XML ne traite que la partie structurée d’un email. Il est donc important de ne pas oublier de traiter les pièces jointes en les transformant dans le « bon » format (PDF/A-2 pour la bureautique par exemple).

Concrètement, l’archivage d’un email demande un traitement à la source des emails identifiés comme étant à archiver. Il est conseillé d’archiver le mail source ainsi qu’une représentation de cet email (format XML du mail et transformation des pièces jointes dans un format pérenne).

Coffre-Fort Numérique pour le grand public : avez-vous lu les « CGU » ?

Depuis quelques années, des banques, assurances et mutuelles proposent un service de Coffre-Fort Numérique (CFN) à leurs clients.

Avant d’entrer dans le vif du sujet, quelques précisions :

  • La norme NF Z 42-020 (je reviendrai sur cette norme dans un autre article) parle de Composant Coffre-Fort Numérique (CCFN). Il y a donc une petite différence avec le CFN grand public puisque cette norme décrit les exigences fonctionnelles qu’un « composant » doit respecter, sachant que le « composant » est à considérer comme étant une sous-partie d’une application.
  • La CNIL a émis une recommandation sur le sujet (voir un précédent billet).

 

Comme tout consommateur averti, j’aime bien lire les Conditions Générales d’Utilisation (CGU) pour bien comprendre le service offert. Et concernant les CFN, j’étais très curieux de voir quel niveau de service était proposé par ces organismes.

Il s’agit de bien vérifier les points suivants :

  • Comment est décrit le service offert et quel est l’engagement ?
  • Quelles sont les limites en terme de taille et de format des fichiers ?
  • Quelles sont les conditions d’arrêt du service (si je ne suis plus client…) ? attention, souvent la récupération du contenu doit se faire dans un temps limité (sous 1 mois)
  • Quelles sont les fonctions offertes en plus du versement/récupération ? Il peut y avoir un dépôt par messagerie, la possibilité d’inviter d’autres personnes à pouvoir lire des documents

Petit florilège de contenus des CGU…

…Sur la définition du service :

[…] met à disposition de ses Abonnés un coffre sécurisé à vocation probatoire conformément à la norme AFNOR NF Z 42-013 et ce pendant la durée définie contractuellement avec les Expéditeurs.

Dans le cadre du Service, met en oeuvre les moyens nécessaires à assurer la sécurité, l’intégrité, et la confidentialité des Documents.

…Sur les limites :

il deviendra Titulaire d’un Coffre-fort Electronique […] d’une capacité illimitée

La taille de chaque fichier téléchargé ne doit pas dépasser deux cent cinquante méga octets (250 M o). La taille du coffre-fort numérique est limitée à un giga octet (1 Go)

La capacité de stockage du Coffre est de 3 Go

…Sur la notion de copie/original :

L’attention du Titulaire est portée sur le fait que les Documents qu’il dépose dans le coffre-fort numérique constituent des copies numériques et qu’il lui est en conséquence recommandé de conserver par-devers lui les documents originaux à titre de preuve.

Il est rappelé que le Service ne donne pas, à ces documents ainsi numérisés et stockés, de valeur probante particulière. Ces documents numérisés et stockés sont de simples copies des documents originaux. En conséquence, le Client est invité à ne pas détruire les documents originaux et à leur apporter tous les soins nécessaires à leur conservation.

…Sur la clôture :

Le Titulaire devra, préalablement à cette clôture, prendre soin de sauvegarder les Documents sur un support qui lui est propre et de les supprimer du Coffre-fort Electronique

Dans ce cas, le Client doit avoir, avant fermeture, récupéré l’ensemble de ses documents stockés dans son coffre-fort par téléchargement à l’aide de la commande « Extraire »

…Autres clauses :

L’Hébergeur s’engage à ce que les documents stockés ne soient ni copiés, ni reproduits, ni dupliqués.

La Banque se rapprochera des ayants droit ou du notaire chargé de la succession s’agissant du devenir des Documents

Et pour terminer, un détour par l’offre du public :

Au travers du portail service-public.fr, un service de « porte-documents’ est offert à tout citoyen pour gérer ses documents administratifs :

En créant un compte mon.service-public.fr, vous disposez gratuitement d’un mode d’archivage sûr et innovant : le porte-documents électronique. Vous pouvez y conserver en toute confiance tous vos documents numérisés (pièces d’identité, factures, attestations etc.) ainsi que les pièces justificatives échangées avec l’administration. Votre document doit être au format PDF et sa taille ne peut excéder 1Mo

Après la lecture de cet article, plus qu’une chose à faire : lires les « CGU » 😉  !

Faut-il archiver les emails ?

Le périmètre de cet article concerne les emails engageants. Je ne prends pas en compte « l’archivage » pour faire de la place dans les boîtes aux lettres.

La réponse à la question du titre est simple. Je parle d’email engageant et comme toute information engageante, je dois prévoir son archivage.
Bon d’accord, j’ai déjà répondu à la question mais vous avez quand même le droit de continuer la lecture de cet article 😉

Un email a-t-il des caractéristiques spéciales que n’aurait pas un document « classique » ?

Voici quelques spécificités de l’email :

  • La volumétrie exponentielle : les chiffres autour du nombre d’emails échangés donnent le tournis
  • La complexité du format d’un email (parties structurées au niveau des métadonnées, pièces attachées, corps de texte avec une mise en page évoluée, des fils de discussion, fonctions de transfert…) et la non-existence d’un format ouvert, standard et pérenne
  • Les aspects juridiques avec la protection en France sur la correspondance privée
  • La diversité des mails échangés et la difficulté à identifier ceux qui sont engageants

Concrètement, s’attaquer à l’archivage des mails demande une approche au bon niveau et s’intègre dans une politique globale (la fameuse Retention Policy) de l’entreprise.

Un projet d’archivage d’email doit traiter les points suivants :

  • Aspects fonctionnels : processus lié à la sélection des mails, définir les durées de conservation, les fonctions permettant de consulter/rechercher un mail archivé
  • Aspect technique : identifier le format d’archivage qui sera retenu [ce point sera traité dans un autre article]

Sur le premier point, plusieurs approches existent :

  • Archiver toutes les entrées/sorties des serveurs de messagerie. L’avantage est de ne pas ‘oublier’ par erreur un email engageant. Les inconvénients sont d’une part un risque d’archiver des mails personnels et d’autre part la nécessité de devoir mettre en place une infrastructure très importante pour absorber la volumétrie
  • A l’opposé, laisser l’utilisateur final gérer manuellement et unitairement les mails qu’il juge engageant depuis son client de messagerie. Cela nécessite un accompagnement important pour que l’utilisateur se sente impliqué et qu’il ait les clés pour identifier les « bons » emails.

Et entre les deux, nous avons toutes les variantes avec des mix possibles.

Des réflexions/études en cours ont amené à différentes approches qui peuvent être complémentaires :

  • Identifier les services/profils/postes ou niveaux de responsabilité qui sont amenés à manipuler des emails engageants. C’est le cas de l’approche Capstone aux USA proposée par la NARA (The U.S. National Archives and Records Administration)  qui se base sur le niveau de responsabilité.
  • Proposer des filtres pour aider l’utilisateur à pré-sélectionner les emails. Ils exploitent les métadonnées comme le titre, le nom de domaine de l’émetteur (client, fournisseur…), des mots-clés… Le futur serait d’aller vers des outils de recherche plus performants allant vers l’analyse sémantique du contenu. Pour ma part, je milite pour que les mails engageants soient gérés directement dans des applications dédiées (permet un contrôle de la mise en forme, du contenu et un archivage maîtrisé…), pour que les mails ne contiennent plus de PJ (utilisation de plates-formes collaboratives en extranet avec traçabilité des échanges qui seront archivés), bref, un monde avec moins d’emails, le bonheur quoi !

Il y a un point à bien prendre en compte : pouvoir garantir l’intégrité du mail. Pour cela, il faut que le processus de capture d’email soit bien géré et sans faille, idéalement au plus près du serveur de messagerie.

Pour aller plus loin :

En conclusion, on peut dire que la prise en compte des emails doit faire partie du projet d’archivage de l’entreprise. car il est nécessaire de prendre en compte les informations engageantes quel que soit le format. Il est possible de ne pas les traiter, on se trouve devant une gestion des risques, c’est une décision de l’entreprise.

PDF/A : LE format pour archiver ?

Le PDF (Portable Document Format), défini par la société Adobe, est normalisé depuis juillet 2008 (ISO 32000-1). Il repose sur la version 1.7 et correspond à Acrobat V8.

On peut souvent lire : « PDF est un bon format pour archiver car on ne peut pas le modifier ». Malheureusement, ce n’est pas vrai. Il existe des outils permettant de manipuler le contenu. Et un bon format à archiver repose sur d’autres critères : ouvert, libre, « lisible »…

En plus du classique PDF, il existe une famille adaptée à l’archivage appelée PDF/A (A pour … Archive). Ces formats sont également normalisés (ISO 19005-1, ISO 19005-2 et ISO 19005-3) et apportent au PDF classique des caractéristiques adaptées à l’archivage.

La principale restriction par rapport au PDF concerne tout ce qui touche à l’aspect dynamique et le caractère non-autoporteur qui sont antinomiques avec l’archivage. Donc le PDF/A « embarque » les polices de caractères, n’autorise pas un affichage dynamique (le format PDF peut afficher des informations ou non suivant des paramètres), n’autorise pas l’inclusion de scripts d’action…

Cependant, comme énoncé plus haut, il existe 3 versions (avec différents niveaux de conformité dans chacune d’elle) :

  • PDF/A-1 (ISO 19005-1:2005) est basée sur le format PDF v1.4. Le cryptage du document n’est pas autorisé
  • PDF/A-2 (ISO 19005-2:2010) est basée sur le format PDF v1.7 (lui même  ISO 32000-1:2008). Il permet d’utiliser la transparence, d’insérer d’autres fichiers PDF/A, supporte le JPGEG2000 et peut inclure une signature numérique
  • PDF/A-3 (ISO 19005-3:2012) est basée sur le format PDF v1.7. Il permet d’insérer des documents de tout format

Le PDF/A est un des formats à considérer pour l’archivage. Notamment pour tous les documents bureautiques. Mais il faut préciser exactement la version et le niveau de conformité retenus. Et n’oubliez pas de mettre en place un processus de validation du format avec un outil qui testera que le fichier est bien conforme à ce qu’il prétend être.

Pour l’archivage, la version PDF/A-3 est à utiliser avec précaution. En effet, il est possible d’inclure dans le fichier PDF, un fichier au format propriétaire. Une utilisation possible est de mettre, par exemple, le fichier Word source inséré dans le fichier PDF qui pourrait représenter le document signé. On a ainsi l’ensemble des informations dans un seul fichier. Une autre utilisation potentielle de la version A-3 est de représenter un email…
L’alternative, que je préfère, est d’archiver les fichiers séparément tout en gardant un lien (via une métadonnée indiquant la référence par exemple).

Ma préférence va donc au format PDF/A-2.

Pour aller plus loin sur le PDF et PDF/A, voici quelques ressources supplémentaires :

Archinnovez !

Archivage et innovation ?

On a souvent tendance à les exclure…

Or pour moi, il y a de nombreuses opportunités pour remettre l’archivage au goût du jour 🙂

Pour rappel, je vois l’archivage sur deux axes :

  • L’archivage à valeur probante, dans le cas d’une réglementation, d’une clause contractuelle…
  • L’archivage autour du savoir-faire, lié au patrimoine de l’entreprise (attention, je ne parle pas du patrimoine qui se déversera dans les archives historiques mais plutôt de la gestion des connaissances)

Et c’est sur ce 2ème axe qu’un système d’archivage peut apporter de nombreuses fonctionnalités qui pourraient favoriser des démarches d’innovation.

Je trouve dommage que les éditeurs d’outil n’essaient pas de valoriser ces gisements d’information. On retrouve les mêmes problématiques que pour les ECM : classement, gestion des métadonnées, système de recherche…

Les éditeurs doivent eux-mêmes innover 😉 dans leurs produits afin de faciliter l’accès aux informations au travers de navigations intelligentes, de plans de classement dynamiques, d’aides à la gestion du sort final…

Et voir enfin le SAE comme composant d’une démarche globale d’innovation.