Supprimer documents en double dans les medias

[efaust]

Bonjour,
Même question que tabouretguy mais plus de détails et besoin d'une réponse plus efficace.

J'ai utilisé upload pour plusieurs mises à jour en précisant chaque fois 'remplacer l'arbre existant' et j'ai ce même souci de documents affichés plusieurs fois sur les fiches.
Mon Gedcom est construit avec Heredis qui m'indique que j'ai 1750 médias
Je me demande combien de médias sont 'remontés' dans Geneanet. Je ne trouve aucun affichage du nombre sous 'mes documents', juste une indication de 30% du volume possible (je ne me rappelle plus le max possible)

Cependant, dans la liste affichée sous 'mes documents', je ne sais pas lesquels apparaissent en double sur les fiches (je n'arrive même pas à vérifier s'ils sont en double dans la liste elle-même tant celle-ci est longue et fastidieuse à dérouler !)

Je souhaiterais disposer d'outils pour
- connaître le nombre de médias dans 'documents'
- identifier ceux qui sont affichés plusieurs fois sur les fiches
- et proposer la suppression automatique des doublons

Eh oui ! quand on sait qu'on a affaire à des équipes qui savent faire 'bien' et 'très bien', on n'hésite pas à demander 'mieux' !

Dans l'attente des suggestions des concepteurs, avec l'espoir d'une solution à mes questions, et en les remerciant des efforts continus pour améliorer ce bel outil,

Cordialement,
eugène

[assistance]

Bonjour,

Voulez-vous dire que à chaque fois que vous envoyez un gedcom par Geneanet Upload, les images s'ajoutent même si elles existaient déjà, ou qu'elles s'envoient en double ? Pourriez-vous nous donner quelques exemples précis dans votre arbre ? Merci d'avance de votre aide.


Les options que vous proposez pourraient être intéressantes et je les soumets à nos équipes. Je ne peux cependant rien vous promettre, car nous sommes une petite équipe et nous avons déjà de nombreux projets en cours. Merci de votre compréhension.

[efaust]

Bonjour,
J'essaie de suivre mais tout cela me paraît assez complexe à comprendre.
Non, l'envoi d'un nouveau Gedcom ne provoque pas la duplication de toutes les images (sinon j'aurais déjà dépassé le max). Certaines, mais lesquelles et pourquoi ?

J'ai déjà essayé de vérifier ce qui se passe sur le site pour constater que les images affichées en double sur une fiche correspondent bien à des doublons de fichiers dans Mes documents (photos, archives...) Ce n'est pas un même fichier affiché plusieurs fois

J'ai comparé aussi dans Heredis (2019) ce qui apparaît sur l'onglet 'médias' des fiches et dans le dictionnaire des médias

Je prends 2 exemples dans mon arbre

1) Michel FAUST sosa 512: https://gw.geneanet.org/efaust_w?lang=fr&pz=michel&nz=faust&p=michel&n=faust&oc=1
Constatons déjà qu'une note que j'ai enregistrée dans le 'détail' mariage a été dupliquée sur la fiche
On affiche 6 médias disponibles
Parmi ceux-ci 'FAUST Michel x KLEIN Eve 05 02 1686' figure 2 fois à l'identique (mais les adresses des images sont différentes )
A remarquer que 'FAUST Michel x KLEIN Eve LCHW 05021686' n'est plus affiché dans mon logiciel Hérédis mais figure effectivement encore dans mon dictionnaire. Semble donc être un 'reliquat' d'une précédente présentation de ma fiche mais qui n'a pas été effacé par la mise à jour

2) KIMMENAUER Amand sosa 50 : https://gw.geneanet.org/efaust_w?lang=fr&pz=michel&nz=faust&p=amand&n=kimmenauer
5 médias disponibles dont 'KIMMENAUER Amand x KILHOFFER Salomé 13 06 1870 pd' deux fois à l'identique (un second envoi qui n'a pas identifié celui qui pré existait ?)
Notons que 'KIMMENAUER Amand x GIER Therese 18111872' est affiché tantôt en version portrait tantôt paysage (qui n'existe pas/plus dans Heredis). Donc l'envoi distingue les formats

Il y aurait certainement d'autres détails à découvrir. Pour le moment, je vois 2 points à étudier:

1) au moment de la réception d'un nouveau Gedcom
trouver pourquoi certains fichiers ne sont pas identifiés comme existants. Dans le doute créer une 'anomalie' à vérifier pour s'il faut conserver ou supprimer

2) dans les 'Documents' disposer d'un outil de détection et de gestion des doublons

Voilà, j'espère n'avoir été ni trop long, ni trop confus pour que ma demande soit comprise et puisse être étudiée.

Bon courage,
cordialement,
eugène

[assistance]

Merci de toutes ces précisions. Nous allons regarder cela.

[assistance]

Bonjour,

Après examen de vos images, nous voyons qu'elles ne sont pas strictement identiques. Il s'agit de fichiers différents, c'est pourquoi ils ne peuvent pas être identifiés comme doublons par le programme.

Vous les avez peut-être mis en ligne une première fois sur le site, puis via Geneanet Upload, ou bien les images existent plusieurs fois dans votre logiciel.

[efaust]

Bonjour,

Merci de votre suivi.
Il se peut effectivement que j'ai remonté certaines images avant Upload. Il arrive également que j'enregistre sur mon ordi diverses versions d'acte du même événement et qu'éventuellement j'ai changé l'affectation sur la fiche correspondante ( le Gedcom ne devrait contenir que les images affectées aux événements des individus et non la totalité de ce qui existe dans la bibliothèque Hérédis, voire dans mon dossier sur le disque dur)
Quoiqu'il en soit, resterait la demande d'identification des doublons sur Geneanet et un outil de gestion dans 'Documents' pour la suppression (choix de la plus récente ou de la taille)

Si c'est possible !
merci,
eugène

[forhanp]

Bonjour,

Il se peut effectivement que j'ai remonté certaines images avant Upload. Il arrive également que j'enregistre sur mon ordi diverses versions d'acte du même événement et qu'éventuellement j'ai changé l'affectation sur la fiche correspondante ( le Gedcom ne devrait contenir que les images affectées aux événements des individus et non la totalité de ce qui existe dans la bibliothèque Hérédis, voire dans mon dossier sur le disque dur)
Quoiqu'il en soit, resterait la demande d'identification des doublons sur Geneanet et un outil de gestion dans 'Documents' pour la suppression (choix de la plus récente ou de la taille)

Si c'est possible !

Vous demandez des choses qui ne peuvent être faites que par des humains :
- Le GEDCOM ne contient probablement que les images qui sont actuellement reliées (il faut vérifier cela avec Heredis), mais vous demandez que les images déjà présentes sur Geneanet soient supprimées automatiquement si elles ne sont plus reliées. Sauf que vous avez très bien pu ajouter des images indépendamment de votre logiciel et qu'une telle fonction vous ferait perdre tous ces documents. Il y a donc une intervention humaine nécessaire pour savoir ce que vous désirez conserver ou non.

- Geneanet vous a indiqué qu'informatiquement les images étaient différentes (nom différent, taille différente,...). Pour détecter que les images sont identiques, il va falloir faire de la reconnaissance de contenu. Même Google ne sait pas le faire, mettez lui une copie d'un acte manuscrit, il vous donnera des images analogues (textes manuscrits) mais pas identiques en contenu. Je ne connais pas de logiciel capable de reconnaitre le contenu d'un fichier image sans erreur. Il y a donc besoin qu'un humain vérifie le contenu pour être sur de l'existence d'un doublon.

Il n'y a pas de solutions miracles. Vous allez devoir vérifier vos données vous-même.

Cordialement,

[efaust]

Bonjour Pascal,
Je comprends bien les difficultés d'identification des fichiers et je ne demandais rien d'automatique mais une aide de sélection.

Hérédis me dit que ma base contient 1758 médias. Combien y en a-t-il dans 'Documents' de Geneanet ?
Sûr qu'avec une telle masse de données, on ne peut pas partir sur une gestion individuelle par fiche.

Si on pouvait déjà se baser sur les noms de fichiers et détecter ceux qui existent en plusieurs exemplaires
Comment compléter l'outil de gestion des Documents ? Pour le moment, on ne peut que afficher et rechercher. Pourrait-on trier par nom, date, taille...., filtrer sur une partie du nom ? par personne concernée ?

Sinon, j'en viens à la même question que Fabrice https://www.geneanet.org/forum/viewtopic.php?p=1593939#p1593939
qu'en serait-il de supprimer globalement tous les médias et de remonter un upload propre ?

cordialement,
eugène

(ce sujet est-il encore sur 2 fils ?)

[efaust]

Bien,
Mais si on voulait effectivement supprimer plus de 1000 médias, il en faudrait des clics et des défilements !
Car à première vue, les fonctions Windows Ctrl A (sélectionner tout) ou Clic Maj fin de zone ne s'appliquent pas ici

Sauf impact auquel on n'aurait pas été attentifs, la suppression totale et rechargement paraîtrait effectivement le plus efficace.

Vos équipes auront peut-être une idée ...

cordialement,
eugène

[assistance]

Si vous voulez, nous pouvons supprimer tous vos documents présents dans "Mes documents" :
https://www.geneanet.org/media/manager/deposits