Intégration de données externes et optimisation de performances sur Hérédis

[poupetteweb]

Bonjour à tous les passionnés de généalogie et d'informatique !

Je suis un utilisateur régulier du logiciel Hérédis pour mes recherches en généalogie et j'apprécie grandement les fonctionnalités qu'il offre. Cependant, je me pose quelques questions sur l'optimisation des performances et l'intégration de données externes dans Hérédis.

Intégration de bases de données externes: Est-il possible d'intégrer des bases de données externes avec le logiciel ? Par exemple, si j'ai une feuille Excel ou un fichier SQL contenant des données généalogiques, y a-t-il une méthode pour les importer directement dans Hérédis ?

Optimisation des performances: Avec un arbre généalogique de plus en plus volumineux, j'ai remarqué quelques ralentissements. Existe-t-il des astuces pour optimiser les performances du logiciel, notamment en termes de temps de chargement et de fluidité ?

Automatisation de tâches: Étant donné mon bagage en informatique, je suis également curieux de savoir s'il existe des moyens d'automatiser certaines tâches répétitives via des scripts ou d'autres méthodes de programmation.

Je suis sûr que la communauté a beaucoup de connaissances à partager sur ces sujets. Je serais très heureux de recevoir vos conseils et suggestions.

Merci d'avance

[tahiti]

Cependant, je me pose quelques questions sur l'optimisation des performances --/--

Avec les premières bases SQL, je sais qu'il était possible de modifier le fichier Heredis avec un éditeur du même nom, et c'est Mike qui nous avait expliqué les "chiffres" à changer pour que le fichier soit plus "rapide", reste à retrouver le sujet et je pense que c'est toujours le cas, de mémoire c'est le "buffer" (tampon mémoire) et un autre, mais je ne sais plus quoi

Nota et même si cela n'est pas cité dans les propos du message, le programme (sur Pc) qui est en 32 bits ne serait pas plus "véloce" en 64 bits d'après Heredis il y a déjà quelques années et cela serait bien la base de données donc notre généalogie qui pose "souci".

C'est peut-être aussi pour cela que les grosses généalogies (plus de 100.000 individus) ont du mal à "passer", y compris avec une grosse configuration, et même si cela peut sembler "normal" au vu du nombre d'individus, je pense, mais je n'en sais rien que le fichier n'est peut-être pas assez "optimisé" mais comme je ne connais pas non plus trop bien les Sql, je fais confiance à Heredis sur le sujet.

Intégration de bases de données externes: Est-il possible d'intégrer des bases de données externes avec le logiciel ? Par exemple, si j'ai une feuille Excel ou un fichier SQL contenant des données généalogiques, y a-t-il une méthode pour les importer directement dans Hérédis ?

Je ne sais pas, mais dans la mesure où le programme intègre des fonctions d'importations, d'exportations, je ne vois pas trop le plus et il existe déjà des outils pour convertir des fichiers Excel, texte en Gedcom : https://www.visuged.org/transged.htm

Optimisation des performances: Avec un arbre généalogique de plus en plus volumineux, j'ai remarqué quelques ralentissements. Existe-t-il des astuces pour optimiser les performances du logiciel, notamment en termes de temps de chargement et de fluidité ?

Voir mon message plus haut sur le sujet et dans les préférences d'Heredis, onglet "Avancés" il faut vérifier que "options mémoire" soit bien active, ce qui n'était pas le cas forcément par défaut (je pense à la version 2023) et j'ai fait des tests avec des bases de données de plus de 800.000 individus (via mon assos), ce n'est même pas la peine, rien que pour importer le Gedcom, ce sont plusieurs heures.

Automatisation de tâches: Étant donné mon bagage en informatique, je suis également curieux de savoir s'il existe des moyens d'automatiser certaines tâches répétitives via des scripts ou d'autres méthodes de programmation.

Oui, j'ai vu passer des requêtes pour les éditeurs de fichiers Sql, surtout pour des corrections, mais pas forcément pour automatiser certaines tâches (un exemple voulu ?), je pense donc que cela soit possible, par contre c'est avec les risques qui vont avec !

Je suis sûr que la communauté a beaucoup de connaissances à partager sur ces sujets. Je serais très heureux de recevoir vos conseils et suggestions.

Oui, il existe quelques "bidouilleurs" et depuis des années du reste, où des utilisateurs avec des très bonnes idées pour contourner certains "manques" du programme

Nota : il n'est pas conseillé de bidouiller le fichier Heredis (donc au format SQL) et si vous le faites prendre une copie de votre généalogie, et c'est donc à vos "risques et périls" comme on dit.

[poupetteweb]

Bonjour tahiti et merci pour cette réponse détaillée !

Je tiens tout d'abord à remercier Mike pour avoir partagé la méthode de modification du buffer, j'essaierai de retrouver ce sujet pour mieux comprendre le processus. Le buffer pourrait effectivement être la clé pour améliorer la rapidité du fichier, et il semble que cela mérite une exploration plus approfondie. Concernant le passage de 32 bits à 64 bits, je suis un peu déçu d'apprendre que cela ne changerait pas grand-chose en termes de performance. Mais c'est bon de savoir que la taille de la base de données joue un rôle majeur dans les ralentissements.

Pour ce qui est de l'intégration de bases de données externes, merci pour le lien de conversion des fichiers Excel et texte en Gedcom ! Je vais jeter un œil et voir si cela peut faciliter mon travail. Je vais également vérifier les options mémoire dans l'onglet "Avancés" comme vous l'avez suggéré. C'est surprenant de savoir que cette option n'est pas activée par défaut dans la version 2023. Peut-être qu'en activant cette option, je verrai une amélioration notable.

Pour finir, en ce qui concerne l'automatisation de tâches, je cherchais principalement à simplifier certaines étapes répétitives dans la saisie des données ou la mise en forme. Mais je comprends les risques associés à la manipulation directe des fichiers SQL. Je vais continuer à explorer d'autres solutions, tout en gardant à l'esprit vos conseils.

Bref, je vais peaufiner tout ça et revenir si besoin encore merci

[poupetteweb]

Bonjour à tous,

Je reviens vers vous avec quelques nouvelles et une autre interrogation.

Tout d'abord, un grand merci encore à tahiti et Mike pour leurs précieux conseils. J'ai pu retrouver le sujet concernant les modifications du buffer et cela m'a été utile. En ce qui concerne l'intégration de données depuis Excel, l'outil de conversion vers Gedcom m’a permis de réaliser une importation plus fluide, bien que quelques ajustements manuels aient été nécessaires par la suite.

Néanmoins, j’ai croisé un autre souci et je me permets de solliciter de nouveau votre expertise :

Lorsque je souhaite attacher des médias à un individu ou à un événement spécifique dans Hérédis, je me retrouve parfois avec des liens brisés ou des erreurs d'affichage desdits médias. Plus précisément, cela concerne des documents numérisés et des photos que j’ai pourtant stockés dans le même dossier que ma base de données pour éviter tout problème de liens relatifs/absolus.

Est-ce un problème courant avec Hérédis ?
Existe-t-il une méthode ou un outil pour vérifier et réparer les liens brisés de médias dans Hérédis sans avoir à le faire manuellement pour chaque fichier ?
Y a-t-il une pratique spécifique recommandée pour gérer les médias dans le logiciel pour éviter ce genre de souci ?
Tout conseil ou retour d'expérience serait grandement apprécié !

Je vous remercie par avance pour votre aide et suis reconnaissant de faire partie de cette communauté si riche en connaissances et en soutien.

[tahiti]

Lorsque je souhaite attacher des médias à un individu ou à un événement spécifique dans Hérédis, je me retrouve parfois avec des liens brisés ou des erreurs d'affichage desdits médias. Plus précisément, cela concerne des documents numérisés et des photos que j’ai pourtant stockés dans le même dossier que ma base de données pour éviter tout problème de liens relatifs/absolus.

Est-ce un problème courant avec Hérédis ?
Existe-t-il une méthode ou un outil pour vérifier et réparer les liens brisés de médias dans Hérédis sans avoir à le faire manuellement pour chaque fichier ?
Y a-t-il une pratique spécifique recommandée pour gérer les médias dans le logiciel pour éviter ce genre de souci ?
Tout conseil ou retour d'expérience serait grandement apprécié !

Alors déjà, ne pas stocker les médias dans le même dossier votre-généalogie.hmw et si c'est le cas et encore moins bidouiller dans le répertoire media situé dans le répertoire votre-généalogie.hmw

La première chose c'est de passer par le dictionnaire des médias et de demander au programme de les vérifier.

Après, il faut aussi faire attention à comment sont nommés les médias et il arrive que cela pose des soucis, un exemple parmi d'autres (même je n'applique pas cette règle) :

Famille de Tahiti à l'aigle.jpg sera converti par Heredis en Famille de Tahiti à l_aigle.jpg (pour la copie)

Même si pour le nom des fichiers, cela reste valable pour les médias (source : https://help.heredis.com/renommer-un-fichier/ )

L’informatique déteste les noms à rallonge, les caractères spéciaux et les espaces, cela peut endommager vos données. Évitez donc les accents, cédilles, espaces et autres caractères spéciaux. Soyez simple ! Pour simuler un espace à l’œil, les centres d’Archives (entre autres) utilisent le _ (tiret du 8 ou underscore de son vrai nom). Ce qui donne par exemple « fichier_de_francois ».