Importer et gérer les données de l'infrastructure Google Cloud dans Lucidscale

Ressources et lignes Google Cloud prises en charge

Pour obtenir une liste complète des ressources et des lignes prises en charge par Google Cloud et disponibles dans Lucidscale, reportez-vous à l'article Ressources et lignes prises en charge par Google Cloud.

Regarder : Importer l'infrastructure Google Cloud

Importer l'infrastructure Google Cloud

Vous pouvez importer Google Cloud Infrastructure en utilisant l'une des deux méthodes suivantes : 

• Accès de confiance: fournissez un compte Google Cloud Service avec les règles appropriées. Ce compte de service peut être défini avec les autorisations suivantes :
  • Importation via un accès au niveau du projet pour importer un ou plusieurs projets individuels
  • Importation via un accès au niveau de l'organisation pour importer tous les projets au sein d'une organisation Google Cloud.
• Téléchargement de fichier: exécutez un script dans votre interface de ligne de commande (CLI) Google Cloud, qui rassemble les données localement dans un fichier JSON, puis téléchargez le fichier généré.
  

Consultez le tableau suivant pour obtenir des précisions sur chaque méthode et déterminer celle qui convient le mieux à votre cas d'utilisation.

*Le type de ressource 1 correspond à toutes les ressources mappées énumérées dans la section Ressources prises en charge. Le type de ressource 2 est l'inventaire du nuage : une grande variété de ressources non cartographiées que vous pouvez placer manuellement dans vos modèles.
**Les rafraîchissements automatiques des sources de données sont disponibles pour les utilisateurs selon un calendrier récurrent (quotidien, hebdomadaire, mensuel, annuel) via le hub de données. Les actualisations manuelles s'effectuent également d'un simple clic via le hub de données.

Avec les importations à accès sécurisé, Lucid enregistre ces informations d'identification afin que vous puissiez actualiser vos données ou lancer de nouvelles importations sans avoir à saisir à nouveau vos informations. Cette capacité de stockage permet à Lucid de procéder à l'actualisation automatique des données. Les informations d'identification peuvent être supprimées via l'onglet Informations d'identification du Data Hub.

Si vous travaillez avec un environnement très vaste, utilisez les instructions de la section Configuration du projet de cet article pour réduire la quantité de données importées ou le nombre d'appels d'API que Lucidscale envoie à Google Cloud.

Rendre l'infrastructure Google Cloud dans un document Lucidscale :

1. Cliquez sur + New sur la page d'accueil de Lucid.
2. Passez votre curseur sur "Lucidscale".
3. Sélectionnez le document Google Cloud.
4. Choisissez de créer un document avec un projet Google Cloudprécédemment importé ou cliquez sur Open Data Hub pour importer un nouveau projet.
5. Cliquez sur + Nouveau projet et choisissez une méthode d'importation.
   
   • Après avoir choisi une méthode d'importation et terminé l'importation, le projet sera listé comme source de données dans la section"Google Cloud" dans le Data Hub. Vous pouvez également le trouver listé comme unprojet Google Cloud "importé" dans la fenêtre modale après avoir cliqué sur + Nouveau document > Lucidscale > Google Cloud.
6. Cliquez sur le menu à trois points situé à côté du compte à partir duquel vous souhaitez créer un document.
7. Dans le menu, sélectionnez Créer un nouveau document.
8. Examinez les détails et sélectionnez les vues pour n'ajouter que les ressources nécessaires.
   
9. Sélectionnez Créer un document Google Cloud.

Le document Lucidscale sera généré en arrière-plan de votre compte Lucid. Nous vous informerons dès qu'il aura été rendu par le biais de la fenêtre modale d'état qui apparaît en bas à droite de la page.

Vous pouvez ouvrir le document à partir de la fenêtre d'état qui s'affiche directement après la création d'un nouveau document. Le document (et les documents créés précédemment) sera également stocké et accessible dans la section "Documents" de votre page d'accueil Lucid une fois que vous l'aurez généré.

Importer des projets et créer des documents via le compte de service (recommandé)

Pour importer l'infrastructure Google Cloud via un compte de service et rendre un document Lucidscale, procédez comme suit :

1. Sur la page d'accueil de Lucid, cliquez sur + New.
2. Passez votre curseur sur Lucidscale.
3. Sélectionnez le document Google Cloud.
4. Cliquez sur + Nouveau projet.
5. Sélectionnez le compte Google Cloud Service (recommandé).
6. Cliquez sur Créer un nouveau compte de service.
7. Dans Lucid, sélectionnez l'une des deux options pour attribuer un rôle au compte de service. Cliquez sur le lien suivant qui correspond à la sélection que vous avez faite dans Lucid :
   • Utiliser un rôle en lecture seule pour toutes les ressources (Recommandé)
   • Créer un rôle personnalisé avec des autorisations minimales

Étape 2 : Attribuer un rôle au compte de service en utilisant un rôle en lecture seule pour toutes les ressources (recommandé)

1. Dans la fenêtre modale suivante, sous "Étape 1 : Créer un nouveau compte de service", cliquez sur Créer un compte de service pour ouvrir un nouvel onglet et vous connecter à votre compte Google Cloud. Laissez l'onglet du navigateur Lucid ouvert afin de pouvoir y revenir si nécessaire. 
2. Assurez-vous que l'option "Utiliser un rôle en lecture seule pour toutes les ressources (recommandé)" est sélectionnée.
3. Dans votre console Google Cloud, cliquez sur Créer un compte de service.
4. Ajoutez les détails du compte de service et cliquez sur Créer et continuer.
5. Cliquez sur le menu déroulant "Sélectionnez un rôle".
6. Sélectionnez Basique.
7. Cliquez sur Viewer.
8. Cliquez sur OK.
9. Passez à l'étape 3 : Générez une clé JSON et ajoutez le compte de service à Lucidscale.

Étape 2 : Attribuez un rôle au compte de service en créant un rôle personnalisé avec des autorisations minimales.

1. Dans votre onglet Lucid, sélectionnez l'option "Créer un rôle personnalisé avec des autorisations minimales".
   
2. Cliquez sur Télécharger luciscale.yaml pour télécharger le fichier yaml sur votre ordinateur.
3. Sélectionnez l'onglet Niveau de l'organisation ou Niveau du projet en fonction du niveau de données que vous souhaitez visualiser dans Lucidscale.
   • Dans cet exemple, nous utiliserons l'option Niveau du projet.
4. Copiez la ligne de code affichée qui en résulte.
5. Accédez à votre console Google Cloud et connectez-vous.
6. Cliquez sur Activer Cloud Shell.
7. Cliquez sur l'icône à trois points au-dessus du terminal Cloud Shell et sélectionnez Upload.
8. Recherchez le fichier yaml précédemment téléchargé et téléchargez-le.
9. Collez la ligne de code copiée (à partir de l'étape 4 ci-dessus) dans le terminal et remplacez les valeurs suivantes dans la ligne de code :
   • role-id = la valeur que vous souhaitez utiliser pour l'ID de votre rôle
   • project-id = votre ID de projet Google Cloud
   • yaml-file-path = chemin vers le fichier .yaml fichier
   • Le résultat final devrait ressembler à ceci (en utilisant de fausses valeurs) :
     • gcloud iam roles create lucidscalerole --project=test-project-id --file=lucidscale.yaml
   • Si vous utilisez la ligne de code du niveau organisationnel, l'exemple ressemblerait à ceci (en utilisant également des valeurs fictives) :
     • gcloud iam roles create lucidscalerole --organization=test-organization-id --file=lucidscale.yaml
10. Cliquez sur Autoriser.
11. Dans le terminal, vous serez invité à répondre à la question "Êtes-vous sûr de vouloir effectuer ce changement (O/N) ? Tapez "Y" et cliquez sur Entrée.
12. Passez à l'étape 3 : Générez une clé JSON et ajoutez le compte de service à Lucidscale ci-dessous.

Étape 3 : Générer une clé JSON et ajouter le compte de service à Lucidscale

1. Dans votre console Google Cloud, sélectionnez le compte de service que vous avez créé à l'étape 1.8.
2. Cliquez sur l'onglet "Clés".
3. Sélectionnez Ajouter une clé et cliquez sur Créer une nouvelle clé.
4. Choisissez JSON comme "type de clé".
5. Cliquez sur Créer.
6. Un fichier JSON sera téléchargé sur votre appareil.
7. Retournez à votre onglet de navigateur Lucid ouvert.
8. Sélectionnez Choisir un fichier.
9. Localisez et sélectionnez le fichier JSON que vous avez téléchargé à l'étape 6.
10. Cliquez sur Suivant.

Étape 4 : Ajouter des projets et créer des documents

1. Sélectionnez le(s) projet(s) que vous souhaitez importer dans le Data Hub et utiliser pour générer un document Lucidscale.
   
2. Cliquez sur Suivant.
3. Sélectionnez les ressources à importer.
   
4. Sélectionnez Importer des projets Google Cloud.

Vous pouvez ouvrir le document à partir de la fenêtre d'état qui s'affiche directement après la création d'un nouveau document. Le document (et les documents créés précédemment) sera également stocké et accessible dans la section "Documents" de votre page d'accueil Lucid une fois que vous l'aurez généré.

Configuration du projet à l'aide d'un compte de service

Lors de l'importation d'un projet Google Cloud dans le Lucid Data Hub à l'aide de la méthode du compte de service, vous pouvez omettre certains types de ressources ou de métadonnées de l'importation. Cela vous permet de visualiser uniquement les types de ressources qui vous intéressent et, dans certains cas, d'accélérer l'importation. Les types de ressources et les métadonnées désélectionnés ne seront pas importés ou rendus dans le diagramme.

Importer des projets et créer des documents via Google Cloud CLI

Installez Python si vous ne l'avez pas déjà. Les instructions se trouvent ici. Veillez à cocher l'option "Add Python to PATH" dans le programme d'installation. Vous pouvez vérifier que Python a été correctement installé en essayant les commandes "python" ou "python 3" dans un terminal (MAC OS) ou dans l'invite de commande (Windows).

1. Sur la page d'accueil de Lucid, cliquez sur + New.
2. Passez votre curseur sur Lucidscale.
3. Sélectionnez le document Google Cloud.
4. Choisissez de créer un document à partir d'un projet Google Cloud existant ou cliquez sur Open Data Hub pour importer et rendre un nouveau projet.
5. Cliquez sur + Nouveau projet.
6. Sélectionnez Google Cloud CLI Script.
7. Ouvrez votre terminal ou votre invite de commande, et exécutez la commande : Pip3 install oauth2client google-api-python-client
8. Initialisez le SDK Gcloud en exécutant la commande : gcloud init
9. Authentifiez le SDK Gcloud en exécutant la commande : gcloud auth application-default login
10. Dans la fenêtre modale "Nouveau projet Google Cloud" de Lucid, cliquez sur Télécharger le script.
    • Un fichier nommé "gcpcliscript.py" sera téléchargé.
      
       
11. Naviguez jusqu'à l'emplacement téléchargé du script et exécutez la commande : python3 gcpcliscript.py --projects [project_id [project_ids...]] [-c] [-o] <output file>
    • project_ids : Identifiants du projet, vous pouvez les trouver dans la console Google Cloud sous la liste des projets.
    • -c : produit le fichier count.json qui contient le nombre de ressources de calcul dans les projets Google Cloud spécifiés (facultatif).
    • -o : nom du fichier de sortie
    • par exemple python3 gcpcliscript.py --projets bubbly-xxxxxx-233220 summer-alliance-254420 gcpdev-272652
12. Retournez à la fenêtre modale "Nouveau projet Google Cloud" dans Lucid et cliquez sur Choisir un fichier.
13. Sélectionnez et téléchargez le fichier gcp.json généré par le script.
14. Cliquez sur Suivant.
15. Modifiez le nom du projet et cliquez sur Suivant.
    • Une fois l'importation terminée, leprojet sera répertorié en tant que projet Google Cloud importé dans la fenêtre modale après avoir cliqué sur + New > Lucidscale > Google Cloud document.
    • Le projet sera également affiché dans le Data Hub > Google Cloud : Projets importés.
16. Sélectionnez Créer un nouveau document.
17. Examinez les détails et ajoutez des filtres pour exclure les ressources inutiles.
18. Sélectionnez Créer un document Google Cloud.

Le document Lucidscale sera généré en arrière-plan de votre compte Lucid. Nous vous informerons dès qu'il aura été rendu par le biais de la fenêtre modale d'état qui apparaît en bas à droite de la page.

Vous pouvez ouvrir le document à partir de la fenêtre d'état qui s'affiche directement après la création d'un nouveau document. Le document (et les documents créés précédemment) sera également stocké et accessible dans la section "Documents" de votre page d'accueil Lucid une fois que vous l'aurez généré.

Utilisez le Data Hub pour gérer les données et les informations d'identification importées de Google Cloud Infrastructure.

Projets importés

Une fois les données du projet Google Cloud importées, elles seront répertoriées en tant que source de données avec le nom du projet que vous avez spécifié dans la section "Google Cloud: Imported Projects" du Lucid Data Hub. Dans cette section, vous pouvez également cliquer sur + Nouveau projet pour importer un nouveau projet dans le Data Hub. Les projets Google Cloud que vous avez importés seront listés individuellement dans leData Hub.

Les projets listés dans cette section sont des sources de données qui peuvent être utilisées pour créer de nouveaux documents Lucidscale. Les sources de données ("Projets") contiennent les métadonnées du projet Google Cloud utilisées pour créer les documents Lucidscale. Le champ "Dernière mise à jour" indique la date à laquelle votre source de données a été actualisée pour prendre en compte les éventuelles mises à jour de votre projet Google Cloud connecté.

L'inventaire des nuages de chaque projet est affiché sur le côté droit après avoir sélectionné un projet dans la liste. Cet inventaire vous permet de connaître le nombre total de chaque type de ressource importée avant de créer un document. Vous pouvez également télécharger un fichier CSV contenant la liste des ressources et le décompte directement à partir du Data Hub en cliquant sur Télécharger CSV.

L'inventaire répertorie toutes les ressources auxquelles les autorisations de rôle attribuées à votre compte de service permettent d'accéder. Si vous choisissez "Utiliser un rôle en lecture seule pour toutes les ressources", tous les types de ressources de votre projet qui sont accessibles par le rôle "Viewer" de Google Cloud seront affichés dans l'inventaire. Si vous créez un rôle personnalisé, seuls les types de ressources spécifiés dans les autorisations qui vous sont attribuées seront affichés dans l'inventaire. 

Sélectionnez le menuà trois pointsrendu sur un projet pour afficher jusqu'à six options potentielles : Créer un nouveau document, Mettre à jour le projet à partir de Google Cloud, Planifier la mise à jour, Modifier les ressources, Renommer le projet et Supprimer le projet.

Créer un nouveau document lance le rendu de l'infrastructure Google Cloud associée au projet sous la forme d'un diagramme dans l'espace de travail d'un nouveau document. Le document sera généré en arrière-plan de votre page d'accueil Lucid et vous serez informé de son rendu par le biais de la fenêtre modale d'état qui s'affiche en bas à droite de la page.

Mettre à jour le projet à partir de Google Cloud et planifier la mise à jour vous permet de mettre à jour manuellement ou automatiquement les données du projet Google Cloud que vous avez importées dans le Data Hub afin de refléter tout changement dans le projet Google Cloud connecté. Les nouveaux documents créés à partir du projet après la mise à jour refléteront les modifications apportées au projet Google Cloud connecté.

Modifier les ressources vous permet de modifier les ressources incluses dans chaque ensemble de données. En sélectionnant cette option, vous ouvrirez une fenêtre modale dans laquelle vous pourrez ajouter ou supprimer des ressources dans les ensembles de données existants. Lorsque vous avez terminé votre sélection, cliquez sur Enregistrer et mettre à jour le projet. L'ensemble de données sera ainsi actualisé et les documents faisant référence à cet ensemble de données seront mis à jour avec les informations les plus récentes.
 

Renommer le projet vous permet de modifier le nom de l'ensemble de données sélectionné.

Supprimer le projet supprime le projet importé du Lucid Data Hub et tous les documents créés à partir de ce projet perdent la possibilité de mettre à jour les données de Google Cloud. Vous pouvez importer le même projet Google Cloud plusieurs fois - chaque importation crée une source de données indépendante. Il n'est pas nécessaire de supprimer un projet existant avant de le réimporter.

Identifiants enregistrés

La section " Saved Credentials"dans "Data Hub > Google Cloud" liste les comptes de service Google Cloud que vous pouvez utiliser pour importer des projets Google Cloud dans le Data Hub. Dans cette section, vous pouvez cliquer sur + Nouveau compte de service pour ajouter un nouvel ensemble d'informations d'identification qui peuvent être utilisées pour importer un projet Google Cloud.  

Vous pouvez également partager les comptes de service que vous avez créés avec d'autres utilisateurs. Si vous cliquez sur le menu à trois points rendu sur un compte de service, vous verrez deux options possibles : Partager l'identifiant et Supprimer l'identifiant.

Share credential ouvre une fenêtre modale dans laquelle vous pouvez partager un compte de service que vous avez créé avec un autre utilisateur de votre compte Lucid en spécifiant son adresse e-mail. En lui donnant accès au compte de service, vous lui permettrez d'importer le projet Google Cloud associé dans le Data Hub et de créer des documents Lucidscale. Une fois qu'un identifiant a été partagé avec un autre utilisateur, vous pouvez révoquer son accès à l'identifiant en cliquant sur leX à côté de son adresse e-mail dans la même fenêtre.

Supprimer l'identifiant supprime un compte de service du Data Hub. Après la suppression d'un compte de service, tous les projets précédemment importés avec cet identifiant, ainsi que les documents créés à partir de ces projets, perdront la possibilité de mettre à jour les données de Google Cloud.

FAQ

Comment Lucidscale accède-t-il à notre environnement Google Cloud ? Quel est le niveau d'accès de Lucidscale ?
La méthode recommandée par Lucidscale et Google Cloud consiste à utiliser un compte de service Google Cloud. Nous fournissons une politique qui nous donne un accès "décrire et lister" à votre environnement afin que nous puissions obtenir un inventaire des ressources.

Nous disposons également d'une méthode utilisant un script python que vous pouvez exécuter via l'interface de ligne de commande (CLI) et qui génère un fichier JSON. Les utilisateurs peuvent alors télécharger ce fichier JSON vers Lucidscale et ne pas saisir d'informations d'identification dans Lucidscale. Votre JSON importé sera accessible dans le Lucid Data Hub et pourra être utilisé pour créer des documents Lucidscale.

Quelles sont les API auxquelles Lucidscale a accès ?
Nous utilisons principalement les points d'extrémité de l'API "décrire" et "lister".

Pouvez-vous choisir les métadonnées (les champs et les valeurs affichés dans le panneau Données) qui seront importées ? Si ce n'est pas le cas, quelles sont les métadonnées importées ?
Non, vous ne pouvez pas actuellement choisir les métadonnées qui seront importées. Cependant, nous envisageons de créer une possibilité de le faire à l'avenir. Toutes les métadonnées d'un appel API de description sont importées.

Donnez votre avis sur cet article