Импорт данных об инфраструктуре Google Cloud и управление ими в Lucidscale

Поддерживаемые ресурсы и линии Google Cloud

Полный список поддерживаемых ресурсов и линий Google Cloud, доступных в Lucidscale, можно найти в статье Поддерживаемые ресурсы и линии Google Cloud .

Смотреть: Импорт инфраструктуры Google Cloud

Импорт инфраструктуры Google Cloud

Импортировать Google Cloud Infrastructure можно двумя способами: 

• Доверенный доступ: предоставьте учетную запись Google Cloud Service с соответствующими политиками. Для этой учетной записи службы можно установить следующие области прав доступа:
  • Импорт через доступ на уровне проекта позволяет импортировать один или несколько индивидуальных проектов.
  • Импорт с использованием доступа на уровне организации позволяет импортировать все проекты в рамках организации Google Cloud.
• Загрузка файла: выполните скрипт в интерфейсе командной строки Google Cloud (CLI), который соберет данные локально в виде файла JSON, а затем загрузите сгенерированный файл.
  

Ознакомьтесь с таблицей ниже, чтобы узнать подробности о каждом методе и определить, какой из них лучше всего подходит для вашей задачи.

*Тип ресурса 1 — это все сопоставленные ресурсы, перечисленные в разделе «Поддерживаемые ресурсы». Ресурс типа 2 — это облачный инвентарь: широкий спектр неотображенных ресурсов, которые вы можете размещать вручную в своих моделях.
**В центре данных пользователям доступна функция автоматического обновления источников данных по заданному расписанию (ежедневно, еженедельно, ежемесячно, ежегодно). Обновление данных вручную также выполняется одним щелчком мыши через центр обработки данных.

При импорте данных с использованием доверенного доступа Lucid сохраняет эти учетные данные, поэтому вы можете обновить свои данные или начать новый импорт, не вводя информацию повторно. Эта возможность хранения данных позволяет Lucid автоматически обновлять информацию. Учетные данные можно удалить на вкладке «Учетные данные» в Центре данных.

Если вы работаете с очень большой средой, воспользуйтесь инструкциями, приведенными в разделе «Конфигурация проекта» этой статьи, чтобы уменьшить объем импортируемых данных или сократить количество вызовов API, которые Lucidscale выполняет к Google Cloud. 

Для отображения инфраструктуры Google Cloud в документе Lucidscale:

1. Кликни + Новый на главной странице Lucid.
2. Наведите курсор на "Lucidscale".
3. Выберите документ Google Cloud.
4. Выберите создание документа с использованием ранее импортированного проекта Google Cloud или нажмите «Открыть Data Hub» , чтобы импортировать новый проект.
5. Нажмите кнопку «+ Новый проект» и выберите способ импорта.
   
   • После выбора способа импорта и завершения импортапроект будет отображаться в качестве источника данных в разделе «Google Cloud» в Центре данных. Вы также можете найти его в списке «импортированных» проектов Google Cloud в модальном окне после нажатия кнопки «+ Создать» > Lucidscale > Документ Google Cloud.
6. Нажмите на меню с тремя точками рядом с учетной записью, для которой вы хотите создать документ.
7. В меню выберите «Создать новый документ».
8. Просмотрите подробные сведения и выберите нужные представления, чтобы добавить только необходимые ресурсы.
   
9. Выберите «Создать документ Google Cloud».

Документ Lucidscale будет сгенерирован в фоновом режиме в вашей учетной записи Lucid. Мы уведомим вас, как только он будет отображен, через модальное окно статуса, которое появляется в правом нижнем углу страницы.

Вы можете открыть документ из всплывающего окна состояния, которое отображается сразу после создания нового документа. Документ (а также ранее созданные документы) также будут сохранены и доступны в разделе «Документы» на вашей домашней странице Lucid после его создания.

Импортируйте проекты и создавайте документы через служебную учетную запись (рекомендуется).

Чтобы импортировать инфраструктуру Google Cloud через учетную запись службы и отобразить документ Lucidscale, выполните следующие шаги:

1. На главной странице Lucid нажми + New.
2. Наведи курсор на Lucidscale.
3. Выберите документ Google Cloud.
4. Нажмите + Новый проект.
5. Выберите учетную запись Google Cloud Service (рекомендуется).
6. Нажми Создать новую учетную запись службы.
7. В программе Lucid выбери один из двух вариантов назначения роли для учетной записи сервиса. Щелкни по следующей ссылке, которая соответствует выбору, сделанному тобой в Lucid:
   • Используй роль "только для чтения" для всех ресурсов (рекомендуется)
   • Создать пользовательскую роль с минимальными разрешениями

Шаг 2. Назначь роль учетной записи сервиса, используя роль "только чтение" для всех ресурсов (рекомендуется)

1. В следующем модале в разделе "Шаг 1: Создание нового аккаунта сервиса" нажми кнопку Create Service Account, чтобы открыть новую вкладку и войти в свой аккаунт Google Cloud. Оставь открытой вкладку браузера Lucid, чтобы ты мог вернуться к ней при необходимости. 
2. Убедись, что выбрана опция "Использовать роль только для чтения для всех ресурсов (рекомендуется)".
3. В консоли Google Cloud нажмите «Создать учетную запись службы».
4. Добавь сведения об учетной записи сервиса и нажми кнопку Создать и продолжить.
5. Щелкни по выпадающему меню "Выбрать роль".
6. Выбери пункт " Базовый".
7. Нажми кнопку Viewer (просмотрщик).
8. Нажмите Готово.
9. Переходи к шагу 3: сгенерируй JSON-ключ и добавь учётную запись сервиса в Lucidscale.

Шаг 2. Назначь роль сервисной учётной записи, создав пользовательскую роль с минимальными полномочиями

1. На своей вкладке Lucid выбери опцию "Создать пользовательскую роль с минимальными полномочиями".
   
2. Нажмите кнопку «Скачать luciscale.yaml» , чтобы загрузить файл YAML на свой компьютер.
3. Выбери вкладку Organization Level или Project Level в зависимости от того, какой уровень данных ты хочешь визуализировать в Lucidscale.
   • В этом примере мы будем использовать опцию "Уровень проекта".
4. Скопируй полученную строку отображаемого кода.
5. Перейдите в консоль Google Cloud и войдите в систему.
6. Нажмите кнопку «Активировать Cloud Shell».
7. Нажмите на значок с тремя точками над терминалом Cloud Shell и выберите «Загрузить».
8. Перейдите к ранее загруженному yaml-файлу и загрузите его.
9. Вставь скопированную строку кода (из шага 4 выше) в терминал и замени следующие значения внутри строки кода:
   • role-id = значение, которое ты хочешь использовать для идентификатора своей роли.
   • project-id = идентификатор вашего проекта Google Cloud
   • yaml-file-path = путь к файлу .yaml файл
   • Конечный результат должен выглядеть примерно так (используя фальшивые значения):
     • gcloud iam roles create lucidscalerole --project=test-project-id --file=lucidscale.yaml
   • Если ты используешь строку кода Organizational Level, то пример будет выглядеть примерно так (также с использованием фальшивых значений):
     • gcloud iam roles create lucidscalerole --organization=test-organization-id --file=lucidscale.yaml
10. Нажмите Авторизация.
11. В терминале тебе будет выдан запрос "Ты уверен, что хочешь внести это изменение (Y/N)?". Набери "Y" и нажми Enter.
12. Переходи к шагу 3: сгенерируй JSON-ключ и добавь сервисную учётную запись в Lucidscale ниже.

Шаг 3: Сгенерируйте JSON-ключ и добавьте учетную запись службы в Lucidscale.

1. В консоли Google Cloud выберите учетную запись службы, созданную на шаге 1.8.
2. Перейди на вкладку "Ключи".
3. Выбери пункт Add Key и нажми кнопку Create new key.
4. В качестве "типа ключа" выбери JSON.
5. Щелкни по кнопке Создать.
6. На твоё устройство будет загружен JSON-файл.
7. Перейди обратно на открытую вкладку браузера Lucid.
8. Выбери пункт Choose file.
9. Найди и выбери для загрузки файл JSON, который ты загрузил в шаге 6.
10. Нажмите Далее.

Шаг 4: Добавьте проекты и создайте документы.

1. Выберите проект(ы), которые вы хотите импортировать в Центр данных и использовать для создания документа Lucidscale.
   
2. Нажмите Далее.
3. Выберите ресурсы для импорта.
   
4. Выберите Импортировать проекты Google Cloud.

Вы можете открыть документ из всплывающего окна состояния, которое отображается сразу после создания нового документа. Документ (а также ранее созданные документы) также будут сохранены и доступны в разделе «Документы» на вашей домашней странице Lucid после его создания.

Конфигурация проекта с использованием учетной записи службы

При импорте проекта Google Cloud в Lucid Data Hub с использованием сервисной учетной записи вы можете исключить из импорта выбранные типы ресурсов или метаданные. Это позволяет визуализировать только интересующие вас типы ресурсов и в некоторых случаях может ускорить импорт. Отмененные типы ресурсов и метаданные не будут импортированы или отображены в схеме.

Импортируйте проекты и создавайте документы с помощью Google Cloud CLI.

Установите Python, если у вас его еще нет. С инструкцией можно ознакомиться здесь. Убедитесь, что вы установили флажок «Добавить Python в PATH» в установщике. Вы можете проверить, правильно ли установлен Python, попробовав команды «python» или «python 3» в терминале (MAC OS) или командной строке (Windows).

1. На главной странице Lucid нажми + New.
2. Наведи курсор на Lucidscale.
3. Выберите документ Google Cloud.
4. Выберите создание документа из существующего проекта Google Cloud или нажмите «Открыть Data Hub» , чтобы импортировать и отобразить новый проект. 
5. Нажмите + Новый проект.
6. Выберите скрипт Google Cloud CLI.
7. Открой свой терминал или командную строку и выполни команду: Pip3 install oauth2client google-api-python-client
8. Инициализируй Gcloud SDK, выполнив команду: gcloud init.
9. Пройди аутентификацию Gcloud SDK, выполнив команду: gcloud auth application-default login.
10. В модальном окне «Новый проект Google Cloud» в Lucid нажмите «Загрузить скрипт». 
    • Будет загружен файл с именем «gcpcliscript.py».
      
       
11. Перейдите в папку, куда был загружен скрипт, и выполните команду: python3 gcpcliscript.py --projects [project_id [project_ids...]] [-c] [-o <output file>]
    • project_ids: Идентификаторы проектов, их можно найти в консоли Google Cloud в списке проектов.
    • -c: выводит файл count.json, содержащий количество вычислительных ресурсов в указанных проектах Google Cloud (необязательно)
    • -o: имя выходного файла
    • например. python3 gcpcliscript.py --projects bubbly-xxxxxx-233220 summer-alliance-254420 gcpdev-272652
12. Вернитесь к модальному окну «Новый проект Google Cloud» в Lucid и нажмите «Выбрать файл».
13. Выбери и загрузи файл gcp.json, сгенерированный скриптом.
14. Нажмите Далее.
15. Измените название проекта и нажмите «Далее».
    • После завершения импортапроектбудет отображаться как « Импортированный проект Google Cloud» в модальном окне после нажатия кнопки «+ Создать» > «Lucidscale» > «Документ Google Cloud».
    • Проект также будет отображаться в разделе Data Hub > Google Cloud: Imported Projects.
16. Выберите «Создать новый документ».
17. Просмотрите подробности и добавьте фильтры для исключения. ненужные ресурсы.
18. Выберите «Создать документ Google Cloud».

Документ Lucidscale будет сгенерирован в фоновом режиме в вашей учетной записи Lucid. Мы уведомим вас, как только он будет отображен, через модальное окно статуса, которое появляется в правом нижнем углу страницы.

Вы можете открыть документ из всплывающего окна состояния, которое отображается сразу после создания нового документа. Документ (а также ранее созданные документы) также будут сохранены и доступны в разделе «Документы» на вашей домашней странице Lucid после его создания.

Используйте Центр данных для управления импортированными данными и учетными данными Google Cloud Infrastructure.

Импортированные проекты

После импорта данных проекта Google Cloud он будет отображаться в списке источников данных с именем проекта, указанным вами в разделе «Google Cloud: Импортированные проекты» в Lucid Data Hub. В этом разделе вы также можете нажать кнопку «+ Новый проект», чтобы импортировать новый проект в Data Hub. Импортированные вами проекты Google Cloud будут отображаться в Data Hubпо отдельности.

Проекты, перечисленные в этом разделе, представляют собой источники данных, которые можно использовать для создания новых документов Lucidscale. Источники данных («Проекты») содержат метаданные проектов Google Cloud, используемые для создания документов Lucidscale. Поле «Последнее обновление» указывает, когда ваш источник данных был в последний раз обновлен с учетом любых обновлений в подключенном проекте Google Cloud.

После выбора проекта из списка, облачный инвентарь каждого проекта отображается в правой части экрана. Этот список позволяет увидеть полное количество каждого типа ресурсов, импортированных перед созданием документа. Вы также можете загрузить CSV-файл со списком ресурсов и данными подсчета непосредственно из Центра данных, нажав кнопку «Загрузить CSV».

В инвентаризации перечислены все ресурсы, доступ к которым возможен с помощью разрешений роли, назначенных учетной записи службы. Если вы выберете вариант "Использовать роль только для чтения для всех ресурсов", все типы ресурсов в вашем проекте, доступные для роли "Просмотрщик" Google Cloud, будут отображаться в инвентаризации. Если вы создадите пользовательскую роль, в инвентаризации будут отображаться только типы ресурсов, указанные в разрешениях назначенной роли. 

Выберите меню стремяточками, отображаемое на странице проекта, чтобы увидеть до шести возможных вариантов: Создать новый документ, Обновить проект из Google Cloud, Запланировать обновление, Редактировать ресурсы, Переименовать проект и Удалить проект.

При создании нового документа начнется отрисовка инфраструктуры Google Cloud , связанной с проектом, в виде схемы в рабочем пространстве нового документа. Документ будет сгенерирован в фоновом режиме на вашей главной странице Lucid, и вы получите уведомление о его завершении в модальном окне состояния, которое появится в правом нижнем углу страницы.

Функции «Обновить проект из Google Cloud» и «Обновить расписание» позволяют вручную или автоматически обновлять данные проекта Google Cloud, импортированные в Data Hub, чтобы отразить любые изменения в подключенном проекте Google Cloud. Новые документы, созданные на основе проекта после обновления, будут отражать все изменения в подключенном проекте Google Cloud. 

Функция «Редактировать ресурсы» позволяет редактировать ресурсы, включенные в каждый набор данных. Выбор этой опции откроет модальное окно, в котором вы сможете добавить или удалить любые ресурсы из существующих наборов данных. После завершения выбора нажмите «Сохранить и обновить проект». Это обеспечит обновление набора данных и обновление документов, ссылающихся на этот набор данных, до самой актуальной информации.
 

Переименование проекта позволяет тебе изменить название выбранного набора данных.

Функция «Удалить проект» удаляет импортированный проект из Lucid Data Hub, и все документы, созданные на основе этого проекта, потеряют возможность обновления данных из Google Cloud. Вы можете импортировать один и тот же проект Google Cloud несколько раз — каждый раз создается независимый источник данных. Удаление существующего проекта перед повторным импортом не требуется.

Сохраненные учетные данные

В разделе «Сохраненные учетные данные» в «Центре данных > Google Cloud» перечислены учетные записи служб Google Cloud, которые можно использовать для импорта проектов Google Cloud в Центр данных. В этом разделе можно нажать кнопку «+ Новая учетная запись службы», чтобы добавить новый набор учетных данных, которые можно использовать для импорта проекта Google Cloud.  

Ты также можешь поделиться созданными тобой учетными записями служб с другими пользователями. Если ты нажмешь на трехточечное меню, оказанное на сервисной учетной записи, то увидишь две потенциальные опции: Поделиться учетными данными и Удалить учетные данные.

Функция «Поделиться учетными данными» открывает модальное окно, в котором вы можете поделиться созданной вами учетной записью службы с другим пользователем вашей учетной записи Lucid, указав его адрес электронной почты. Предоставление ему доступа к учетной записи службы позволит ему импортировать связанный проект Google Cloud в Data Hub и создавать документы Lucidscale. После того, как учетные данные были предоставлены другому пользователю, вы можете отозвать его доступ к ним, нажав на крестик рядом с его адресом электронной почты в том же модальном окне.

Удаление учетных данных удаляет учетную запись службы из Data Hub. После удаления учетной записи службы все проекты, ранее импортированные с использованием этих учетных данных, а также документы, созданные на основе этих проектов, потеряют возможность обновлять данные из Google Cloud.  

Часто задаваемые вопросы

Как Lucidscale получает доступ к нашей среде Google Cloud? Какой уровень доступа есть у Lucidscale?
Рекомендуемый способ, предлагаемый Lucidscale и Google Cloud, — использование учетной записи Google Cloud Service. Мы предоставляем политику, которая дает нам доступ на «описание и перечисление» вашей среды, чтобы мы могли составить инвентаризацию ресурсов.

У нас также есть метод, использующий скрипт Python, который можно запустить через интерфейс командной строки (CLI) и который генерирует JSON-файл. Затем пользователи могут загрузить этот JSON-файл в Lucidscale, не вводя в Lucidscale никакую информацию об учетных данных. Импортированный вами JSON-файл будет доступен в Lucid Data Hub для использования при создании документов Lucidscale.

К каким API обращается Lucidscale?
В основном мы используем API-интерфейсы describe и list.

Можно ли выбрать, какие метаданные (поля и значения, отображаемые на панели «Данные») будут импортированы? Если нет, то какие метаданные будут импортированы?
Нет, в настоящее время вы не можете выбирать, какие метаданные будут импортированы. Однако мы планируем добавить такую возможность в будущем. Импортируются все метаданные из вызова API describe.

Оставьте отзыв об этой статье