Использование vmware powercli для масштабирования vmware vsphere виртуальных машин linux в azure arc

Масштабируемость ВМ

	VMware vSphere 6.0 Enterprise Plus	Microsoft Hyper-V 2012 R2 Datacenter
Макс. vCPU на ВМ	128	64
Макс. ОЗУ на ВМ	4 TБ	1 TБ
Последовательные порты	32 порта	Только подключенные к Named Pipes
Поддержка USB	Да (USB 1.x-3.0), до 20 устройств USB на ВМ	Нет (за исключением Enhanced Session Mode)
Поддержка «горячего» подключения	Да (ЦП, память, диск, сетевая карта, PCIe SSD)	Только диск и память, «горячее» добавление памяти в конфигурации Dynamic
Виртуальных сетевых карт (NIC) на ВМ	10 (любая комбинация поддерживаемых NIC)	8 типа «сетевой адаптер» и 4 — «унаследованный адаптер»
Виртуальных дисков IDE на ВМ	4	4
Емкость виртуального жесткого диска	62 Тбайта	64 Тбайта (формата VHDX в Windows Server 2012)
Поддержка гостевых ОС	Полный список операционных систем, включая FreeBSD 10.0 и Asianux 4 SP3	Меньше гостевых ОС по сравнению с vSphere 6

Create a VM from a template

Getting information is really nice, but you can also create a VM. For example, you have created one or several templates and now you want to create a hundred VMs from these templates. The fastest way is to use PowerCLI. Below, you can see that I get a VM template from VMware vCenter.

Then I get the VM Host inside the Cluster-ESX01 cluster, sort them by memory usage, and then select the host with less memory usage. Next, I create a VM in this VM Host with the template w2016-Core-v1.0.

$VMHost = (Get-VMHost |? Parent -like <Cluster Name>| Sort-Object MemoryUsageGB | Select -First 1).Name

New-VM -Name <VM Name> -Template <Template Name> -VMHost $VMHost

1
2
3

$VMHost=(Get-VMHost|?Parent-like<Cluster Name>|Sort-ObjectMemoryUsageGB|Select-First1).Name

New-VM-Name<VM Name>-Template<Template Name>-VMHost$VMHost

Next, I’m connecting to the vCenter and as you can see, the VM is creating.

Verifying Installation of PowerCLI

Verifying your installation of PowerCLI as successful is the same, regardless of your version of PowerShell. The first step, confirm the presence of the modules from the PowerShell console.

Available PowerCLI modules

Next, attempt to use PowerCLI to connect to vCenter with the cmdlet. This will not only verify the module was installed successfully, it will also test whether or not you connect to your infrastructure correctly.

On Linux

When verifying installation on Linux, you must first set the connection configuration to account for an invalid (or default self-signed certificate) if you encounter any connection issues. Below I am using PowerCLI to connect to vCenter.

Connecting to vCenter with VMware PowerCLI on Linux

Since you were able to successfully connect to your VMware endpoint, the PowerCLI is successfully up and running!

1.б) на WinXP/2003 еще и PowerShell предварительно

Идем на http://www.microsoft.com/powershell, загружаем себе Windows Management Framework Core (!) – это название пакета, в который входит PowerShell. Вполне вероятно, что posh не установится без .Net Framework 2 SP1.
Затем идем на http://vmware.com/go/powercli и загружаем последнюю версию PowerCLI.
Перед установкой запускаем posh и разрешаем выполнение неподписанных скриптов вот такой командой Set-ExecutionPolicyRemoteSigned
илиSet-ExecutionPolicy Bypass
Первое более правильно с точки зрения формальной безопасности, второе – слегка более комфортно- меньше подтверждений требуют. Я в своей НЕ производственной среде использую второй вариант.
А теперь устанавливаем PowerCLI. Next, Next, Finish.

1.а) на Win7\2008 только PowerCLI

На современных ОС от Майкрософт PowerShell (в тексте иногда будет сокращаться как posh) уже установлен.
Поэтому сразу идем на http://vmware.com/go/powercli и загружаем последнюю версию PowerCLI.
Перед установкой запускаем posh и разрешаем выполнение неподписанных скриптов вот такой командой Set-ExecutionPolicyRemoteSigned
илиSet-ExecutionPolicyUnrestricted
Первое более правильно с точки зрения формальной безопасности, второе – слегка более комфортно. Я в своей НЕ производственной среде использую второй вариант.
А теперь устанавливаем PowerCLI. Next, Next, Finish.

Алгоритм установки гипервизора VMware ESXI 6.5

Хочу отметить, что существуют несколько методов достижения нашей поставленной цели, которые могут инсталлировать данную операционную систему:

Первый метод, это установка ESXi 6.5 с помощью установочного диска записанного на болванку. Тут вы вольны использовать любую программу для записи на диск, например, UltraISO. После чего вставляете диск и загружаетесь с него, не забываем его выбрать в качестве основного устройства загрузки в BIOS.
Второй метод. это использование ISO образа с дистрибутивом. который мы будем использовать в KVM-консоли, доступной на портах управления (IMM, IDRAC, ILO, IPMI), примеры монтирования вы можете посмотреть по ссылкам.
Третий метод установки Vmware ESXI 6.5, заключается в использовании виртуального CD-ROM Zalman, который умеет монтировать ISO образы, данный метод похож на первый, тут только в качестве основного устройства в BIOS нужно выбрать именно Virtual-Zalman
Четвертый метод, это использование загрузочной флешки или SD карты, так же подразумевает создание загрузочной флешки Vmware 6.5 1 методом или вторым, с последующей загрузкой в BIOS с нее.
Пятый метод, это установка по сети, через PXE сервер. Тут вам придется создать специальный сервер, на котором будет выложен дистрибутив с гипервизором, об этом я подробно рассказывал.

Когда вы выбрали метод загрузки дистрибутива Vmware ESXI 6.5, можно приступать к его установке, сама инсталляция во всех методах одинакова. Загрузившись с вашего носителя, у вас появится вот такое синее окно инсталлятора, тут будет два пункта:

ESXI-6.5.0-standard installer — собственно сама установка, выбираем данный пункт
Boot from local disk — загрузка с локального диска

У вас появится окно загрузчика «Load ESXi installer», тут можно выбрать старую версию загрузчика или же продолжить установку, нажав Enter.

Начинается процесс подгрузки в оперативную память необходимых файлов Vmware ESXI 6.5 инсталлятора.

Через пару мгновений у вас появится привычный серо-желтый экран, в котором будут загружаться библиотеки и пакеты, тут вы увидите версию релиза, количество вашей ОЗУ и CPU.

Если у вас будет в сервере оперативной памяти меньше, чем 4 ГБ, то вы увидите вот такое пурпурное окно с напоминанием:

The system has found a problem on your machine and cannot continue. Not enough main memory is avaliable to continue. At least 4096 MiB of memory are required.

Если по ресурсам у вас все хорошо, то вы увидите приветственный баннер, на котором нажимаем «Enter».

Читаем лицензионное соглашение и если все вас устраивает, то нажимаем клавишу F11.

Установщик ESXI 6.5, начнет сканирование сервера, на предмет локальный, сетевых или внешних дисков.

В списке дисковых устройств выберите нужные вам, на которое будет устанавливаться ваш гипервизор, хочу отметить, что вы спокойно можете установить на встроенную SD карту, если такая есть или же на внешнюю флешку. Я выбираю локальный диск, размером 5 ГБ.

Задаем язык гипервизора Vmware ESXI 6.5, я оставлю по умолчанию английский, нажимаем Enter.

Указываем пароль от root пользователя, тут требования минимум 7 символов и желательно большие и маленькие буквы.

При нажатии клавиши F11 у вас начинается установка esxi 6.5.

Вот так вот выглядит сам процесс инсталляции гипервизора Vmware ESXI.

Как видим установка Vmware ESXi 6.5, успешно закончена и вам предлагается перезагрузить ваш сервер, соглашаемся.

Процесс установки дистрибутива vSphere PowerCLI

Запускаем установщик vSphere PowerCLI 5.5. Если у вас не установлены дополнительные компоненты такие как VMware Remote Console Plug-in 5.1 и VMware VIX, то сначала начнется их установка. Жмем Install.

Как установить Vsphere Power CLI-01

Начнется установка VMware Remote Console Plug-in 5.1

Как установить Vsphere Power CLI-02

В первом окне мастера жмем «next»

Как установить Vsphere Power CLI-03

Для инсталляции, нажмите соответствующую кнопку «Install».

Как установить Vsphere Power CLI-04

После установки жмем «Finish».

Как установить Vsphere Power CLI-05

Далее начнется установка VMware VIX

Как установить Vsphere Power CLI-06

На экране мастера установки жмем «next».

Как установить Vsphere Power CLI-07

Соглашаемся с лицензионным соглашением, поставив галку «I accept the term in the license agreement» и жмем «next».

Как установить Vsphere Power CLI-08

При желании можем задать каталог установки.

Как установить Vsphere Power CLI-09

Install

Как установить Vsphere Power CLI-10

После окончания установки VMware VIX нажмите «Finish».

Как установить Vsphere Power CLI-11

После установки данных компонентов откроется мастер установки Vsphere Power CLI 5.5

Как установить Vsphere Power CLI-12

Соглашаемся с лицензионным соглашением и жмем next.

Как установить Vsphere Power CLI-13

Можно добавить при желании облачные CLi

Как установить Vsphere Power CLI-14

Install

Как установить Vsphere Power CLI-15

Как установить Vsphere Power CLI-16

Finish.

Как установить Vsphere Power CLI-17

Вот так вот просто установить Vsphere Power CLI 5.5. Материал сайта pyatilistnik.org

Finding VMs Attached to a Virtual Network with PowerCLI

While attempting to narrow down the scope of an issue, you may wonder which VMs are connected to which networks. To figure that out, you can use the command. Let’s learn about this cmdlet in this PowerCLI tutorial.

A port group is essentially a virtual network. To display all port groups, run without any parameters. You should then see a listing of all virtual port groups present in your vSphere environment.

Get-VirtualPortGroup

To find all of the VMs inside of that port group (DPortGroup in my case), you can run the below script. Be sure to replace the value DPortGroup with the name of your Virtual Port Group.

In this one-liner, we are getting a list of all virtual machines that exist in this vCenter appliance, and then filtering with the cmdlet to get only those VMs with a network name that matches our Port Group.

Getting VMs with only a specific port group

With this output, you’ll be able to define what machines are connected and configured for each network.

When asked to locate and analyze which VMs are connected to a particular network in VMware you will now be empowered to provide a PowerCLI reporting solution to this question.

Требования к Vmware vmotion

Ниже представлена картинка с основными требованиями к данной технологии

Минимум гигабитная сеть, желательно выделенная — Настройте каждый хост как минимум с одним сетевым интерфейсом для трафика vMotion. Чтобы обеспечить безопасную передачу данных, сеть vMotion должна быть безопасной сетью, доступной только доверенным сторонам. Дополнительная пропускная способность значительно улучшает производительность vMotion. Когда вы переносите виртуальную машину с помощью vMotion без использования общего хранилища, содержимое виртуального диска также передается по сети.
Совместимость процессоров
Доступ по сети — Для миграции с помощью vMotion требуются правильно настроенные сетевые интерфейсы на исходном и целевом хостах.
vSphere 6.5 и более поздние версии позволяют шифровать сетевой трафик с помощью vMotion. Зашифрованный vMotion зависит от конфигурации хоста или от совместимости между исходным и целевым хостами.
На каждом хосте настройте группу портов VMkernel для vMotion
Чтобы трафик vMotion маршрутизировался через IP-подсети, включите стек vMotion TCP/IP на узле

Дополнительно — https://docs.vmware.com/en/VMware-vSphere/7.0/com.vmware.vsphere.vcenterhost.doc/GUID-3B41119A-1276-404B-8BFB-A32409052449.html

Установка PowerCLI через PowerShell

Если по каким, то причинам вы не хотите ставить толстого клиента, то вы можете воспользоваться установкой, через интернет, и бонусом будет, получение самой свежей версии. Для этого откройте power shell от имени администратора и введите команду:

Install-Module -Name VMware.PowerCLI -AllowClobber -Force

Если у вас появится ошибка:

Install-Module : Имя «Install-Module» не распознано как имя командлета, функции, файла сценария или выполняемой программы. Проверьте правильность написания имени, а также наличие и правильность пути, после чего повторите попытку. строка:1 знак:1 + Install-Module -Name VMware.PowerCLI -AllowClobber -Force + ~~~~~~~~~~~~~~ + CategoryInfo : ObjectNotFound: (Install-Module:String) [], CommandNotFoundException + FullyQualifiedErrorId : CommandNotFoundException

То тут нужно выяснить текущую версию PowerShell и обновить ее до самой последней.

Отказоустойчивость

Что будет, если упадёт кластер KMS

Очевидно, что ничего хорошего. В окне конфигурации Key Management Servers в vCenter будет такая картина.

Падение KMS не повлияет на уже запущенные VM, которые продолжать работать (и их можно будет выключать, включать, мигрировать на другие хосты) до тех пор, пока в ОЗУ ESXi хранятся KEK, ранее полученные у KMS. KEK будут храниться в памяти до перезагрузки ESXi хоста.

При попытке включить VM Encryption при неработающем KMS пойдут ошибки генерации ключа.

Что произойдёт при перезагрузке ESXi хоста

Хост будет требовать включить шифрование вручную

VM, будучи зарегистрированной на хосте, который не хранит в ОЗУ KEK для этой VM (например, если ESXi хост был перезагружен или был добавлен в кластер после первичной инициализации шифрования), будет требовать разблокировать её, передав KEK на ESXi хост.

Дополнительные возможности для Windows

Virtualization Based Security

Для Windows 10, Windows Server 2016 и новее мы можем использовать Virtualization Based Security. Включение VBS принудительно установит механизм загрузки в UEFI и включит Secure Boot. Если VM использовала BIOS, она, скорее всего, не загрузится после включения.

Про VBS можно прочитать в документации Microsoft или блоге VMware. VBS недостаточно включить в настройках виртуальной машины, его необходимо настроить в гостевой ОС. Процедура настройки описана здесь и в документации Microsoft.

Virtual Trusted Platform Module

Для Windows 10 и Windows Server 2016 и новее, включив шифрование конфигурационных файлов VM и используя для загрузки UEFI (Secure boot можно не включать), в настройках VM становится доступна установка vTPM.

Данные vTPM хранятся в файле *.nvram в зашифрованном виде.

В гостевой ОС vTPM определяется как обычный физический TPM 2.0.

vTPM в Windows определяется как обычный TPM 2.0

Bitlocker

С vTPM мы можем использовать Windows Bitlocker без ввода пароля при загрузке Windows.

Windows будет загружаться автоматически и разблокировать диски с помощью ключей в vTPM. Если такую VM вынести за пределы площадки облачного провайдера, (или, если vTPM будет изменён, а такое происходит даже при восстановлении бэкапа VM, кроме восстановления поверх) то Bitlocker будет требовать ввести ключ восстановления Bitlocker. Перенести ключи из vTPM невозможно (такой кейс не описан в документации и простых способов извлечения ключей из vTPM я не вижу).

После ввода ключа восстановление Bitlocker диск останется зашифрован и начнёт использовать новый vTPM, т.е., в случае изменения vTPM, ключ восстановления Bitlocker нужно будет ввести только 1 раз.

Кейс использования vTPM + Bitlocker может быть компромиссом между удобством (VM включается автоматически без ввода пароля Bitlocker) и безопасностью данных (данные зашифрованы средствами гостевой ОС).

Через панель управления VMware Cloud Director 10.1 и новее есть возможность выбрать Storage Policy, использующую шифрование.

Можно изменять как VM default policy, и в этом случае, изменится политика всех дисков VM, у которых Storage policy не задана явно (задана как VM default policy), а также изменится политика хранения конфигурационных файлов VM.

Также можно задавать Storage Policy индивидуально для каждого диска.

Необходимо придерживаться правила, чтоб все диски VM были или зашифрованы, или были без шифрования. При попытке использования дисков с шифрованием и без шифрования на одной виртуальной машине VMware Cloud Director не позволит это сделать.

При зашифрованных конфигурационных файлах виртуальной машины мы увидим напротив VM Storage Policy надпись (Encrypted). При зашифрованных дисках надпись (Encrypted) будет отображаться напротив каждого виртуального диска.

vTPM без шифрования диска средствами VM Encryption

Чтобы подключить vTPM, конфигурационные файлы VM нужно зашифровать (также, должен быть включен Secure Boot и использовать Windows в качестве гостевой ОС). Если использовать Bitlocker, то шифрование дисков VM средствами VM Encryption приведёт к двойному шифрованию и может негативно сказаться на производительности. Чтобы зашифровать конфигурационные файлы и не шифровать диски VM,необходимо назначить VM Storage Policy c шифрованием, а для дисков использовать Storage Policy без шифрования.

Подключить vTPM из интерфейса VMware Cloud Director нельзя, но это возможно сделать через vSphere Client силами инженеров облачного провайдера.

Мониторинг оборудования (В том числе SNMP)

Модель CIM — это открытый стандарт, определяющий характеристики платформы мониторинга аппаратных ресурсов узлов vSphere, на которых развертывается архитектура ESXi. Особенностями такой платформы являются отсутствие агентов и использование стандартов в качестве основы. В состав этой платформы входит диспетчер объектов CIM, который также называют брокером CIM, и набор подключаемых модулей — поставщиков CIM.

Доступ для управления драйверами устройств и соответствующим оборудованием реализован с помощью поставщиков услуг управления облачной инфраструктурой (CIM). Поставщики оборудования, в том числе производители серверов и специализированных устройств, могут регистрировать таких поставщиков для мониторинга и администрирования собственных устройств.

Это относится и к компании VMware, которая разрабатывает модули для мониторинга инфраструктуры серверного аппаратного хранилища и ресурсов, используемых для виртуализации. Эти модули работают на узле vSphere, поэтому они занимают очень мало места и применяются для выполнения конкретных задач в области управления. Брокер CIM собирает данные всех поставщиков CIM и выводит их во внешнюю инфраструктуру с использованием стандартных API-интерфейсов, таких как WS-MAN и CIM-XML. Любое программное средство, которое поддерживает один из этих API-интерфейсов, например HP SIM или Dell OpenManage, может считывать эту информацию и, соответственно, выполнять мониторинг оборудования узла vSphere.

Одной из точек обработки данных CIM является сервер VMware vCenter. В клиенте или веб-клиенте vSphere можно в любой момент просмотреть состояние оборудования любого узла vSphere в среде. Таким образом формируется единое представление показателей работоспособности физических и виртуальных компонентов системы. Можно также настроить сервер vCenter для отправки оповещений, чтобы своевременно узнавать о таких событиях в физической инфраструктуре, как изменение температуры или отключение электричества, а также о серьезных отклонениях от заданных параметров.
Кроме того, решение vSphere использует стандарт SNMP для передачи данных о состоянии оборудования другим средствам управления, которые применяют этот же стандарт. Доступ к ловушкам SNMP возможен как с узла vSphere, так и с сервера vCenter.

2014: Выпуск версии 5.5 R2

12 марта 2014 года компания VMware сообщила о выпуске новой версии надстройки — vSphere PowerCLI 5.5 R2.

Описание

В этой версии реализованы:

управление решением vCenter Site Recovery Manager через публичный API.
создание/удаление тэгов и категорий тэгов.
получение статуса и настройка режима Enhanced vMotion Compatibility (EVC) для кластеров.
управление политиками безопасности для обычных виртуальных коммутаторов (vSwitch) и их групп портов.
поддержка Windows PowerShell 4.0.
поддержка серверов vSphere с настроенным IPv6.
указание приоритета миграции ВМ (VMotionPriority для командлета Move-VM).
использование объекта Hard Disk как RelatedObject в методе Get-Datastore.
командлет Get-Datastore позволяет фильтровать вывод по кластерам.
командлеты Get-Stat и Get-StatType теперь работают со всеми типами, что позволяет собирать больше статистической информации.
добавлена поддержка сетевых адаптеров e1000e.
возможность указания всех значений в параметре DiskStorageFormat при клонировании виртуальной машины.
поддержка 64-битных ОС для методов New-OSCustomizationSpec и Set-OSCustomizationSpec.
свойство ToolsVersion объекта VMGuest показывает версию инструментов как строку.
возможность использования объекта virtual portgroup как RelatedObject в методах Get-VirtualSwitch и Get-DVSwitch.
получение списка ВМ рассортированного по виртуальным коммутаторам.
различные исправления ошибок и улучшения производительности командлетов, которые можно посмотреть в логе изменений.

Посредством VMware SRM через PowerCLI возможны:

настройка репликации ВМ на удаленную площадку.
соединение с сервером vCenter Site Recovery Manager (SRM).
отчет о виртуальных машинах и группах, в которые они входят.
отчет о всех защищенных SRM виртуальных машинах.

Обновленный продукт доступен для загрузки на сайте вендора.

Проверка загрузки процессора хоста (Host CPU Saturation).

Выберите хост, перейдите на вкладку Performance, там переключитесь в режим «Advanced» и выберите объект «CPU»;
Оцените текущую загрузку в MHz (Usage);
Превышает ли средняя загрузка 75% или пиковая — 90%? Если да, возможно, вам не хватает процессорных ресурсов хоста. Проверьте CPU Ready у ВМ этого хоста как показано ниже. Если средняя загрузка ЦП не превышает 75%, перейдите к следующему блоку…

Проверка CPU Ready:

Если вы решаете проблему производительности определенной ВМ, начните с нее. В противном случае выберите хост, перейдите на вкладку Virtual Machines, отсортируйте список по столбцу Host CPU — MHz и проверьте одну-две ВМ из начала списка;
Для измерения CPU Ready выберите ВМ, перейдите на вкладку Performance, выберите режим Advanced и переключитесь в обзор «CPU» (если вы решаете проблему производительности определенной ВМ, начните с нее);
Оцените значение Ready для всех «объектов» виртуальной машины. Отдельным «объектом» является каждый виртуальный процессор ВМ. Вам будет необходимо изменить свойства графика «Chart Options…» для отображения этого графика;
Среднее или максимальное значение Ready для любого виртуального процессора превышает 2000мс? Если да, то у вас наблюдается нехватка процессорных ресурсов хоста.

Схему анализа данного раздела также можно посмотреть на следующем рисунке:

2018: PowerCLI 11.1.0

В конце декабря 2018 года компания VMware выпустила обновление своего консольного фреймворка для управления виртуальной инфраструктурой — PowerCLI 11.1.0.

В этом обновлении:

1. Улучшения Site Recovery Manager Module.

Теперь средствами модуля VMware.VimAutomation.SRM для PowerCLI обеспечивается мультиплатформенная поддержка в плане управления инфраструктурой Site Recovery Manager. Этот модуль можно использовать с PowerShell Core на платформах MacOS и Linux. Он стал одним из специализированных модулей, сконвертированных на другие платформы. Также теперь поддерживается последняя версия Site Recovery Manager 8.1.

2. Обновления Storage Module.

В модуле Storage (VMware.VimAutomation.Storage) было сделано несколько исправлений ошибок и улучшений. Теперь командлет Get-VsanDisk выводит диск vSAN, где находится Witness Component. Также для командлета Start-SpbmReplicationTestFailover больше не нужен параметр VvolId.