Автоматизация работы с VirtualBox: Резервное копирование
VirtualBox — достаточно универсальная, простая и бесплатная платформа виртуализации, что и обеспечило ей широкую популярность, однако, часто не хватает её функциональности для того, чтоб решить ту или иную задачу. Этот недостаток можно частично компенсировать разработав собственные инструменты применяя SDK. Т.к. информации по этой теме в интернете немного в этой статье хочу рассказать о том, как реализовать не требующее остановки резервное копирование виртуальной машины с использованием Python API для VirtualBox. Люди обладающие серьёзным опытом работы с VirtualBox вряд ли найдут в здесь что-то новое, но тем для кого работа с VirtualBox нова и кто хоть немного умеет программировать думаю будет интересно.
Задача
Есть сервер с установленным VirtualBox и несколькими работающими виртуальными машинами(далее ВМ). Требуется периодически копировать выбранные виртуальные машины на другой сервер, при этом должны быть соблюдены следующие условия:
- Образ жесткого диска ВМ должен быть в одном файле.
- Необходимо так же копировать текущее состояние (содержимое RAM) ВМ, файл конфигурации и логи.
- Останавливать работу ВМ при этом нельзя.
- Если что-то пошло не так на каком-то этапе — создать сообщение об ошибке и перейти к копированию следующей ВМ в списке.
Для этого напишем скрипт на Python который будет в качестве параметров принимать разделенные пробелом имена ВМ, которые необходимо подготовить к копированию, и по мере своей работы выводить в стандартный поток вывода STDOUT абсолютные пути к файлам, готовым к копированию, а в поток ошибок SDTERR диагностические сообщения о всех неудачах, которые имели место быть. Дальнейшая судьба полученного списка файлов зависит от конкретной задачи, об этом напишу ниже.
Прежде чем копировать файлы с образами дисков ВМ, нужно привести их в актуальное состояние, а так же сделать так, чтоб VirtualBox гарантированно ничего в них не писал в момент копирования. Для этого нужно поработать со снэпшотами. Остановимся на этом подробнее.
О снэпшотах
Для того чтоб сохранять и восстанавливать состояние ВМ используются так называемые снимки состояния системы (Snapshots). Работают они следующим образом: Когда еще не сделано ни одного снимка, образ виртуального диска ВМ хранится в одном большом файле с разрешением vdi и каким-то понятным человеку именем (по умолчанию это название виртуальной машины). ВМ по мере своей работы читает и пишет в этот файл. Когда создается снимок системы, VirtualBox создает два файла в расширениями vdi и sav и именами из букв цифр и чёрточек. Что-то вроде {4a34e84c-aad0-4486-85d2-2d7fbb472d70}.sav. {4a34e84c-aad0-4486-85d2-2d7fbb472d70} – это id снимка, он нам пригодится позже. Файл в разрешением sav – это сохраненное состояние системы, по сути содержимое оперативки. А в файл с разрешением vdi с этого момента начинают писаться все изменения, которые ВМ делает со своим диском. Это означает, что если у нас есть хотя бы один снэпшот, то файл с образом диска используется только для чтения, и можно его смело копировать.
Когда снимок удаляется – vdi-файл снимка сливается (в смысле merge) с vdi-файлом своего предка, если снимок было всего один, то непосредственно с образом диска. Надеюсь, понятно объяснил. Вообще, снимки можно выстраивать в длинные цепочки и в деревья, но пока нам этого делать не понадобится.
Алгоритм
Чтоб в итоге получить актуальную копию ВМ и ничего не поломать, поступим следующим образом:
Ищем нужные нам машины среди зарегистрированных на сервере ВМ,
Если каких-то не находим:
выводим в STDERR сообщения с названиями не найденных машин
переходим к обработке найденных, если таковые имеются.
Далее для каждой из найденных ВМ:
Проверяем есть ли снимки этой ВМ.
Если снимки есть, и они явно небыли оставлены ранее нашим же скриптом:
ругаемся в STDERR и больше эту машину не трогаем.
Если снимок есть, но он был создан при прошлом резервном копировании:
удаляем его, т.е. объединяем его с образом диска
Создаём новый снимок, чтоб острановить запись в файл-образ диска и получить дамп памяти ВМ.
Выводим в STDOUT абсолютные пути к
только что созданному sav-файлу
образу диска
файлу конфигурации ВМ
(опционально) логам.
Перейдем к практике
Для начала нам потребуется машина с установленным VirtualBox и Python. Я использовал Ubuntu 10.10, VirtualBox 4.0.4 и Python 2.6, так же тестировал на Windows 7 c Python 2.7. [C незначительными изменениями] всё должно работать и на других системах.
Чтобы API стало доступно нужно скачать и установить SDK с официального сайта www.virtualbox.org/wiki/Downloads. Для того, чтоб установить его на Ubuntu понадобилось прописать путь к каталогу с VirtualBox и запустить инсталятор. У меня это выглядело вот так:
# export VBOX_INSTALL_PATH=/usr/lib/virtualbox
# python vboxapisetup.py install
Под Windows устанавливаем аналогично
C:\vbpx\sdk\installer> c:\python27\python.exe vboxapisetup.py install
но при первом запуске скрипта на Windows 7 получил ошибку
ImportError: No module named win32com
Установил требуемый модуль — всё заработало. Скачать для своей версии его можно отсюда:
sourceforge.net/projects/pywin32/files/pywin32/Build216/
В архиве с SDK лежит папка docs, а в ней в разных форматах документация по API. Это самый главный источник информации, поэтому советую пробежаться по ней глазами хотя бы для того, чтоб примерно представлять все наши возможности.
После изучения документации, а так же некоторых статей, ссылки на которые будут ниже у меня получилось вот что:
Disclaimer: возможно код не соответствует всем питоновым стилистическим правилам, т.к. обычно пишу на других ЯП. Если что-то режет глаз, пишите — поправлю.
#!/usr/bin/python
# -*- coding: utf8 -*-
import sys, datetime, time
from vboxapi import VirtualBoxManager
# Название снэпшота. С помощью него будем отличать наши автоматически создааные снэпшоты от всех остальных, дабы не удалить чего лишнего
SNAPSHOT_NAME = "autobackup"
# Максимальное время ожидания завершения асинхронной операции. см. waitFor
MAX_TIMEOUT = 300
# Период проверки условия при ожидании завершения асинхронной операции. см. waitFor
TIME_QUANT = 5
"""
Функция waitFor(cond, message)
Используется, чтоб дожидаться завершения асинхронных методы из API.
В нашем случае это takeSnapshot и deleteSnapshot.
Чтоб узнать, что метод отработал проверяем условие cond в течении MAX_TIMEOUT секунд
с интервалом TIME_QUANT. Условие представляет собой функцию без параметров
(в нашем случае лямбда-выражение) возвращающую значение логического типа.
"""
def waitFor(cond, message):
timeout = 0
while (not cond()):
#print("timeout = " + str(timeout))
if timeout >= MAX_TIMEOUT:
raise Exception(message) # TODO testing
timeout = timeout + TIME_QUANT
time.sleep(TIME_QUANT)
def prepareToCopy(vm):
if vm.snapshotCount > 1:
raise Exception("Найдено больше одного снэпшета.")
if vm.snapshotCount == 1:
curSnapshot = vm.currentSnapshot
if curSnapshot.name == SNAPSHOT_NAME:
session = mgr.getSessionObject(vbox)
vm.lockMachine(session, vbm.constants.LockType_Shared )
session.console.deleteSnapshot(curSnapshot.id);
else:
raise Exception("Название текущего снэпшота(\"" + curSnapshot.name.encode("utf-8") + "\") отличается от \"" + SNAPSHOT_NAME + "\", т.е. он не был создан автоматически. Что с ним делать не знаю.")
# Дождемся удаления снэпшета
waitFor(lambda: vm.snapshotCount == 0, "Не удалось дождаться завершения операции удаления снимка ВМ")
# Сейчас образы дисков смёрджены в один файл.
# Прочитаем абсолютные пути ко всем дискам ВМ в массив vdiFiles
vdiFiles = []
# Примем, что у весех ВМ есть один и только один виртуальный IDE контроллер
storageController = vm.getStorageControllerByInstance(0)
for port in range(storageController.portCount):
for devPerPort in range(storageController.maxDevicesPerPortCount):
try:
dev = vm.getMedium(storageController.name,port, devPerPort)
if dev != None:
vdiFiles.append(dev.location)
# Можно сразу выводить в STDOUT пути к образам дисков,
# но тогда есть опасность, что образ начнет копироваться
# раньше чем будет сделан снимок
except Exception, e:
# Тут мы можем получить xpcom.Exception: 0x80bb0001
# (No storage device attached to device slot 1 on port 0
# of controller 'IDE контроллер').
# Просто проигнорируем его.
pass
# Создаем снимок, чтоб сохранить моментальное состояние ВМ
session = mgr.getSessionObject(vbox)
vm.lockMachine(session, vbm.constants.LockType_Shared)
session.console.takeSnapshot(SNAPSHOT_NAME, "Automatically generated snapshot of virtual machines at " + str(datetime.datetime.now()) + ". It will be deleted when the next backup");
# Дождемся создания снэпшета
waitFor(lambda: vm.snapshotCount == 1, "Не удалось дождаться завершения операции создания снимка ВМ")
# Все подготовительные действия выполнены,
# осталось вывести список файлов
print(vm.snapshotFolder+"/{"+vm.currentSnapshot.id+"}.sav")
print(vm.settingsFilePath)
for vdiFile in vdiFiles:
print(vdiFile);
# Если понадобятся еще и логи ВМ, то они тут:
#print(vm.logFolder)
if __name__ == "__main__":
if len(sys.argv) < 2:
sys.stderr.write("Файл " + sys.argv[0] + " запущен без параметров.\n"+
"Передайте в качестве параметра список имен виртуальных машин"+
" разделенных пробелами," +
"которые нужно подготовить к резервному копированию. "+
"Список не может быть пустым.\n")
exit(-1)
# Создаем объекты для управления VirtualBox'ом
vbm = VirtualBoxManager(None, None)
vbox = vbm.vbox
mgr = vbm.mgr
# Ищем нужные нам машины среди зарегистрированных
allMachines = vbm.getArray(vbox, 'machines')
machines = []
for mname in sys.argv[1:]:
for m in allMachines:
if m.name==mname:
machines.append(m)
break
else:
sys.stderr.write("На серевере не зарегистрирована виртуальная машина \""+mname+"\"\n")
# Последовательно готовим машины к копировнию с обработкой ошибок.
for m in machines:
try:
prepareToCopy(m)
except Exception, e:
sys.stderr.write(("Ошибка при обработке ВМ \"" +
m.name.encode("utf-8") + "\": " + str(e) + " \n"))
Что дальше?
Итак, у нас есть список файлов из которых, в случае чего, можно быстро восстановить ВМ, дальше нам нужно позаботиться о том, чтоб они были скопированы на какое-то надежное хранилище. Для этого можно воспользоваться утилитой scp, ftp-клиентом или скопировать на примонтированный smb ресурс. В моём случае нужно было свести к минимуму количество сетевого трафика, поэтому выбор пал на Rsync. Для тех кто не в курсе кратко расскажу что это такое:
rsync — (англ. Remote Synchronization) программа для синхронизации файлов между удаленными серверами. Существую реализации демона и клиента как под UNIX-подобные ОС, так и под Windows. Особенностью rsync является то, что она не передает все данные, а делит файлы на куски, вычисляет контрольные суммы и передает только изменившиеся части. Дополнительный выигрыш в минимизации трафика достигается за счет использования сжатия.
Для того чтобы собирать резервные копии со всех физических серверов на один
бэкапный установим на него rsyncd и напишим такой вот скрипт:
#!/bin/bash
# Параметры сервера на который сливаем бэкап
RSYNC_HOST=backup.example.com
RSYNC_USER=vm-backup
RSYNC_PASSWORD=SomePassword
# Куда пишем лог
REPORT_LOG=/var/log/vm-backup/`date +%s`.log
# Имя пользователя под которым подключаемся
# к серверу с установленным VirtualBox'ом
USER=backup
# Команда которая подготовит ВМ к копированию
# и вернет список файлов. Параметром передадим ей имя ВМ
# т.е. скрипт приведенный выше
PREPARE_COMAND=prepare_to_sync.py
# Сервер с установленным VirtualBox'ом
HOST=$1
# Имя ВМ
VM=$2
echo "Отчет о резервном копировании виртуальной машины $2 с хоста $1" > $REPORT_LOG
echo "Время начала: `date`" >> $REPORT_LOG
ssh $USER@$HOST "
export RSYNC_PASSWORD=$RSYNC_PASSWORD
$PREPARE_COMAND $VM |
while read file_name; do
echo \"Синхронизирую файл \$file_name ...\"
rsync -av --delete \"\$file_name\" $RSYNC_USER@$RSYNC_HOST::vm/$VM/
done;
" 2>>$REPORT_LOG 1>>$REPORT_LOG
# Чтоб оставить только сообщения об ошибках уберите "2>>$REPORT_LOG"
echo "Время завершения резервного копирования: `date`" >> $REPORT_LOG
Первым параметром он принимает имя физического сервера, а вторым имя виртуальной машины. Если вместо rsync используем что-то другое, то заменяем строчку rsync -av –delete \”\$file_name\” $RSYNC_USER@$RSYNC_HOST::vm/$VM/ на что-то своё, к примеру, scp. И для полного счастья напишем скрипт который будет собирать все ВМ со одного сервера и делать ротацию резервных копий. Его и будем запускать по cron’у
#!/bin/bash
PATH_TO_VMs="/путь/к каталогу/с копиями ВМ/"
PATH_TO_VMs_ARCHIVES="/путь/к каталогу/с архивными копиями ВМ/"
# Имена виртуальных машин
VMs="webServer asterisk mail dns testUbuntu testWin7 testWinXP"
for vm in $VMs; do
cp $PATH_TO_VMs$vm $PATH_TO_VMs_ARCHIVES$mv`date +-%Y_%m_%d-%H-%M` -r
./backup.sh $HOST $vm;
done;
На этом всё.
Полезные ссылки:
www.virtualbox.org/wiki/Downloads — VirtuaBox, SDK и оф. документация:
www.xakep.ru/magazine/xa/132/040/1.asp — Статья статья в XAKEP’е о VirtualBox
srackham.wordpress.com/2010/06/17/merging-and-compacting-virtualbox-snapshots/ — Merging and Compacting VirtualBox Snapshots
gui-at.blogspot.com/2009/09/how-to-clone-virtualbox-virtual-machine.html — How to clone VirtualBox virtual machine
www.itnotes.org.ua/administration/cwRsync/synchronization_disks_on_windows_servers.html — Хорошая статья про Rsync