Proxmox VE: ошибка VM is locked (backup) после остановки резервного копирования

Proxmox VE: ошибка «VM is locked (backup)» после остановки резервного копирования​

Недавно я столкнулся с простой, но не самой очевидной ситуацией в Proxmox VE.

Я запустил резервное копирование виртуальной машины на Proxmox Backup Server, а затем остановил задачу через веб-интерфейс. После этого при повторной попытке создать backup получил ошибку:


Главная строка здесь:


В этой статье я покажу, что означает такая блокировка, как безопасно её снять и как проверить, не остался ли на Proxmox Backup Server незавершённый snapshot.

Почему появляется VM is locked (backup)​

Proxmox VE блокирует виртуальную машину на время некоторых операций:

• резервного копирования;
• миграции;
• создания или удаления snapshot;
• клонирования;
• некоторых операций с дисками.

Это необходимо для того, чтобы две конфликтующие операции не выполнялись над одной виртуальной машиной одновременно.

В моём случае backup был остановлен вручную. Сам процесс резервного копирования уже завершился, но у виртуальной машины осталась блокировка:


Из-за неё Proxmox считал, что над виртуальной машиной всё ещё выполняется резервное копирование.

Проверяю наличие блокировки​

Моя виртуальная машина имеет ID 122.

На узле Proxmox VE я выполняю:


Если блокировка осталась, получаю примерно такой результат:


Это подтверждает причину ошибки.

Сначала проверяю, не работает ли backup на самом деле​

Сразу выполнять qm unlock не стоит.

Сначала я убеждаюсь, что резервное копирование действительно остановлено и никакой процесс vzdump сейчас не работает:


Также можно проверить процессы Proxmox Backup:


Если активного задания резервного копирования моей VM уже нет, блокировку можно снять.


Не стоит выполнять qm unlock, если настоящий backup виртуальной машины всё ещё работает.

Снятие блокировки может позволить запустить другую конфликтующую операцию над VM во время уже выполняющегося резервного копирования.

Снимаю блокировку VM​

После того как я убедился, что backup действительно остановлен, выполняю:


Затем ещё раз проверяю:


Если команда ничего не выводит, значит блокировка успешно снята.

Перезагружать виртуальную машину для этого не требуется.

Команда:


не выключает VM и не удаляет её данные. Она снимает административную блокировку Proxmox.

Проверяю Proxmox Backup Server​

После принудительной остановки backup мне также было интересно, не остался ли на PBS незавершённый snapshot.

В моём случае datastore расположен здесь:


А резервные копии VM 122 находятся в:


На сервере PBS я выполняю:


Получаю каталоги примерно такого вида:


Имена каталогов соответствуют времени создания backup snapshot.

Здесь важно учитывать, что время в имени snapshot указано в UTC.

Сопоставляю время остановленного backup​

Мой неудачный backup был запущен:


по местному времени UTC+3.

В UTC это примерно:


Следовательно, если после оборванного задания остался незавершённый snapshot, я ожидал бы увидеть каталог примерно такого вида:


Но такого каталога на PBS не оказалось.

Это означает, что незавершённый snapshot после остановленного задания уже был удалён.

Ищу только snapshot за нужную дату​

Чтобы не просматривать весь список каталогов вручную, можно воспользоваться find:


В моём случае результат был следующим:


Snapshot с временем около 17:57 UTC отсутствовал.

Следовательно, прерванный backup отдельного каталога после себя не оставил.

Проверяю наличие index.json.blob​

Дополнительно я проверил, присутствует ли у существующих backup файл index.json.blob:


В моём случае команда показала существующие snapshot:


У существующих резервных копий manifest присутствовал.

Подозрительного незавершённого каталога я не обнаружил.

Не удаляю каталоги PBS через rm​

Это особенно важно для новичков.

Если я вижу подозрительный каталог внутри:


я не удаляю его вручную командой вроде:



Не стоит вручную удалять содержимое datastore Proxmox Backup Server через rm -rf.

PBS использует дедупликацию и общее хранилище chunks. Удаление backup лучше выполнять штатными средствами Proxmox Backup Server.


Для удаления резервных копий я использую веб-интерфейс PBS либо штатные команды Proxmox Backup Server.

Мой порядок действий при VM is locked (backup)​

Если после остановленного backup я получаю:


то действую следующим образом.

1. Проверяю наличие lock:
   
   
   Bash:

   qm config 122 | grep lock

2. Проверяю, что backup действительно больше не работает:
   
   
   Bash:

   ps aux | grep '[v]zdump'

3. Если процесса нет, снимаю блокировку:
   
   
   Bash:

   qm unlock 122

4. Проверяю результат:
   
   
   Bash:

   qm config 122 | grep lock

5. На PBS смотрю каталог резервных копий виртуальной машины:
   
   
   Bash:

   ls -lah /mnt/datastore/home/vm/122/

6. Сопоставляю время неудачного backup с временем snapshot с учётом UTC.
7. При необходимости проверяю наличие manifest:
   
   
   Bash:

   find /mnt/datastore/home/vm/122/ \
     -maxdepth 2 -type f \
     -name 'index.json.blob' \
     -printf '%h\n' | sort

8. Если незавершённого snapshot нет, запускаю резервное копирование повторно.

Заключение​

В моём случае проблема оказалась не в Proxmox Backup Server и не в повреждённой резервной копии.

После остановки backup осталась обычная блокировка виртуальной машины:


При этом на PBS незавершённого snapshot уже не было.

Мне достаточно было убедиться, что процесс vzdump действительно завершён, после чего выполнить:


и снова запустить резервное копирование.

Для себя я вывел простое правило: если после вручную остановленного backup Proxmox сообщает VM is locked (backup), сначала я проверяю активные процессы и только после этого снимаю lock.

А содержимое datastore Proxmox Backup Server вручную через rm я не трогаю.