Proxmox Virtual Environment

Proxmox Virtual Environment

Proxmox VE 7.0 administracijsko grafičko sučelje
Web stranice:	www.proxmox.com/en/proxmox-ve
Tvrtka/razvijatelj:	Proxmox Server Solutions GmbH
Porodica:	GNU/Linux
Model izvornog koda:	slobodan softver
Posljednja stabilna inačica:	8.2-2 / 22. kolovoza 2024.
Marketinški cilj:	virtualizacija, poslužitelj, računarstvo u oblaku
Dostupni jezici:	Višejezičan
Metoda ažuriranja:	APT
Upravitelj paketa:	dpkg
Podržane platforme:	AMD64 (x86-64)
Tip jezgre:	monolitna (Linux)
Korisničko sučelje:	Web baziran
Licencija:	Affero General Public License
Radno stanje:	razvija se

Proxmox Virtual Environment (Proxmox VE ili PVE) je platforma otvorenog programskog kôda (open-source software) za virtualizaciju i Linux kontejnere. Platforma sadrži takozvani hipervizor koji može pokretati virtualna računala odnosno operacijske sustave, uključujući Linux i Windows kao i Solaris, FreeBSD, macOS, Minix, i druge na sklopovlju (hardveru) x64. PVE se temelji na distribuciji Linuxa Debian s modificiranim kernelom LTS Ubuntua koji omogućuje pokretanje i menadžment virtualnih računala i Linux kontejnera. Proxmox VE sadrži web konzolu i skup programa naredbenog retka (CLI) te nudi REST API za pristup s drugih sustava ili aplikacija.

Podržane su dvije vrste virtualizacije s potpuno web baziranim sučeljem za upravljanje:

• Kontejnerski bazirane, upotrebom LXC kontejnera (od inačice 4.0 zamijenili su OpenVZ kontejnere s LXC kontejnerima).
• Potpuna virtualizacija s upotrebom Linux KVM komponente i QEMU emulatora za virtualizaciju.

Proxmox VE je licenciran pod GNU Affero General Public License, licencom inačice tri.

Povijest

Razvoj Proxmox VE krenuo je kada su Dietmar Maurer i Martin Maurer, dvojica Linux programera, otkrili da OpenVZ Linux kontejneri nemaju alat za izradu sigurnosnih kopija niti grafičko (GUI) menadžment sučelje. KVM se pojavio u isto vrijeme pod Linuxom, te su podršku za njega dodali odmah potom.

Prvo stabilno javno izdanje PVE je objavljeno početkom 2008. godine. Podržavalo je Linux kontejnere (tada OpenVZ) i potpunu virtualizaciju, uz upravljanje (menadžment) iz grafičkog sučelja.

Kako radi Proxmox VE (instalacija)

U najjednostavnijem slučaju, Proxmox VE (PVE) se instalira na kompatibilni x86-64 hardver kao što su: klasično računalo i poslužitelj ili blade poslužitelj, s isporučene ISO slike. Instalacijski program gotovo automatski upravlja cijelim procesom instalacije, slično kao u osnovnoj instalaciji Debian distribucije Linuxa, koristeći cijeli prvi tvrdi disk računala. Moguće su i drugačije vrste instalacije i objašnjene su na PVE wiki stranici. Nakon instalacije, sva administracija i konfiguracija PVE-a odvija se u jednostavnim koracima putem web sučelja. Osim toga, dostupan je i pristup SSH naredbenom retku na root razini (administratorski), na kojem se mogu izvesti opsežniji radovi i posebne konfiguracije na glavnom sustavu korištenjem odgovarajućih skripti, sistemskih programa ili čak ručnim uređivanjem konfiguracijskih datoteka PVE sustava, primjerice u slučaju kada želite nestandardnu konfiguraciju mrežnog, diskovnog ili nekog drugog sustava ili kompomente.

Automatizirana instalacija

Od Proxmox VE inačice 8.2. podržana je automatizirana instalacija Proxmox VE sustava. To je vrlo korisno kod instalacije većeg broja poslužitelja ili tijekom reinstalacije poslužitelja (pr. na novi hardver). Trenutno je moguće automatizirati instalaciju s tri metode:

• Prilagodbom ISO instalacijske datoteke.
• S dodatnog diska (primjerice USB).
• S mreže.

Značajke

Proxmox VE je platforma za virtualizaciju i Linux kontejnere otvorenog programskog kôda, koja koristi dvije tehnologije: Kernel-based Virtual Machine (KVM) za virtualna računala te LXC za Linux kontejnere – sve preko jednog jedinog web sučelja.

Proxmox VE je baziran na GNU AGPL, v3 licenci. Tvrtka koja stoji iza razvoja Proxmox VE (Proxmox Server Solutions GmbH) prodaje opcionalnu pretplatu uz korisničku podršku.

Uz takvu pretplatu korisnici dobivaju pristup enterprise softver repozitorijima ili dodatnu (ovisno o razini pretplate) korisničku podršku.

Virtualizacija

Proxmox VE kao samostalni operativni sustav, sadrži Linux kernel koji radi izravno na hardveru kao hipervizor, a temeljen je na navedenoj KVM tehnologiji, koja za emuliranje hardvera koristi QEMU emulator. Pri tome je KVM centralni dio hipervizora koji omogućuje i korištenje hardverski ubrzanih značajki modernih procesora za virtualizaciju (Intel VT-x ili AMD-V). Dok je QEMU emulator virtualnog sklopovlja (hardvera) jer je za rad virtualnih računala potrebno emulirati sve komponente računala poput: čipseta matične ploče BIOS, mrežne kartice BIOS, disk kontrolera BIOS, grafičke kartice BIOS itd. Ove dvije komponente zajedno su potrebne za virtualizaciju i (zajedno) čine hipervizor za virtualizaciju. Prednost virtualizacije leži u činjenici da se gotovo svaki x86 kompatibilni operativni sustav može pokrenuti pod centralnom administracijom hipervizora bez dodatnih prilagodbi. Dakle ovakav način rada naziva se potpuna virtualizacija ili hardverski virtualni stroj (HVM). Da bi to sve radilo, potrebna je i hardverska podrška za virtualizaciju unutar modernih procesora (CPU), koja se naziva AMD-V (za AMD procesore) ili Intel VT-x (za Intelove procesore).

U drugom slučaju, ako nemamo hardversku podršku unutar procesora za virtualizaciju, i dalje je moguće pokretanje virtualnih računala, ali će ona raditi drastično sporije.

KSM deduplikacija u RAM memoriji

Proxmox VE podržava i takozvani KSM (engl. Kernel Samepage Merging) mehaizam deduplikacije podataka u RAM memoriji hipervizora.

Kernel Samepage Merging (KSM) je značajka deduplikacije RAM memorije hipervizora koju nudi Linux kernel, a koja je prema zadanim postavkama omogućena u Proxmox VE. KSM radi skeniranjem niza stranica fizičke memorije u potrazi za identičnim sadržajem i identificiranjem virtualnih stranica memorije koje su im mapirane. Ako se pronađu identične stranice, odgovarajuće virtualne stranice memorije se ponovno mapiraju tako da sve pokazuju na istu fizičku stranicu, a stare stranice se oslobađaju. Virtualne stranice memorije su pri tome označene kao "copy-on-write", tako da će svako pisanje na njih biti zapisano u novo područje memorije, ostavljajući dijeljenu fizičku stranicu netaknutom.

Dakle upotrebom KSM mehanizama koje koristi i KVM hipervizor, omogućuje KVM gostima (virtualnim računalima) da dijele identične memorijske stranice. Te dijeljene stranice obično su uobičajene biblioteke ili drugi identični podaci koji se često koriste. KSM zbog toga omogućuje veći broj identičnih ili sličnih gostujućih operativnih sustava (virtualnih računala) izbjegavanjem dupliciranja memorije.

Ugniježđena virtualizacija (nested virtualization)

Proxmox VE podržava i takozvanu ugniježđenu virtualizaciju (engl. nested virtualization), a ona se odnosi na način rada u kojem je moguće pokrenuti hipervizor, poput PVE-a ili drugih (pr. VMware ESXi, Microsoft Hyper-V, VirtualBox i sl.), unutar virtualnog računala, koji radi na drugom hipervizoru, umjesto na stvarnom hardveru. Drugim riječima, imate hipervizor instaliran na hardver, na kojemu se pokreće gostujući hipervizor (kao virtualno računalo), a koji ponovno može pokretati vlastita virtualna računala. To je vrlo korisno za testiranje; primjerice ako na postojećem Proxmox VE poslužitelju (hipervizoru) želite pokrenuti novu inačicu Proxmox VE i unutar nje testirati nove značajke i pokretati virtualna računala pod njim. Isto je i s drugim hipervizorima (pr. VMware ESXi, Microsoft Hyper-V, VirtualBox i sl.) koje možda samo želite pokrenuti unutar Proxmox VE (kao hipervizorom) i nešto testirati na njima.

Osim testne primjene, moguće je unutar ovakve ugniježđene virtualizacije pokretati virtualna računala koja se samo prema potrebi mogu ponašati kao hipervizori. To je konkretno slučaj s nekim emulatorima mrežnih uređaja i mreže, poput:

• GNS3
• EVE-ng

Podršku za ugniježđenu virtualizaciju koristi KVM komponenta, oslanjajući se na podršku na razini kernela te kernel modula. Primjerice za Intel procesore je to kernel modul [kvm-intel] odnosno za AMD procesore kernel modul [kvm-amd].

VM emulirani/paravirtualizirani hardver

S obzirom na to da Proxmox VE za virtualna računala koristi KVM ( QEMU) kao takozvani hipervizor, on nativno (iz grafičkog sučelja) podržava mnoge emulirane i paravirtualizirane hardverske komponente, poput:

• Čipseta matične ploče: i440fx ili q35 (više inačica)
• BIOS: SeaBIOS ili OVMF (UEFI)
• Vrsta procesora (CPU): host, kvm32, kvm64, qemu32, qemu64 ili točno definiranih generacija CPUa (tzv. features/flags) poput: athlon, opteron, phenom, broadwell, coreduo i sl.
• Diskovnih kontrolera: LSI53C895A, LSI53C810, MegaRAID SAS 8708EI, VirtIO SCSI (paravirtualiziran), VirtIO SCSI Single (paravirtualiziran), VMware PVSCSI
• Display: Standard VGA, VMware compatible, SPICE, Serial, VirtIO GPU (paravirtualiziran), VirGL GPU (paravirtualiziran)
• Network: Intel E1000, VirtIO (paravirtualiziran), Realtek 8139, VMware vmxnet3
• RNG: VirtIO RNG
• Balloon značajke upotrebe RAM memorije (VirtIO)
• Podršku za QEMU gost agenta

Propuštanje hardvera prema virtualnim računalima

Proxmox VE podržava propuštanje (eng. pass-through): PCI i USB uređaja s fizičkog poslužitelja prema virtualnim računalima, iz grafičkog sučelja. To znači da tada hipervizor PCI ili USB uređajima omogućuje prolaz do virtualnog računala odnosno da virtualno račualo ima izravan pristup fizičkom hardveru.

Dodatne opcije poput CPU zastavica (engl. flags) dostupne su iz grafičkog sučelja ili naredbenog retka. Različite vrste emuliranog hardvera (koji podržava sâm QEMU), također su dostupne preko naredbenog retka (CLI).

Podržani virtualizirani operativni sustavi i Linux kontejneri

S obzirom na to da Proxmox VE u pozadini koristi KVM sustav za virualizaciju, on podržava sve operativne sustave koje podržava i KVM (za virtualna računala), poput:

• Linux: bilo koja distribucija Linuxa: Red Hat Enterprise Linux, CentOS, Rocky Linux, Fedora, Oracle Enterprise Linux, Debian, Ubuntu, SUSE Linux Enterprise Server, openSUSE, Gentoo, Arch Linux, ... .
• BSD: FreeBSD,OpenBSD, NetBSD, DragonflyBSD, ...
• Solaris kompatibilni: Solaris, OpenSolaris, OpenIndiana, Nexenta Core, ...
• Windows: bilo koja inačica počevši od Windows 95 (Windows 95, Windows NT, Windows Server 2000, Windows 2000, Windows XP, Windows Server 2003/R2, Windows Vista, Windows Server 2008/R2, Windows 7/8, Windows 10, Windows Server 2008R2, Windows Server 2012/R2, Windows 11, ...).
• Podržava i: Haiku, ReactOS, Plan 9, AROS Research Operating System i macOS.
• Nadalje, podržava i: Android, GNU/Hurd (Debian K16), Minix 3.1.2a, i mnoge druge operativne sustave.

Vezano za Linux kontejnere, s obzirom na to da Proxmox VE u pozadini koristi LXC tehnologiju, on podržava upotrebu bilo koje distribucije Linuxa kao Linux kontejnera: Red Hat Enterprise Linux, CentOS, Rocky Linux, Fedora, Oracle Enterprise Linux, Debian, Ubuntu, SUSE Linux Enterprise Server, openSUSE, Gentoo, Arch Linux, Slackware i mnogi drugi.

Kontejneri pod Linuxom

Za razliku od virtualnih računala i sâme virtualizacije, Linux kontejneri imaju značajno niže zahtjeve za memorijom i drugim resursima, ali gostujući sustav (Linux kontejner) ograničen je na Linux operativni sustav, budući da se u gostujućem sustavu za kontejnere koristi kernel glavnog sustava. To radi tako da se pomoću cgroups mehanizama Linuxa za Linux kontejner ograničava pristup resursima fizičkog računala (RAM, CPU jezgre, mreža, disk, ...). Naime ovdje nema virtualizacije i svôg emuliranog hardvera: čipset BIOS, mrežna kartica BIOS, disk kontroler BIOS, grafička kartica BIOS i slojeva virtualizacije, pa je jasno da Linux kontejner mora raditi brže i s manjim zahtjevima prema hardveru, od virtualnih računala.

Komunikacija iz Linux kontejnera prema fizičkom računalu i njegovim Linuxom, jer ovdje nema hipervizora, odrađuje se preko takozvanih sistemskih poziva (tako rade i sve aplikacije i komponente normalnog Linuxa), prema kernelu. Linux kontejner nije svjestan toga da nema svoj kernel. Nadalje on nije svjestan niti toga da se izvršava unutar Linux kontejnera, jer se svi ovi sistemski pozivi prema kernelu preslikavaju kroz sloj izolacije (namespaces), do stvarnog kernela i Linuxa (Proxmox VE) instaliranog na hardver. Naime svi sistemski pozivi unutar Linux kontejnera se preslikavaju preko takozvanih izoliranih imeničnih prostora (namespaces) prema stvarnom kernelu i Linux operativnom sustavu odnosno prema Proxmox VE.

Središnji menadžment

Proxmox VE koristi integrirano web bazirano sučelje unutar tzv. klasterskog (visoko dostupnog distribuiranog) datotečnog sustava naziva pmxcfs. To znači da ne postoji jedna točka kvara u klasteru, budući da svaki čvor (fizički host/poslužitelj) ima sve konfiguracijske datoteke pohranjene u datotečnom sustavu klastera, koji se dijeli između čvorova. Štoviše, svaki čvor (fizički poslužitelj) ima sve potrebne uloge/funkcije (upravljanje/vatrozid/sustav za pohranu/mreža/ ...) potrebne za rad. Kako klaster raste, razina redundancije također raste s njim.

To također znači da korisnik može konfigurirati sve potrebno, na bilo kojem čvoru (IP adresi čvora) unutar klastera, jer se sve promjene odmah sinkroniziraju unutar klastera i odmah su dostupne ostalim čvorovima.

Proxmox Offline Mirror

Pomoću alata Proxmox Offline Mirror moguće je upravljati lokalnim apt zrcalnim repozitorijem za sva ažuriranja paketa za Proxmox i Debian projekte. Iz ovog lokalnog apt repozitorija može se stvoriti vanjski medij, na primjer USB pogon ili dijeljeni mrežni disk, za ažuriranje onih sustava koji ne mogu pristupiti repozitoriju paketa izravno putem interneta.

Mrežni model

Proxmox VE koristi Bridge model mrežne veze prema virtualnim računalima i Linux kontejnerima. Mrežni most (premosnik) odnosno bridge radi poput mrežnog preklopnika (switcha) na OSI sloju dva (OSI 2), ali implementiranog u softveru. Neke druge platforme za virtualizaciju (pr. VMware ESXi i Hyper-V) ovakvo sučelje nazivaju vSwitch ili virtual switch.

Svi virtualni gosti (virtualna računala ili linux kontejneri) mogu dijeliti jedno bridge sučelje ili možete stvoriti više bridge sučelja za odvojene mrežne domene. Izolaciju virtualnih računala ili linux kontejnera moguće je postići upotrebom VLAN (ili drugih protokola), obično na razini bridge sučelja prema virtualnom mrežnom sučelju unutar virtualnog računala ili Linux kontejnera (iz grafičkog sučelja).

Za sâmo bridge mrežno sučelje na razini hipervizora, moguće je birati između:

• Linux bridge sučelje
• Open vSwitch bridge sučelja.

Dodatno, moguće je koristiti i takozvana Bond sučelja (agregcija/teaming) i to:

• Linux Bond - za bond sučelje, moguće je odabrati Linux Bond način rada koji najbolje zadovoljava korisnikove potrebe
• Open vSwitch bond vrstu sučelja, za koje je također moguće odabrati način rada koji najbolje zadovoljava korisnikove potrebe.

Sva navedena Bridge i Bond sučelja podržavaju VLANove (802.1Q) za izolaciju virtualnih računala i Linux kontejnera odnosno za segmentiranje mreže.

Nadalje Proxmox VE nativno (iz grafičkog sučelja) podržava i velike mrežne okvire (Jumbo frames). Dakle mrežne okvire veće od 1500 bajta (MTU).

PCI propuštanje

Pošto Proxmox VE podržava PCI propuštanje PCI i PCIe kartica (eng. pass-through), ono se odnosi i na mrežne kartice. To omogućuje izravan pristup fizičkom PCI uređaju, u ovom slučaju mrežnoj kartici, iz virtualnog računala. Ovakav način pristupa i korištenja mrežne kartice nudi najveću (hardversku) brzinu rada, drastično veću i od paravirtualiziranih mrežnih kartica, zato što se njenom mrežnom sučelju pristupa izravno bez slojeva virtualizacije ili paravirtualizacije.

Od novijih inačica Proxmox VE (v.8.x.), u Proxmox VE klasteru je moguće migrirati virtualna računala (HA način rada) koja koriste PCI propuštanje.

Proxmox VE podržava i mrežne kartice koje podržavaju takozvani Single Root I/O Virtualization (SR-IOV) način rada, ali trenutno (v.8.1.x) ne konfiguracijom iz grafičkog sučelja, već iz naredbenog retka.

SDN (Software Defined Network)

Jezgra softverski definiranog umrežavanja odnosno mrežnog stoga (SDN) je kod Proxmox VE-a od inačice 8.1. prešla s eksperimentalnog na standardno podržanu značajku. Pogledajmo što trenutno podržava:

• Proxmox VE SDN omogućuje preciznu kontrolu virtualnih mreža gostiju (virtualnih računala i Linux kontejnera) na razini podatkovnog centra.
• Novi dodatak za automatsko upravljanje IP adresama pomoću DHCP poslužitelja unutar IPAM (IP Address Management) modula može se koristiti za transparentno dodjeljivanje IP adresa virtualnim računalima, za sada (v.8.1) samo u jednostavnim zonama (simple zona). Ova značajka je trenutno označena kao tech-preview.
• Web korisničko sučelje sada omogućuje pregled i uređivanje DHCP unosa kojima upravlja ugrađeni IPAM modul.

To znači da je pomoću SDN modula, uz mnoge druge opcije specifične za SDN, moguće za izolaciju odnosno segmentaciju mreže virtualnih računala i Linux kontejnera koristiti nekoliko modela odnosno tzv. zona:

• Simple zonu kod koje se za svaku ovakvu zonu kreira po jedno izolirano VNet bridge sučelje.
• VLAN zonu koja za izolaciju koristi VLAN-ove (802.1Q).
• QinQ zonu koja za izolaciju koristi QinQ (802.1ad).
• VxLAN zonu koja za izolaciju koristi Virtual Extensible LAN (RFC 7348).
• EVPN zonu koja za izolaciju koristi EVPN (Ethernet VPN).

Sustav za pohranu

Proxmox VE podržava fleksibilne lokalne i udaljene (mrežne) sustave za pohranu podataka (engl. storages), koji se mogu koristiti za pohranjivanje: diskovnih slika virtualnih računala ili Linux kontejnera, sigurnosnih kopija, predložaka linux kontejnera (engl. container template), ISO slika i drugog sadržaja.

Proxmox VE podržava lokalne sustave za pohranu, poput

• LVM
• LVM-Thin
• Mapa (direktorija)
• ZFS datotečnog sustava
• Btrfs datotečnog sustava

Proxmox VE podržava i udaljene (mrežne) sustave za pohranu, poput

• iSCSI
• NFS
• GlusterFS
• SMB/CIFS
• ZFS preko iSCSI
• Ceph (Ceph FS i/ili RBD)
• Proxmox Backup Server

Nadalje, sustavi za pohranu se mogu dijeliti u dvije kategorije:

• File level storage – koji omogućuju pristup POSIX kompatibilnom datotečnom sustavu
• Block level storage – koji omogućuje pristup blokovima podataka.

Osim toga potrebno je definirati vrstu sustava za pohranu, za svaki pojedini sustav pohrane, ovisno o željenoj upotrebi odnosno sadržaju specifičnog sustava za pohranu. Kao što su primjerice sustavi za pohranu:

• Slika diskova virtualnih računala (pr. QCOW2, RAW, VDI, VHD, VMDK,...).
• Slika diskova Linux kontejnera.
• ISO slika.
• LXC predložaka.
• Sigurnosnih kopija [backup] i drugih sadržaja.

Diskovne slike i formati

Vezano za diskovne slike virtualnih računala Proxmox VE nativno iz grafičkog sučelja podržava slijedeće formate:

• .qcow2 - QCOW2 – on je format koji podržava kopiranje tijekom snimanja (copy on write) te omogućuje snimku stanja diska u vremenu (snapshot), ali i dinamičko širenje te minimalno zauzeće diska [engl. thin provisioning] odnosno zauzeće diskovnog prostora samo onoliko koliko je stvarnih podataka.
• .raw- RAW – on je sirovi format (i najbrži) koji ne podržava niti jednu od značajki koje podržava QCOW2 format.
• .vmdk - VMWare format – koristan je ako ste uvezli virtualno računalo s VMware platforme za virtualizaciju.

Nadalje, iz naredbenog retka (CLI) [naredba qemu-img convert], moguće je napraviti razne druge manipulacije i promjene na diskovnim slikama, među kojima je i konverziju između formata diskovnih slika, poput:

• .raw – sirovi (raw), već objašnjen format.
• .qcow2- QCOW2 – napredni, objašnjen format (koristi ga i OpenStack platforma za virtualizaciju).
• .vdi - VDI – VirtualBox format.
• .vhd i .vhdx – Hyper-V formati.
• .vmdk - format VMware platforme za virtualizaciju.
• nekih drugih formata.

Thin provisioning

Određeni broj sustava za pohrana, ali i Qemu format slike qcow2 podržavaju takozvani Thin provisioning način pohrane.

U takvom radu, samo blokovi podataka koje sustav za goste (virtualna računala ili linux kontejnere) zapravo koristi, bit će zapisani u sustav za pohranu to jest diskovni sustav. Recimo da ste, na primjer, stvorili gostujuće računalo (virtualno računalo ili linux kontejner) s tvrdim diskom od 100 GB, a nakon instaliranja operativnog sustava gostujućeg sustava, datotečni sustav sadrži samo 5 GB podataka. U tom slučaju samo se 5 GB zapisuje na sustav za pohranu, čak i ako gostujuče računalo (VM/Kontejner) vidi tvrdi disk od 100 GB. Ovakav rad ovisi o tome na koji sustav za pohranu se spremaju diskovne slike virtualnih računala odnosno Linux kontejnera. Neki od sustava za pohranu koji podržavaju Thin provisioning na Proxmox VE platformi su:

• ZFS
• BTRFS
• CEPH FS
• LVM-thin
• CEPH RBD
• ZFS over iSCSI

Replikacija sustava za pohranu

Proxmox VE podržava redundanciju (zalihost) za goste odnosno virtualna računala ili Linux kontejnere, koji koriste lokalne sustave za pohranu, tako da mogu replicirani njihove diskovne slike na neki drugi PVE čvor (fizički poslužitelj), korištenjem metode koja se naziva "storage replication". Ovakvi replikacijski zadaci mogu biti pokretani automatski u zadanim vremenskim intervalima.

Visoko dostupni (HA) klaster

Proxmox VE (PVE) sustav može se raspodijeliti odnosno raditi na više poslužiteljskih čvorova istovremeno.

Službena dokumentacija jamči (testirana je) na veličinu klastera do 32 fizička poslužitelja (čvora), bez obzira na broj jezgri procesora ili bilo koja druga hardverska ograničenja. Ali moguća je čak i veća veličina klastera (50 ).

Ova ograničenja na veličinu kastera nije nametnuo sâm Proxmox VE već Corosync sustav na kojem je temeljen klaster.

Proxmox VE od inačice 2.0 (iz 2012.g.) nudi visoko dostupni klaster (high availability) koji je baziran na Corosync sustavu.

Od PVE inačice 6.0 u upotrebi je inačica Corosync v.3.x, koja nije kompatibilna s ranijim inačicama PVE sustava. Individualna virtualna računala mogu se konfigurirati za visoku dostupnost, korištenjem ugrađenog ha-manager sustava. U slučaju kada poslužitelj ima samo jedno fizičko mrežno sučelje, ono će biti korišteno i za sve klasterske zadatke. Međutim moguće je koristiti i zasebno mrežno sučelje za klastersku mrežu. Dobra je praksa koristiti zasebnu klastersku mrežu (za corosync), koja upravlja komunikacijom klastera u Proxmox VE.

Vezano za rad u klasteru, ako Proxmox poslužitelj (čvor u klasteru) postane nedostupan, ili je u kvaru, zadano virtualno računalo može se automatski preseliti na drugi fizički poslužitelj u klasteru.

Tijekom bilo koje migracije virtualnog računala s jednog fizičkog poslužitelja na drugi, standardno se koristi klasterska mreža, iako je to moguće i drugačije definirati kroz Web sučelje ili iz naredbenog retka.

Nadalje, FUSE-bazirani Proxmox Cluster filesystem (pmxcfs) omogućuje konfiguraciju svakog fizičkog poslužitelja u klasteru upotrebom sustava Corosync te SQlite sustava.

Redundantni klaster

Pošto je klasterska mreža jedan od najvažnijih dijelova u sustavu otpornom na greške (HA), treba biti svjestan činjenice da drugi mrežni promet potencijalno može poremetiti klastersku sinkronizaciju između poslužitelja. Stoga se preporuča upotreba zasebnog mrežnog sučelja (mrežne kartice) za klastersku mrežu. Kako bi i klasterska mreža bila redundantna, moguće je definirati i više njih. Dakle, moguće je koristiti čak dva (ili više) mrežnih sučelja samo za klastersku komunikaciju, koja se definira u takozvanim klasterskim prstenovima, upotrebom Redundant Ring Protocol protokola. Jedini preduvjet za potpuno redundantnu klastersku mrežu jest upotreba zasebnih mrežnih sučelja - po jedno za svaki prsten klastera. U takvom načinu rada samo jedno klastersko sučelje se koristi u radu, dok je drugo pasivno, sve dok prvo ne postane nedostupno (tzv. Active-Standby način rada).

Višestruki klasteri

Moguće je stvoriti i više klastera u istoj fizičkoj ili logičkoj mreži. U ovom slučaju, svaki klaster mora imati jedinstveno ime kako bi se izbjegli mogući sukobi u komunikacijskom stôgu klastera. Jedna od najavljenih novosti u budućim inačicama (prema službenom Roadmapu [prosinac 2022]) je i mogućnost migracije između više klastera.

Migracija virtualnih računala i/ili Linux kontejnera

Od 2012.g. u HA klasteru moguće je migrirati virtualna računala s jednog fizičkog PVE poslužitelja na drugi.

Vezano za migraciju, PVE podržava sljedeće vrste migracija za virtualna računala i/ili Linux kontejnere:

• Offline
• Online (uz određena ograničenja vezana za LXC kontejnere)

PVE podržava i migraciju virtualnih računala i/ili Linux kontejnera čak i s lokalnih sustava za pohranu (lokalnih fizičkom poslužitelju/hipervizoru) ili korištenjem mrežno dijeljenih sustava za pohranu (pr. NFS, iSCSI, SMB/CIFS, GlusterFS, CEPH, ...).

Za migraciju virtualnih računala ili Linux kontejnera s jednog fizičkog računala na drugo, standardno se koristi klasterska mreža, iako je i to moguće drugačije konfigurirati, kako iz Web sučelja, tako i iz naredbenog retka.

Mapiranje resursa

Unutar klastera, kada koristite ili referencirate lokalne resurse (npr. hardversku adresu PCI uređaja), korištenje PCI adrese uređaja ili njegov ID, ponekad je problematično, kao u slučajevima:

• Kada koristite HA: drugi uređaj s istim ID-om ili stazom do uređaja može postojati na ciljnom čvoru (poslužitelju) u klasteru, a ako netko nije pažljiv pri dodjeljivanju takvih virtualnih računala HA grupama, mogao bi se koristiti pogrešan uređaj, uzrokujuči probleme u radu virtualnog računala.
• Promjena hardvera može promijeniti ID-ove i staze do PCI ili PCIe uređaja, tako da bi trebalo provjeriti sve dodijeljene uređaje i vidjeti jesu li staza do PCI/PCIe uređaja ili njegov ID još uvijek točni.

Da bi se to bolje riješilo, može se definirati mapiranje resursa na razini klastera, tako da resurs ima jedinstveni identifikator klastera - korisnički odabrani identifikator koji može odgovarati različitim uređajima na različitim poslužiteljima u klasteru. Uz to, HA neće pokrenuti virtualno računalo s pogrešnim uređajem, a promjene hardvera mogu se brzo detektirati, kako bi se izbjegli problemi u radu.

Osim mapiranja lokalnih PCI/PCI express uređaja, moguće je mapirati i USB uređaje.

Klonovi i predlošci

PVE podržava klonove i predloške. Klonovi su identične kopije virtualnog računala ili Linux kontejnera, a predlošci (Template) mogu biti kreirani od postojećih virtualnih računala ili Linux kontejnera. Kasnije se predlošci mogu koristiti tako da se on njih naprave klonovi u nova virtualna računala ili Linux kontejnere.

Virtualni softverski kontejneri (appliances)

Proxmox VE dolazi s cijelim nizom softverskih kontejnera (appliances) koji se mogu dohvatiti s interneta, preko grafičkog sučelja.

Moguće ih je koristiti preko: TurnKey Linux Virtual Appliance Library.

Izrada sigurnosnih kopija (data backup)

Proxmox VE ima ugrađen sustav za izradu sigurnosnih kopija (engl. backup), vzdump, koji omogućuje i komprimiranje podataka (data compression) i izvršavanje u pozadini, u tzv. "snapshot" načinu rada. Od 2020. godine dostupan je i napredni sustav naziva Proxmox Backup Server (PBS), koji nudi deduplikaciju, komprimiranje, kriptiranje i autentifikaciju te inkrementalni backup.

Proxmox Backup Server (PBS) je samostalan operativni sustav, koji je potrebno instalirati na zaseban poslužitelj (ili više njih) koji će se koristiti kao mrežni sustav za pohranu sigurnosnih kopija virtualnih računala i Linux kontejnera. Podrška za njega je s druge strane već integrirana unutar Proxmox VE sustava, pa ga je potrebno samo aktivirati i konfigurirati.

Važno je razumjeti da se izrada sigurnosnih kopija (backupa) može raditi samo na sustave za pohranu koji su naznačeni za tu namjenu, a to mogu biti:

• Lokalni diskovi.
• NFS.
• SMB/CIFS.
• GlusterFS.
• iSCSI.
• Ceph RBD.
• CephFS.
• Proxmox Backup Server.

Nadalje, postoji nekoliko vrsta izrada sigurnosnih kopija (backupa):

• Zakazani na razini klastera, u točno određeno vrijeme (pr. svakog dana u određeno vrijeme i sl.), za točno označena virtualna računala ili Linux kontejnere, na točno određeni sustav za pohranu (lokalni ili mrežni).
• Ručno pokrenuti, za željena virtualna računala ili Linux kontejnere.

Postoji i nekoliko načina rada sustava za izradu sigurnosnih kopija::

Postoji i nekoliko načina rada sustava za izradu sigurnosnih kopija::

• Stop mode – osigurava visoku konzistenciju, uključuje zaustavljanje virtualnog računala/Linux kontejnera, izradu sigurnosne kopije i kada je gotovo, ponovnog pokretanja.
• Suspend mode – daje nižu konzisteniju, uključuje pauziranje virtualnog računala/Linux kontejnera, te aktivaciju snapshot moda i izradu sigurnosne kopije, a kada je gotovo, ponovnog pokretanja (iz pauziranog načina rada).
• Snapshot mode – daje najvišu dostupnost sustava uz nižu konzistenciju jer uključuje snapshot (snimku stanja u vremenu) virtualnog računala/Linux kontejnera. Zatim izradu sigurnosne kopije (live) bez zaustavljanja virtualnog računala ili Linux kontejnera (upotreba tzv. QEMU guest agenta unutar virtualnog računala je visoko preporučena).

Izrada snimke stanja u vremenu (snapshot)

PVE također podržava stvaranje snimke stanja virtualnog računala ili Linux kontejnera u datom trenutku (vremenu). Ova značajka se zove snapshot. Možete stvoriti i mnoge snimke stanja; na primjer prije ažuriranja virtualnog računala/kontejnera, i vratiti se na bilo koju od njih.

Napomena: snimka stanja u vremenu nije sigurnosna kopija!

Integrirani vatrozid (Firewall)

PVE ima integrirani vatrozid u tri razine:

• Na razini klastera.
• Na razini fizičkog PVE poslužitelja (hosta/hipervizora).
• Na razini virtualnog računala/kontejnera (gosta).

Administracija temeljena na ulogama

Na Proxmox VE moguće je definirati granularni pristup za sve objekte kao što su:

• Čvorovi u klasteru (fizički poslužitelji) i sistemske postavke.
• Virtualna računala i linux kontejneri.
• Sustavi za pohranu i drugo.

Korištenjem metode upravljanja korisnicima i dopuštenjima na temelju uloga. To omogućuje definiranje privilegija i pomaže nam da kontroliramo pristup objektima sustava. Ovaj koncept radi tako da svaka dozvola navodi subjekt (korisnika ili korisničku grupu) te ulogu odnosno skup privilegija za željene objekte.

Područja provjere autentičnosti

Proxmox VE podržava višestruke izvore autentifikacije kao što su:

• Microsoft Active Directory
• LDAP poslužitelj
• Linux PAM standardna autentifikacija
  • Već postojeći (ugrađeni) Proxmox VE poslužitelj za autentifikaciju
• OpenID Connect.

Nadalje, PVE podržava i dvofaktorsku provjeru autentičnosti.

Vanjski poslužitelji za prikupljanje metrike

U Proxmox VE moguće je definirati vanjske poslužitelje za metriku koji će povremeno primati različite statistike o fizičkim poslužiteljima, virtualnim računalima ili Linux kontejnerima, sustavima za pohranu i slično. Trenutno (v.8.1.) podržani poslužitelji za metriku su:

• Graphite
• InfluxDB

Notifikacijski sustav

Proxmox VE ima integriran sustav za slanje obavijesti u slučaju značajnih događaja u sustavu.

Postoji niz različitih događaja koje je moguće definirati prema željenim kriterijima te definirati odredište na koje se obavijest potom treba poslati.

Moguće je koristiti nekoliko odredišta za slanje ovako definiranih važnih obavijesti. Trenutno su to: Sendmail, SMTP (izravno slanje na SMTP poslužitelj) ili Gotify.

Poznata ograničenja

U Proxmox VE 8.2. (travanj 2024.) poznata su određena ograničenja:

• Svaki pojedini fizički poslužitelj može imati maksimalno RAM memorije: 128 TB {64 PB}.
• Svaki pojedini fizički poslužitelj može imati maksimalno CPU jezgi: 8.192 logičkih CPU jezgri
• Broj fizičkih poslužitelja u high availability klasteru: 32 (službeno, iako su mogući i veći klasteri),.
• Maksimalan broj Bridge sučelja po fizičkom poslužitelju: 4.094
  • Maksimalan broj logičkih mreža, ako se koriste: VLANovi: 4.094
  • Maksimalan broj logičkih mreža, ako se koriste: VxLANovi (pomoću SDN): 16.777.216
  • Maksimalan broj logičkih mreža, ako se koristi: QinQ (pomoću SDN): 16.777.216

Povezani članci

• Virtualizacija
  • Hipervizor
  • QEMU
  • KVM
• Open vSwitch
• OpenStack
• Proxmox Backup Server

Vanjske poveznice

• Službena stranica
• Projekt wiki
• Projekt HOWTOs
• Projekt Forum
• Projekt Bug Tracker
• Projekt Roadmap – popis značajki, ispravki i novosti prema inačicama Proxmox VE
• Projekt API - opis APIja.
• Proxmox VE Admin guide - administratorski vodič (upute za korištenje i rad).