üdv

Újabb kérdés: ESXi-nél tudom, hogy 1 clusterben megosztani egymás között diskeket, kvázi vSAN-ként. Most 2 node van proxmox alatt, viszont annyit akarnék, hogy a templateket lássa a másik node (HDD-n lenne), meg az iso-kat. De jelen állás szerint fel kell töltenem az iso-kat mind a 2 node alá, ugyan ez a templátum, mind a kettő noden létre kell hozni. Nem lehet egyszerűen megosztani ezt?

Gyermektelen, nem házas, másodrangú állampolgár

Szia,

Én totál nem értek a raid vezérlőkhöz, de mivel a proxmox alatt Debian 11 van, nem ilyesmi kell neked? [link]

Ha nem sikerül az indulás és más sem tud segíteni, akkor érdemes a debian fórumban is megkérdezni. Az, hogy utána a proxmox hogyan és mit kezd vele, még a következő lépés lesz, arról még ennyi fogalmam sincs

Szia!

A Datacenter -> Storage alatt hozzáadhatsz pl. samba megosztást, vagy bármit, ami az add menüben fel van sorolva. Beállíthatod azt is, hogy a storage melyik node-on látszon és hogy miket tartalmazhat.
Amit oda feltöltesz, azt látja minden node, amit beállítottál, container tempalte lehetőség is van.
Akár olyat is csinálhatsz, hogy létrehozol egy virtgépet vagy konténert az egyik node-on, amire ráraksz egy samba-t és abból csinálsz megosztást, amit felraksz storage-ként.

/* Egy lelkes kontár */

Van egy vNAS-om, lehet h annak a samba-ját megosztom köztük és le van tudva

Gyermektelen, nem házas, másodrangú állampolgár

Ha a 2 proxmox hoston bekapcsoltam a ZRAM-ot, van értelme a VM-eken is?

Gyermektelen, nem házas, másodrangú állampolgár

Van 3db 4TB HDD és egy 500GB nvme SSD.
Ki milyen felosztásban telepítene rá PVE-t?
Volt már SSD-n a rendszerem de hamar megette.
Arra gondoltam, hogy 3xHDD RaidZ-n lenne a rendszer és az SSD csak cache lenne, esetleg szétparticionálva VM is lenne rajta.
Nem tudom melyik lenne a jobb, tartósabb megoldás?

hamar megette? hogy? akkor nem egyszerűbb egy micro,/intel/samsung vállalati ssd-re rakni?

Gyermektelen, nem házas, másodrangú állampolgár

Ez most SN700-as 1000TBW de a mezei 300ast fél év alatt lenullázta.

[ Szerkesztve ]

hogy? mindent arra írtál?

Gyermektelen, nem házas, másodrangú állampolgár

Csak a rendszer volt rajta.

Akkor hamar vege lesz a 840 EVO-mnak

Gyermektelen, nem házas, másodrangú állampolgár

Szia!

Szerintem ez a felhasználástól is függ.

Otthon, hasonló felállásban, egy 120GB-os Patriot SSD-re tettem a rendszert és 2db 5GB-os HDD van mellette ZFS Raid1-be kötve. Ezen vannak az adatok.
A PVE-t Debian-ra raktam, amit ext4 fájlrendszerrel készítettem elő és minden partíciót noatime, nodiratime kapcsolóval hoztam létre (ez is csökkenti valamelyest az írások számát).
Szerintem az sem mellékes, hogy van a gépben 32GB RAM, úgyhogy lényegében csak a log fájlokat írja az ssd-re.
Egy container-t használok állandó jelleggel rajta, amiben egy samba fut a fájlmegosztáshoz.
Néha szoktam rajta használni VM-eket, ha tesztelek valamit, de más nem fut rajta folyamatosan.

Amiben spéci ez a telepítés, hogy van az alap Debian-on KDE Plasma desktop, így önmagán menedzselem a rendszert (127.0.0.1:8006). No ez az, amit a Proxmox fejlesztői erősen ellenjavallanak és céges környezetben én sem csinálnék ilyet
Otthon viszont kb. 3 éve fut hibátlanul.
Mivel nem torrentezek, nem megy éjjel nappal, csak annyit, mint az otthoni munkaállomások. Az SSD állapota is ennek megfelelő kb.

A munkahelyi rendszer viszont már egy teljesen más téma. Már csak azért is, mert itt nincs SSD

/* Egy lelkes kontár */

Am erre a feladatra nem jo a TrueNAS?

Gondolom 2 darab 5TB hdd es nem 5gb

[ Szerkesztve ]

Gyermektelen, nem házas, másodrangú állampolgár

Nekem egy 250-es Samu 860 Pro-n van a proxmox, a vm-ek külön ssd-n. 2022.06 körül raktam bele a gépbe akkor volt 5,36TB írás benne, most van 9.32 TB. Kíváncsi leszek mennyit fog elmenni. 98%-al vettem, most áll 95%-on, 16925 óra van benne.
32GB RAM van a gépben.

[ Szerkesztve ]

Swift 1.3 GLX, Garmin Fēnix 6s, EOS R, Dell T110 II, iPad Pro, iPhone 15 Pro, Unifi

Igen, persze, hogy 5TB Hülyeséget írtam

Igazad van, jó lenne, de ez nem egyszerű NAS, másra is használom alkalomadtán. Proxmox-ot és Samba-t meg minden nap használok, kézre áll.
6. gen I5 proci, túl drága lenne sima nas-nak.
SSD-t azért raktam bele olcsót, mert én is úgy olvastam régebben, hogy hamar tönkremegy szerverekben. Kezdetben csak kísérlet volt.
Eleve eldobhatóra csináltam az egészet. Bármikor újratelepíthető, csak felcsatolom hozzá a ZFS-t és megy minden tovább. Egy rövidke script és egy smb.conf kell hozzá.

/* Egy lelkes kontár */

Nálam a rendszer egy 80GB -os raptor HDD-n van. A hozzátartozó cache pedig ssd-n, de ezt ritkán használja (64GB ram van benne). Az i/o wait-től tartottam, de nagyon nagyon ritkán van használva a raptor. influx-ba küldöm be a metrikát külön.

Továbbá az összes VM és LXC szintén nvme-n van (3db).
Még 3db storage célú hdd van, ebből az egyik a PVE számára backup-nak van adva.
Egyedüli probléma, hogy az összes backup a VM és konténerekről a gépen belül vannak csak..

Viszont a kérdésednél maradva én egy külön tárra tenném ezeken felül a pve-t. Az 500-as ssd-re pedig a VM, containerek számára adnám.

“The workdays are long and the weekend is short? Make a turn! Bike every day, bike to work too!”

Viszont lenne egy kérdésem, ha egy unprivileged container-t hozok létre az alatt sem látom tisztán a gépben lévő hdd-ket, hdsentinel nem tudja olvasni..

Bevallom a PVE-re nem raknék python-t se docker-t és jelenleg python-ba (docker-be csomagolva) írtam meg, hogy mqtt-n elküldöm a hdsentinel-es adatokat. De így nem tudom használni..

Ki, hogyan oldaná meg (persze tehetnék fel python-t, de alapjában véve a PVE-t nem "szemetelném")? Nem tudom pontosan, hogy mi korlátozz be az LXC-ben, hogy a smart- adatokat is lássam..

“The workdays are long and the weekend is short? Make a turn! Bike every day, bike to work too!”

Nem használtam még hdsentinelt linux alatt, de Windows-on admin jog kell hozzá. A nonprivileged container-nek meg pont az a lényege, hogy nem a host root-ja a root. Ezért biztonságosabb. Lehet, hogy emiatt nem tudja olvasni?
Szerk: bocs, ha be kell lépni a válaszhoz, nem válaszként teszi be, hanem új hozzászólásként...

[ Szerkesztve ]

/* Egy lelkes kontár */

Nem használtam még hdsentinelt linux alatt, de Windows-on admin jog kell hozzá. A nonprivileged container-nek meg pont az a lényege, hogy nem a host root-ja a root. Ezért biztonságosabb. Lehet, hogy emiatt nem tudja olvasni?

/* Egy lelkes kontár */

Teljesen jó a meglátás, pedig még le is írtam (csak már régebben próbáltam) és az eszembe is volt, de most nem figyeltem rá csak leírtam.

Viszont ez alapjában véve kevés a config fájlban kell ez a módosítás is és akkor szépen olvassa a smart adatokat:
lxc.mount.entry: /dev  dev                            none bind,optional,create=dir
#lxc.mount.entry: /dev/serial/by-id  dev/serial/by-id  none bind,optional,create=dir

Köszönöm a segítséget
Megy unprivileged mode-ban is így.

“The workdays are long and the weekend is short? Make a turn! Bike every day, bike to work too!”

Egy container-t használok állandó jelleggel rajta, amiben egy samba fut a fájlmegosztáshoz.

Épp meg akartam kérdezni, hogy ezt hogy sikerült elérni, hogy a container intézze a samba megosztásokat, én privileged-ként nem értem el a Webmin-t sem (nem mertem egyedül hozzáfogni szambázni ), unprivileged-ként meg tök macerás a userek átruházása a containernek.

De ezek szerint ezzel a megoldással:
lxc.mount.entry: /dev dev none bind,optional,create=dir

a teljes eszközpark az LXC rendelkezésére áll?

Van erre egy best practice-ed? Nálam végül a Webmin és a samba a host-on kötött ki.

Nézd meg valahogy a kondíciót, kíváncsi lennék rá.

A proxmox 5%-os wear levelt ír, így szerintem 95%-os a kondíció, de majd megnézem hdsentinel-el is.

szerk: hdsentinel szerint 95%-os

[ Szerkesztve ]

Swift 1.3 GLX, Garmin Fēnix 6s, EOS R, Dell T110 II, iPad Pro, iPhone 15 Pro, Unifi

Köszi, és a rendszerből semmi nincs átirányítva máshová?

Proxmox szerint az en samum 6%os,smart 144es ertek 68. z 68%, nem? Vagy h van ez

Gyermektelen, nem házas, másodrangú állampolgár

Nem nincsen, egyedül a ha dolgokat szoktam leállítgatni, biztos lehetne még faragni az írásból.

Swift 1.3 GLX, Garmin Fēnix 6s, EOS R, Dell T110 II, iPad Pro, iPhone 15 Pro, Unifi

Köszi, akkor lehet csak sokat próbálgattam, telepítgettem és ezért zuhant meg a kondició. Az új SSD meg tartósabb is.

Valaki rakott már MacOS-t Proxmox alá?
Ez alapján csináltam: [link] De valamiért a végén nem akar bootolni, itt megakad:

Telepítés végigmegy, utána ez jön be, hiába megyek rá a macOS-re, az alma logós töltődés után ugyan ide jut.

Swift 1.3 GLX, Garmin Fēnix 6s, EOS R, Dell T110 II, iPad Pro, iPhone 15 Pro, Unifi

én raktam, ez alapján [link] , de ezen a ponton én is sokáig küzdöttem mire tovább ment

Nálad mi lett a megoldás?

Swift 1.3 GLX, Garmin Fēnix 6s, EOS R, Dell T110 II, iPad Pro, iPhone 15 Pro, Unifi

nálam ez nem volt jól beírva osk="..." és azért de az args: kizárásokkal is variáltam

[ Szerkesztve ]

Van 1 kerdesem. Van ertelme a proxmoxot egy kulon, kicsi, akar 64es msata SSD-re rakni? Akkor lenne 1 szabad 2.5 slotom. 851 871 es hasonlo samsungokat tudnek szerezni. Le lehet kapcsolni a logolast ra, meg a tobbi hulyeseget? Az ISO-k es templatek tudnanak menni egy shared SMB/iSCSi storagere, tehat kvazi az OS maradna. Most is elvagyok, csak optimalizalni kene.

Vagy meg az jarhato, hogy egy 250es ssd kisebbik reszet felhasznalom cachelni egy HDD-re?

Egy osszefoglalo johetne, ahol vannak tippek az OS-re, pl az SSD kimelese erdekeben, meg hogy mire jo a Ceph

[ Szerkesztve ]

Gyermektelen, nem házas, másodrangú állampolgár

Nem mókoltam vele semmit.
Létrehoztam a zfs pool-t, majd létrehoztam a konténert (non-privileged, de csak megszokásból) és a zfs pool-t hozzáadtam mount point-ként és kész. Samba telepít, megosztás létrehoz... (persze a konténerben).
A Proxmox-ot inkább békén hagynám. Ha van időd, akkor inkább kísérletezz! A Proxmox elmegy egy VirtBox-ban is, nem kell közvetlenül a vason próbálgatni.

/* Egy lelkes kontár */

Olvastam én is cikkeket erről. Én is szeretném kipróbálni, de oprendszert honnan lehet beszerezni?

/* Egy lelkes kontár */

A CEPH egy többlábú fájlrendszer, amit a Proxmox alapból támogat.
Legjobban a raid1-hez tudnám hasonlítani, de ez cow fájlrendszer és nem egy gépben vannak a winchesterek. A háttértárolóknak nem kell feltétlenül egyformáknak lenniük, de szerintem úgy optimális. Kezdetben, kényszerűségből használtam úgy is, hogy 1TB + 1TB + 2x500GB. Tehát az egyik node-ban 2db 500GB-os winchester volt. Nem vettem észre semmi hátrányát, de most már 2TB-os winchester van minden node-ban.
Nálam a HA clusternek ez az alapja. Nagyon megbízható, vagy 5 éve működik szó nélkül.

/* Egy lelkes kontár */

Amit linkeltem, ott a szkript intéz mindent.

Swift 1.3 GLX, Garmin Fēnix 6s, EOS R, Dell T110 II, iPad Pro, iPhone 15 Pro, Unifi

Ahhh! Még nem néztem.
Köszönöm!

/* Egy lelkes kontár */

Gondolom ehhez dedikát network illdomos, hogy ne egye meg a hálózatot.

Gyermektelen, nem házas, másodrangú állampolgár

Persze, úgy érdemes. Nálam 1Gbites háló van rá. Egy 8 portos, nem menedzselhető TPLink switch-el, ami a leírása alapján tudja az LACP-t automatikusan kezelni. Össze is fogtam 2-2 portot node-onként, de LACP módban nem működik (szétesik a cluster).

/* Egy lelkes kontár */

Na azt én is el tudnám viselni, csak nincs annyi portom sem, meg gyors switchem sem

Gyermektelen, nem házas, másodrangú állampolgár

az Apple hivatalos forrásából készül minden, a szkriptek megoldanak mindent

megcsináltam a linkelt scripttel, rendesen működik, ezen a ponton vagy 5x újra indult és a végén elkészült.

Van erteme a 2 NIC-nek? Egyiket management+internet, masikat meg dedikaltan a gepeknek, hogy egymassal tudjanak kommunikalni. Vagy sajat switch kozejuk?

Gyermektelen, nem házas, másodrangú állampolgár

"Egyiket management+internet"
Szerintem ezt inkább ne! Ha távolról szeretnéd menedzselni a Proxmox-ot, akkor inkább VPN-en keresztül tedd meg és csak a belső hálózatról engedd hozzáférni a munkaállomásokat!

Elvileg ez úgy van, hogy ha cluster-t csinálsz, akkor kell az ajánlás szerint két külön cluster-hálózat a redundancia miatt. Ha az egyik megpusztul, nem esik szét a cluster addig sem, amíg megjavítod/cseréled. Ez két külön fizikai hálózat. Külön hálózati eszközökkel (nic, switch, kábelek...)
Szintén kell egy különálló management hálózat.
És ezek után jön a többi.

Pl. a saját node-jaimban:
- 2 kártya a cluster-hálózathoz. Csak egy switch-em van, ezért a két kártya bondingolva van, hogy gyorsabb legyen. Az már egyéni szocprobléma, hogy jó lenne, ha a switch ezt tudná is kezelni...
Nagyobb terhelés esetén érdemesebb 10Mbit-es hálózatot kiépíteni erre, de szegény ember vízzel főz. Nálam szerencsére elég az 1 Gbit-es is. Nekem sima, asztali 8 portos TPLink van beállítva, de a jobbik fajtából. Volt olyan típus, amivel nem ment. Épp tavaly nyáron kísérletezgettem ezzel, hátha találok olyat, ami tudja az LACP-t. A Proxmox és a Ceph cluster-t is ez a hálózat látja el. Igazából nem is tudom, hogy el lehetne-e különíteni a kettőt egymástól, de forrás híján úgysem tudnám.

- 1 kártya az Internet irányába.

- 3 kártya a belső hálózat felé. Ezek is bondingolva vannak és egy 24 portos HP Aruba switchbe mennek bele, ami viszont már tudja kezelni az LACP-t. Érződik is a különbség.

Egyik fizikai kártyának sincs IP címe. Létrehoztam 3 Linux bridge-et és csak a cluster-, valamint a belső hálózathoz tartozó bridge-hez rendeltem IP címet. Így kívülről nem érhetik el (támadhatják) közvetlenül a node-okat. A clusterben van két tűzfal, azoknak az egyik lába van az Internet felé néző Linux bridge-hez rendelve, így azoknak van külső IP címük, de ez már a virtgépen belül. Az egyik tűzfalon van az OpenVPN is, ezen keresztül szoktam bebattyogni, ha szükséges.

Kezdetben, amikor elkezdtem felépíteni ezt a rendszert, én is kilógattam a Proxmox-ok lábait és úgy menedzseltem itthonról. Két hét sem telt bele, mire megtalálták és rögtön górcső alá vették. Nem jutottak be persze, de így akkor is nyugodtabban alszom...

/* Egy lelkes kontár */

Jó, hát megint elírtam
10Mbit, az nálam 10Gbit...

/* Egy lelkes kontár */