2024. március 29., péntek

Gyorskeresés

Google Cloud segítségkérés

Írta: | Kulcsszavak: Google Cloud Platform . költségek . hálózati forgalom . adatbázis méret

[ ÚJ BEJEGYZÉS ]

Sziasztok!

Futnak mindenféle projektjeink a GCP-n, VM/Docker, SQL, Storage stb.
Múlt hónapban hirtelen megugrott a számlánk 56 dollárral. Amikor ennek igyekeztünk utánajárni, a Billing Reports alatt annyit látni, hogy egy "Network Internet Egress from Finland to EMEA" sor adja ezt az összeget, 464 GB adattal.

Az egyik "érdekes" dolog, hogy a mi előfizetésünkben elvileg régión belül ingyenes a forgalom a Google cuccaink között.
A másik maga az adatmennyiség: Ekkora forgalomhoz az összes fent levő adatunkat és adatbázisunkat kb. naponta tízszer kellene letölteni valahová.

Kérdés: Hol lehetne jobban utána nézni, pontosan kiből kibe (melyik szolgáltatás/konténer/VM stb.) megy a forgalmunk? A Reports-ból nem tudok ennél jobban alátörni, vagy ebből megnyitni egy részletesebb bontást. A Cost Table szintén ilyen részletességgel nem árul el semmit.

Hasonló a problémám amúgy az SQL disk foglalásával. Maga az adatbázis 320 mega. Volt VACUUM stb. is. A Google szerint mégis 4 GB környékén van a helyigénye. Hogy Fluimucil Ábelt idézve: "De miért?"

Hozzászólások

(#1) selmak


selmak
friss újonc

Ezt igy latatlanban nehez megmondani. Par tipp:
- A forgalom tobbnyire ingyenes region belul, de nem minden esetben es csak akkor ha valoban belso halon csatlakozol a celponthoz. VM publikus ip-vel siman kimegy a netre es onnan vissza a Google halozatara ha nincs a Private Google Access bekapcsolva.
- Nincs veletlenul valami backup scriptetek? El tudom kepzelni, hogy pl. az exportalja rendszeresen az adatbazisotokat valami bucketbe.
- Lehet van egyszerubb megoldas is kideriteni, hogy hova megy a traffic, de en a flow logokat turnam fel vagy vizualizalnam valahogy.
- Az adatbazis merete meg tobb minden lehet. Nincs veletlen vmi point-in-time recovery vagy hasonlo feature engedelyezve? Az meg tudja dobni a meretet.

(#2) joghurt válasza selmak (#1) üzenetére


joghurt
addikt

Köszönöm.

A legfőbb bajom épp az, hogy "látatlan" az egész. Az aggregált grafikonokat nem lehet alábontani. :(

Bekapcsoltuk a flow logot. (Az meg persze atomi szintű, töltsük át Big Datába, oszt túrjuk ott.) Magából a logból minimálisan lettünk okosabbak, mert bár már ott is láttunk olyan adatmennyiségeket, amiknek nem kellene lennie, az összes forrás és végpont Google-ön belül volt. Aki nem, pl. Indiából, annak meg kicsi volt a forgalma. Szóval épp a EUROPE-NORTH1 -> EMEA óriási egress forgalma nem látszott.
Viszont a belső forgalmi adatok elég jól fedték a nagyságrenddel nagyobb külső adatmennyiség változásait. A forgalom májusi megnövekedését és kb. kétszeres csúcsait így pedig sikerült funkcióhoz kötni.

Mit érdemel az az ügyfél, aki a HTTP API nagy mennyiségű adatot kiszolgáló funkcióját hívogatva nem ad meg tömörített Accept-Encoding-ot?...
Eleve, ami nyers adatként nálunk 100 kB, abból nekik lesz 4 MB (tömörítetlenül). Szóval erről is lesz velük mit tárgyalni.

Az SQL storage mérete továbbra is rejtély. Napi Google backup van rá beállítva (az a fajta, amit mi le sem tudunk tölteni, csak havária esetén visszatölteni). Ezen kívül az utóbbi időben mennek óránkénti exportok - elsősorban fejlesztői hibakeresési céllal -, de már ennek bekapcsolása előtt is elszállt a storage az adatbázis méretéhez képest. (Jelenleg 6 GB vs 466 MB.)

A tej élet, erő, egészség.

(#3) tocsa


tocsa
senior tag

1. Nem olvastam bele a region beluli ingyenesseg apro betus reszebe, de en csak akkor vennem ingyenesseget garantaltnak ha pont ugyanaz a drop-down valasztasi lehetoseg data center-re vonatkozoan a kerdeses szolgaltatasok eseteben. Egyebken sajnos valoszinuleg virtualis belso halozatot kell letrehozni, ami egy Pain In The Ass... talan ez megoldja. Support-ot kerdezted mar? Kivancsi leszek majd mit mondanak.
2. SQL backup eseten: konkretan GCP-n nelem ilyen nincs, csak Azure-on es Linode-on jelenleg, de en arra tippelnek (tobbek kozott a novekvo szamok miatt), hogy esetleg ez aggregalt mannyiseg, es data retention-t kellene birizgalni, hogy hanyat tartson meg hetente, havonta, stb.

Acer Predator Helios 500 Ryzen, Samsung 960 Pro NVMe + GeChic 15.6" kulso monitor a mobil irodahoz

(#4) tocsa


tocsa
senior tag

Egyebkent a szolgaltaoknak mindig maguk fele hajlik a kezuk ha penzrol van szo. Friss dolog, ami szembe jut, pl egy uj "feature" a Google Fi-nal: automatikusan felkapcsolodik publikus es egyeb wifi-kre (Google Fi-nak van errol adatbazisa). De jo, gondolnad! https://9to5google.com/2022/06/02/google-fi-w-network/ Mit jelent ez gyakorlatban?

Ha peldaul elviszem kisfelesegem vasarolni a Target-ba akkor ott van ingyenes wifi es regen a telefon felkapcsolodott wifi-kent. Most az "intelligens" Pixel telefon-ja az uj feature miatt szinten felkapcsolodik, de mostmar nem wifi-kent, hanem azt jelzi ki, hogy "Google Fi" mobil halozatra. Es igen, jol gondolod: igy mar a mobil adat mennyisegbe szamit bele az amit a telefon kommunikal. Hat basszak meg magukat. Tehat regen is automatikusan kapcsolodott a telefon, de mostmar igy sarcolnak az adatert.

Meg szernecse, hogy az en OnePlus Nord-om nem olyan "fejlett", mint a Pixel 6 es nem kompatibilis ezzel a nagyszeru uj "feature"-el. Mondjuk az teny, hogy a OnePlus Nord mivel nem nativ Google-os telefon, igy csak a T-Mobilos halozatot tudja hasznalni, mig a Pixel az hibrid GSM+CDMA, es kepes kapcsolodni a Sprint es a US Cellular CDMA halozatra, ha eppen nincs T-Mobil lefedettseg.

Acer Predator Helios 500 Ryzen, Samsung 960 Pro NVMe + GeChic 15.6" kulso monitor a mobil irodahoz

További hozzászólások megtekintése...
Copyright © 2000-2024 PROHARDVER Informatikai Kft.