Despre MetaDefender Cloud
MetaDefender Cloud este platforma OPSWATbazată pe cloud, de prevenire avansată a amenințărilor și de analiză malware. Combinația noastră unică de Deep CDR combinată cu Multiscanning de la peste 20 dintre cele mai bune motoare AV protejează organizațiile de atacurile de tip zero-day și de programele malware din ce în ce mai sofisticate. Sandbox-ul MetaDefender Cloud, combinat cu analiza în timp real a hash-urilor, IP-urilor și domeniilor utilizând baza de date OPSWATde talie mondială de informații despre amenințări, ajută cercetătorii malware și oferă o înțelegere profundă a amenințărilor existente și potențiale.
Platforma MetaDefender Cloud suportă în prezent peste 5 milioane de cereri de scanare pe zi din partea clienților noștri, oferindu-le în același timp un timp mediu de scanare de 0,4 secunde.
De ce am dezvoltat MetaDefender as a Service (MDaaS)?
Pentru a satisface cerințele pieței și pentru a ne sprijini mai bine clienții
Am dorit să ne asigurăm că MetaDefender Cloud poate crește pentru a satisface cerințele în schimbare și nevoia tot mai mare de servicii avansate de securitate a aplicațiilor și complexitatea tot mai mare a securității DevOps pe măsură ce tot mai multe aplicații se mută în cloud. Odată cu creșterea traficului de fișiere, a fost o necesitate ca MetaDefender Cloud să își mențină și să își îmbunătățească performanța pentru a asigura o experiență de utilizare fără probleme pentru clienții noștri finali.
Pentru a îmbunătăți monitorizarea și scalarea predictivă
Am decis să migrăm arhitectura noastră on-premise către Kubernetes, bazată pe microservicii cu infrastructură ca și cod, pentru a putea oferi o experiență continuă și consecventă în raport cu modelul actual de implementare și monitorizare.
MetaDefender Arhitectura ca serviciu
Pe măsură ce am migrat la MDaaS, serviciile noastre Multiscanning au fost mutate de la AMI bazat pe Windows la un cluster bazat pe Kubernetes. Administratorii pot configura acum scalabilitatea pentru fiecare motor. Deoarece performanța motoarelor este diferită, motorul (motoarele) mai lent(e) poate (pot) fi scalat(e) pentru a menține timpii rapizi de scanare.
Fluxul de procesare a fișierelor este acum după cum urmează:
1. Un mesaj de la un solicitant extern este trimis către un subiect Kafka "request" (1) cu instrucțiuni de solicitare, cum ar fi scanarea unui fișier cu AV1, AV2 etc., igienizarea acestuia cu Deep CDR, și analiza fișierului cu Sandbox etc.
2. După aceea, un extractor Lambda (2), care se abonează pentru a primi mesajele, împarte cererea într-un număr de comenzi diferite și le trimite către un alt subiect Kafka (3), unde sunt apoi clasificate și atribuite motorului (motoarelor) relevant(e). (4)
3. Procesarea motorului (4) este inima sistemului. Acesta conține mai multe containere de motor, rulează pe Amazon Elastic Kubernetes Service (EKS) și are capacitatea de a se extinde sau de a se reduce în funcție de volumul de lucru. Fiecare motor se ocupă de o solicitare specifică care stimulează performanța de procesare.
4. În timpul procesului, un bucket S3 (5) este, de asemenea, utilizat pentru a stoca fișierele de intrare și de ieșire.
5. În același timp, un modul de procesare a jurnalului disponibil (6) primește jurnalul de la motoare și îl livrează unui sistem de analiză a jurnalului.
6. După procesarea fișierelor, rezultatul derivat de la fiecare motor este returnat în subiectul Kafka "rezultate" (7)
7. Ulterior, un agregator de microservicii care utilizează AWS Lambda (8) consolidează rezultatele într-un singur raport și îl trimite către un subiect Kafka (9) ajungând înapoi la solicitant.
Provocări și soluții tehnice
Predicția comportamentului motorului și tratarea anomaliilor
Implementarea tradițională MD Core AMI permite motoarelor să ruleze pe un computer puternic, unde pot partaja resursele (CPU, RAM, discuri, rețea etc.) între ele. Cu toate acestea, în cazul arhitecturii microservicii, fiecare motor funcționează individual într-un container mai puțin puternic. Astfel, ne-a fost dificil să definim cerințele de resurse ale sistemului în acest caz.
Pentru a rezolva această problemă, am folosit datele istorice de la vechiul sistem pentru a stabili o linie de bază pentru fiecare motor și am adăugat monitorizarea Datadog. Am continuat să monitorizăm comportamentul motoarelor și să ajustăm infrastructura până când produsul a obținut performanțe superioare.
Menținerea unui echilibru între performanță și costurile de găzduire
Cu noua arhitectură, MetaDefender Cloud poate fi scalat cu ușurință pentru a se adapta la nevoile nelimitate ale clienților noștri și pentru a funcționa la niveluri optime. Cu toate acestea, aceasta a însemnat, de asemenea, că costurile de întreținere ar putea crește proporțional. Fără verificări ale cheltuielilor sau modele de guvernanță, scalarea ar putea fi incontrolabilă, ducând la creșterea facturilor pentru serviciile cloud mult peste bugetul alocat inițial.
Prin urmare, au fost efectuate revizuiri frecvente ale arhitecturii cu părțile interesate pentru a asigura o experiență consecventă cu costuri stabile și echilibrate.
Simulare de mediu
Simularea unei sarcini de producție într-un mediu de non-producție fără date reale este o provocare. Pentru a face față acestei situații, am configurat fluxuri de lucru paralele, astfel încât datele reale să treacă atât prin arhitectura veche, cât și prin cea nouă, permițându-ne să evaluăm metricile cheie ale ambelor, una lângă alta. Această comparație de la egal la egal ne-a permis să identificăm rapid și eficient zonele în care noua arhitectură era superioară celei vechi, precum și cele în care noua arhitectură trebuia îmbunătățită.
Monitorizare, raportare și control
Monitorizarea în timp real a infrastructurii cloud
MetaDefender Cloud pune un accent puternic pe construirea unei monitorizări robuste în sistemele sale pentru a oferi o imagine clară a sănătății sistemului. Pentru un serviciu precum MDaaS, care poate gestiona peste 44 de cereri pe secundă (RPS) la o rată de eroare de 0,6%, care se bazează pe mai multe sisteme în amonte și ecosisteme partenere ca sursă de trafic și care produce simultan trafic intens pentru diferite sisteme interne și externe în aval, este important să existe o combinație puternică de măsurători, alerte și înregistrări.
Alerte privind traficul ridicat-anormal prin medii în Datadog
În plus față de indicatorii standard de sănătate a sistemului, cum ar fi CPU, memoria și performanța, am adăugat mai mulți indicatori "la marginea serviciului", cum ar fi creșterea în coadă, timpul de răspuns al serviciului, status-cake și logare pentru a capta orice aberații din sistemele din amonte sau din aval. În plus, am adăugat analiza tendințelor pentru metricele importante pentru a ajuta la detectarea degradărilor pe termen mai lung. Am instrumentat MDaaS cu o aplicație de procesare a fluxurilor în timp real numită Datadog (puteți afla mai multe despre aceasta aici). Aceasta ne-a permis să urmărim evenimentele în timp real pe fir la o granularitate specifică containerului, facilitând depanarea. În cele din urmă, am considerat că este util să avem alerte specifice serviciului pentru a ajuta la identificarea mai rapidă a cauzelor profunde ale problemelor.
Crearea de incidente privind excepțiile care necesită atenția inginerilor de fiabilitate a site-ului în Datadog
Monitorizarea SaaS cu ajutorul platformei Datadog permite echipelor să se integreze mai rapid și mai ușor și elimină nevoia de întreținere permanentă a instrumentelor, de mărire a capacității, de actualizare sau de gestionare. Aceste beneficii înseamnă mai mult timp pentru ca echipele să lucreze la produsul de bază și să nu fie nevoite să creeze singure o soluție de monitorizare.
Rezultate
- Prin migrarea la MDaaS, microserviciul motorului este acum mai flexibil pentru a contribui la îndeplinirea cerințelor de control de securitate de bază moderate ale FedRAMP.
- Monitorizarea performanței aplicațiilor este acum îmbunătățită cu alerte și tablouri de bord în timp real. Noua arhitectură de microservicii le permite administratorilor să monitorizeze aplicația și fiecare componentă în parte cu ușurință și eficiență. De asemenea, facilitează implementarea și scalabilitatea ușoară.
- În măsura în care infrastructura este definită sub formă de cod, aceasta permite utilizatorilor să editeze și să distribuie cu ușurință configurații, asigurând în același timp starea dorită a infrastructurii. Acest lucru înseamnă că puteți crea configurații de infrastructură reproductibile.
Aflați mai multe despre MetaDefender Cloud sau contactați-ne pentru mai multe informații.
