HPE ProLiant DL380a Gen12 posouvá AI inferenci do on-prem datacenter

AI projekty dnes procházejí zásadní změnou a stále častěji se posouvají z fáze testování do reálného produkčního provozu. Tato skutečnost způsobuje, že firmy napříč segmenty musí intenzivně řešit, za jakých podmínek nejlépe provozovat své AI aplikace. Počáteční nadšení z cloudových služeb se totiž začíná střetávat s tvrdou realitou podnikového prostředí a IT rozpočtů.

Rizika současných AI projektů

Mnoho uživatelů si své AI aplikace vyvinulo a vyzkoušelo ve veřejném cloudu a nyní řeší, jak uvést tyto projekty do produkce. Přechod však s sebou přináší i řadu překážek. Tou největší mohou být nepředvídatelné náklady. Model placení za API volání a spotřebované tokeny se při masivním využití a škálování může velmi rychle vymknout kontrole. Navíc náklady za inferenci velkých jazykových modelů každoročně raketově rostou. K tomu se přidávají i obavy o bezpečnost citlivých firemních dat, nároky na plnění regulatorních požadavků a na latenci sítě. Uživatelé proto logicky hledají cestu, jak dostat své AI workloady pod kontrolu a přesunout je zpět do vlastního datacentra.

Řešení pro AI inferenci: HPE ProLiant DL380a Gen12

Odpovědí na tyto uživatelské výzvy je přesun AI inference a RAG na dedikovaný hardware. Společnost Hewlett Packard Enterprise má pro tyto scénáře připravené špičkové řešení v podobě serveru HPE ProLiant Compute DL380a Gen12. Jedná se o vysoce efektivní AI řešení, které bylo navrženo pro maximální zrychlení inference u podnikových AI workloadů. Uživatelům nabízí to, co cloudové API služby zaručit nemohou: předvídatelné náklady, maximální spolehlivost a špičkové nástroje v oblasti zabezpečení.

Technologická převaha a klíčové parametry

Zatímco trénování gigantických AI modelů vyžaduje masivní superpočítačové clustery, pro běžný produkční běh (inferenci) lokálních modelů potřebují firmy především vysokou hustotu GPU a masivní datovou propustnost. Základní technické parametry serveru HPE ProLiant DL380a Gen12 z něj dělají ideální volbu pro tyto pracovní úlohy.

• Provedení: Vysoce výkonný 4U rackový server.
• Výpočetní výkon: Podpora pro dva procesory Intel Xeon 6.
• Extrémní GPU hustota: Šasi je navrženo tak, aby pojalo až 10 PCIe GPU s dvojitou šířkou (double-wide). Podporovány jsou špičkové akcelerátory jako NVIDIA RTX PRO 6000, H200, nebo L40S.
• Operační paměť: 32 slotů pro paměti typu HPE DDR5 Smart Memory. Systém podporuje maximální kapacitu 8,0 TB.
• Datová propustnost: Server využívá sběrnici PCIe 5.0, což zajišťuje šířku pásma a propustnost nezbytnou pro plynulé zásobování GPU daty.
• Rychlé úložiště: Konfigurace umožňuje osazení hot-plug NVMe SSD disky (8 pozic pro SFF disky, nebo až 16 pozic pro moderní formát EDSFF E3.S).
• Energetická efektivita: Server napájí modulární redundantní zdroje s výkonem až 3200 W a účinností až 96 %. Chlazení zajišťují hot-plug ventilátorové sestavy, přičemž je dostupná i podpora pro přímé kapalinové chlazení (CPU Direct Liquid Cooling).
• Bezpečnost: Server je vybaven integrovaným chipem HPE iLO 7 pro pokročilé zabezpečení a vzdálenou správu. Navíc podporuje hardwarový kryptografický modul TPM 2.0 a nabízí možnost HPE Trusted Supply Chain pro ověření integrity během celého životního cyklu.

Server HPE ProLiant Compute DL380a Gen12 představuje významnou příležitost pro nasazení produkčních AI workloadů v podnikovém prostředí. Model může být řešením pro uživatele, kteří stále častěji hledají cestu, jak se vyhnout nepředvídatelným nákladům za tokeny a zároveň bezpečně provozovat AI modely nad vlastními daty. Přechod na on-premise infrastrukturu jim umožní získat nejen masivní výpočetní výkon pro inferenci a RAG, ale především datovou suverenitu a pevnou kontrolu nad firemním rozpočtem.

Více informací o serveru získáte na DNS MarketPlace: https://marketplace.dns.cz/hpe-proliant-compute-dl380a-gen12-275p

___________________________________________________________________________________________________________________________________

Našim partnerům umíme distribuovat téměř vše ze současného portfolia HPE a kromě toho nabízíme kompletní podporu. Ať už se jedná o servery (např. ProLiant, Synergy, SimpliVity), storage (např. Alletra, MSA),  datecenter networking (např. Aruba), software, příslušenství a infrastrukturu.