cs 
Apache Spark je open source framework pro big-data zpracování vytvořený pro rychlost, s vestavěnými moduly pro streaming, SQL, strojové učení a zpracování grafů. Apache Spark má pokročilý spouštěcí engine DAG, který podporuje acyklický tok dat a výpočty v paměti. Spark běží na Hadoop, Mesos, samostatně nebo v cloudu. Má přístup k různým zdrojům dat včetně HDFS, Cassandra, HBase a S3.
Existuje mnoho komponent, které se spojují, aby aplikace Spark fungovala. Důležité také je Apache Spark monitorování. Pokud plánujete nasadit Spark ve svém produkčním prostředí, Applications Manager vám umožní monitorovat různé komponenty, rozumět parametrům výkonu, dostávat upozornění a vědět, jak řešit problémy.
Získejte přehled o výkonu Sparku
Automaticky zjistěte celou topologii služeb vašeho datového kanálu a aplikací. Provádějte v reálném čase plnou správu clusterů a uzlů a monitorování spouštění aplikací Spark s vizualizací workflow. Získejte aktuální přehled o metrikách běhu clusteru, jednotlivých uzlech a konfiguracích.
Sledujte využití zdrojů
Spravujte prostředky tak, aby vaše aplikace Spark běžely optimálně. Při přidávání nových úloh musí operations týmy vyvážit dostupné zdroje a obchodní priority. Udržujte si přehled o stavu svého clusteru s jemnými statistikami výkonu – od I/O disku po metriky využití paměti, stav uzlů (v reálném čase) s využitím CPU pro všechny uzly i zaplnění haldy JVM.
Získejte přehled o Spark Cores a aplikacích
Získejte přehled o metrikách své produkční aplikace Spark; organizujte své aplikace Spark na základě dat definovaných uživatelem; a roztřiďte je na základě stavu (aktivní, waiting, dokončeno) a trvání běhu. Když úloha selže, příčinou je obvykle nedostatek jader. Monitorování uzlů Spark poskytuje metriky včetně počtu volných a používaných jader, takže uživatelé mohou provádět alokaci zdrojů na základě jader.
Pochopte výkon RDD a Counters
Získejte metriky výkonu včetně uložených RDD (Resilient Distributed Datasets) pro danou aplikaci, stavu úložiště a využití paměti daného RDD a všech Spark counters pro každé vaše spuštění Spark. Získejte hluboký přehled o přístupech do mezipaměti na úrovni souborů a úlohách paralelního výpisu pro potenciální optimalizaci výkonu.
Rychlejší řešení problémů s výkonem
Získejte okamžitá upozornění, když se vyskytnou problémy s výkonem součástí komponent Apache Spark. Uvědomte si úzká místa výkonu a zjistěte, která aplikace způsobuje nadměrné zatížení. Proveďte rychlá nápravná opatření, než se u vašich koncových uživatelů objeví problémy.
Applications Manager je součástí sady řešení ManageEngine ITOM. Kromě monitorování aplikací, včetně Apache Spark monitorování, má ITOM také řešení pro zefektivnění monitorování sítě, monitorování serverů, monitorování bandwidth, správu konfigurace, zabezpečení firewallu, správu IP adres a správu portů switchů. To skutečně dělá ManageEngine ITOM řešení ideální volbou pro více než 1 milion IT administrátorů po celém světě.
