5つの新しいJava異常検出ツール
1. X-Pack
X-Packは、異常検出を提供するELK Stackの拡張版です。
主な機能：
- Elasticsearchログデータとメトリック内の異常の検出
- ネットワークの動作とユーザーの動作を監視してセキュリティの問題を特定する
- 通常異常につながるログイベントの特定
使い方：
X-PackはElasticsearchログデータを使用し、その動作のベースラインをモデル化します。X-Packは、アプリケーション、サーバー、サービスからのログを分析することで、使用の傾向や周期性を検出し、データを分析して問題の発生時期を予測しようとします。
異常検出機能は、X-Packのインストール時にデフォルトで有効になっており、既存のELKクラスタ特権と組み込みロールを実装して、ジョブ、データフィード、および結果を表示および管理する権限を持つユーザーを簡単に制御できるようにします。
シークレットソース： X-Pack異常検出は自動的に有効になり、Elasticsearchから直接データを集約し、ELKを使用するユーザーに作成され、Elasticスイートツールの一部として異常検出ソリューションが必要になります。
2. Loomシステム
Loom Systemsは、ログおよびメトリックの異常検出のための分析プラットフォーム。ログ内の異常を検出します。
主な機能：
- 異なるアプリケーションからの自動ログ解析と分析
- 推奨される解決策 - 会社のソリューションデータベースに基づいて
- 事業運営異常検出
使い方：
Loomはログデータを収集し、それを解析してログラインを分割してフィールドを分割し、各フィールドデータタイプに従って異常検出アルゴリズムを適用します。ログイベントと並んで、Loomのアルゴリズムは、他のテキストソースまたはイベントストリームを処理し、異常ベースラインを作成することができます。
Loomによって設定されたベースラインとしきい値は動的です。つまり、ユーザーの動作やアプリケーションの更新に従って変化し、適応します。各異常には、何が起こったのか、また推奨されるコメントが添付されます。
シークレットソース：異常を検出するとともに、Loomは、企業全体にソリューションを共有するナレッジベースを提供し、他の開発者やチームが異常が発生した理由とその処理方法を理解するのを助けます。
3. OverOps
OverOpsは、プロダクションでコードがいつ、どこで、なぜ壊れたかを示します。これは、すべてのエラーに対して完全なソースコードと変数の状態をコールスタック全体にわたって提供する唯一のツールであり、アプリケーションに新しいエラーが入ったときに検出することができます。
主な機能：
- コードや変数の状態を完全に把握してエラーを自動的に再現
- コードリリースによるすべての新規および重大なエラーの事前検知
- ログファイルに依存しないネイティブJavaエージェント
- カスタムアノーマリー検出の視覚化のためのStatsDの苦情処理ツールを使用する
- コードや設定が変更されず、SaaS、ハイブリッド、オンプレミスで5分でインストール
- 暗いテーマの悪いダッシュボード
使い方：
OverOpsは、JVMとプロセッサの間で動作するネイティブの監視エージェントで、アプリケーション自体から情報を抽出します。コードを変更する必要はなく、ログに記録された情報に依存するのではなく、アプリケーションから直接送られる情報に依存します。OverOpsは、Fox、Comcast、トリップなどの企業がログを通過する手動反応プロセスを変換し、プロアクティブな自動プロセスに変えるのに役立ちます。
OverOpsはKapacitorとYahoo EGADSをバンドルすることで、Java、Python、Goの機械学習アルゴリズムを提供しています。また、ログ内のすべてのエラーへのリンクを追加することにより、異常検出ツールと統合されます。そのリンクをクリックすると、問題の根本原因の詳細が表示されます。完全なソースコードと、エラーの瞬間の可変状態を呼び出しスタック全体に渡します。
シークレットソース： OverOpsはログファイルへの依存がなくなり、データはJVM自体から直接得られます。OverOpsは、エラーごとに完全なソース、状態、スタックを提供する唯一のツールであるため、アプリケーション内の異常や問題を表示できます。
4.コラロジクス
Coralogixはクラスタリングし、ログデータの類似点を識別します。このツールは、フローに焦点を当て、接続されているログメッセージを検出し、アクションが期待される結果を引き起こさなかったときに警告します。
主な機能：
- 集計 - 同じパターンを持つログをまとめて要約する
- 流れの異常 - 接続された動作の識別、およびそれらの異常の検出
- バージョンベースの異常 - 新しいバージョンのユーザー製品が導入された後にのみ発生する異常の指定
使い方：
Coralogixは、ほとんどのログが似ていると仮定して動作します。ただし、ログを区別する唯一のものは、その内部の変数です。そのため、Coralogixはパターンを識別するためにデータを自動的にクラスタ化し、データ間のドットを接続します。アクションが特定の応答を要求し、それを取得しない場合に、異常が検出されます。
シークレットソース：Coralogixには、元のテンプレートにログを集約し、そのデータを分析して異常を理解する機能があります。
5.アノード
Anodotは、ユーザーに関連する分析機能を備えた異常検出システムを提供しています。焦点は、ビジネス関連のデータの異常を特定するとともに、あらゆるタイプのデータベースの異常を検出することにあります。
主な機能：
- 類似したログの動作相関とグループ化
- マーケティングキャンペーン、クリック、パフォーマンスインジケータ内の異常検出を提供するビジネスデータの異常検出
- アラート処理 - 類似の異常を1つのアラートにグループ化してノイズを減らす
使い方：
Anodotはアルゴリズムを使用して、問題を分離し、いくつかのパラメータに渡って相関させます。実用的な面では、アプリケーションまたはアクションの通常の範囲を決定し、それを維持しなければならないスコアを与えます。
イベントがそのスコアを変更すると、システムはデータのステータスとこの時間の長さに基づいて異常の重要性を評価します。Anodotは、正常か異常かにかかわらず、常に異常の兆候をユーザーに警告し、適切であると見なして対処できるようにします。
シークレットソース：データパターンに必要な最も関連性の高いアルゴリズムを自動的に選択できます。このアルゴリズムは、パターンの変化に応じて変化し、適応します。
異常検出といえば...
Numentaはオープンソースプロジェクトを提供しています。このプロジェクトでは、異常検出の世界を幅広く見ています。その技術は、人間の行動、地理空間追跡データ（GPS追跡）、自然言語の予測と分類とともに、サーバーやアプリケーションの異常を検出することができます。基本的に、ベースラインまたはトレンドを持つデータセット。
Numentaの最も興味深いのはNumenta Anomaly Benchmark（NAB）です。これは、ストリーミング、リアルタイムアプリケーションにおける異常検出アルゴリズムの評価を可能にするベンチマークです。現在のアルゴリズムをテストしたり、コミュニティのベンチマークを見たり、異常を検出する方法を深く理解したりすることができます。
ライブラリーはオープンソースで、50以上の実世界および人工時系列データファイルと、リアルタイムアプリケーション用に設計された採点メカニズムで構成されています。既に異常検出アルゴリズムを使用している場合、Numentaは評価を手助けすることができます。また、オープンソースツールを探しているなら、これがあなたの答えかもしれません。
引用元：
