ビュー:

DSVA環境にて問題が発生した場合、以下のStepにて状況の整理・環境の正常性をご確認の上、トラブルシューティングを実施ください。

また、製品Q&A:DSVA環境のトラブルシューティングガイドにはDSVA環境のナレッジも含めよくあるお問合せをおまとめしております。併せてご確認ください。

対応Step一覧

【Step 1】問題発生対象の確認

[DSM管理コンソール]>[ダッシュボード]メニューのコンピュータのステータスより、[重大]、[警告]などのノード数表示リンクをクリックします。

”ESXi別”などでソートし、問題発生機とその分布を確認し以下のとおり障害発生ポイントを整理します。

確認ポイントは「どのESXi上」で「何台中何台の仮想マシン」に「どのようなタイミング」で「何のアラート」が発生しているかとなります。

例としてESXiが3台で仮想マシンを300台管理している環境にて「不正プログラム対策エンジンのオフライン」が発生している場合は以下の図のように分類します。 事象の全体像を整理するため、事象が発生している環境/発生していない環境で分類することを推奨します。

NoESXi host名XX台/XX台の仮想マシンで発生発生タイミング発生事象
1ESXi 1号機20台/100台仮想マシンの起動時

XXXX年XX月XX日 10:00
20台の仮想マシンを新規作成しパワーオン

XXXX年XX月XX日 10:10
作成した20台の仮想マシンで不正プログラム対策エンジンのオフラインが発生

XXXX年XX月XX日 10:30
10分程度静観したが、現在も事象継続中

2ESXi 2号機10台/100台仮想マシンの起動時

XXXX年XX月XX日 11:00
10台の仮想マシンを新規作成しパワーオン

XXXX年XX月XX日 11:10
作成した10台の仮想マシンで不正プログラム対策エンジンのオフラインが発生

XXXX年XX月XX日 11:30
10分程度静観したが、現在も事象継続中

3ESXi 3号機0台/100台発生なし発生なし

 

ポイント

リストの[列…]をクリックすると、リストに表示する項目を選択できます。また、それぞれの列はマウスのドラッグで自由に並び替えることもできます。NSX環境ではESXi、NSXセキュリティグループなどを追加すると、DSM側からより正確な状況の把握を行うことができます。


 

 


VMware製品上での操作やコマンド実行(例:[ESXiコンポーネントのステータス確認]の項)の可否、その影響などは事前にVMware社様へご確認ください。

vCenter/NSX Manager同期確認

  • [DSM管理コンソール]>[コンピュータ]>左部ツリーの[コンピュータ]> [vCenter -] を選択し、右クリックで[今すぐ同期]を選択

    [DSM管理コンソール]>[イベントとレポート]のシステムイベントに「VMware vCenterとの同期の完了」および「VMware NSXとの同期完了」の両イベントが記録されることを確認。記録されない場合、DSMとvCenter,NSX Manager間の接続を確認してください。


DSVAのステータス確認

  • DSM管理コンソール上のステータス確認

    [DSM管理コンソール]>[コンピュータ]>対象のDSVAの[詳細]>[概要]>[一般タブ]にてステータスが管理対象(オンライン)であること


  • DSVA上でのステータス確認

    1. DSVAにログイン(ログイン方法はこちらの[DSVAへのログイン・SSHの有効化方法]を参照ください。)
    2. 以下のコマンドにてプロセス状態の確認

      sudo ps -ef | grep ds



      NSX-T 3.X.Xのdsa_slowpathプロセス名

      No起動プロセスNSX-V 環境NSX-T 3.0 未満の環境NSX-T 3.0 以上の環境備考
      1ds_agentプロセスが2つ起動していること基本動作に関わるプロセス
      2ds_amプロセスが2つ起動していること不正プログラム対策、変更監視機能に関するプロセス
      3dsa_slowpathプロセスが1つ起動していること〇 ※1- ※2〇 ※3Webレピュテーション機能、ファイアウォール機能、侵入防御機能に関するプロセス

      ※1:NSX for vShiled Endpointライセンスをご利用の場合は起動していない状態にて問題ございません。
      ※2:起動しません
      ※3:NSX for vShiled Endpointライセンスの場合でもプロセスは起動しますが関連機能は使用できません。

    3. 以下のコマンドにてインターフェースの状態を確認

      sudo ifconfig -a | more

       

      • NSX-V 環境、NSX-T 3.0未満の環境では169.254.1.39とデプロイ時に設定したサービス用のIPアドレスが設定(上記画像では192.168.100.61)され、インターフェースがアップしていることを確認

      • NSX-T 3.0以上環境の場合は上記に加えすべてのインターフェースがUP状態であることを確認

    4. 以下のコマンドにてポートListen状態の確認

      netstat -ant | more

      • 0.0.0.0:48651ポートがListenしていること
      • 169.254.1.39:48651へのTCPコネクションが確立(ESTABLISTHED)されていることを確認
        169.254.1.39:48651への接続は現在保護対象となっている仮想マシンのノード数分確立されます。 保護対象分セッションが確立がされていない場合、「不正プログラム対策エンジンのオフライン」メッセージが発生する可能性があります。確認方法などはDSVA環境のトラブルシューティングガイド>[不正プログラム対策エンジンがオフラインの解消法]を参照ください。

Guest Introspection VMのステータス確認(NSX-V環境のみ)

  • [DSM管理コンソール]>[コンピュータ]>対象のGuest Introspection VMの[詳細]>[概要]>[一般タブ]にてステータスが非管理対象(“Agentなし”or”不明”)であること


NSX managerのステータス確認(NSX-V環境用)

  • NSX-V Managerのコンソールにログインし、[View Summary]メニューから、Common Components とNSX Management ServiceがRunningになっていることを確認します。

    [Manage]-[NSX Management Service]に移動し、vCenter ServerのStatusを確認します。
    Statusが、(緑)Connectedとなっていることを確認します。リフレッシュのアイコンをクリックし、日時が更新されることを確認します。


NSX managerのステータス確認(NSX-T環境用)

  • [NSX-T Manager管理コンソール]>[ホーム]>[モニタリングダッシュボード]にてエラーなどの現在のステータスを確認します。

    対象のvCenterの登録、接続ステータスを[NSX-T manager管理コンソール]>[システム]>[ファブリック]>[コンピュートマネジャ]から確認します(登録状態:登録済み、接続状態:稼働中となっていること)。

    対象のトランスポートゾーンのステータスを[NSX-T manager管理コンソール]>[システム]>[ファブリック]>[トランスポートゾーン]から確認します(状態:稼働中となっていること)。


NSX 関連コンポーネントのステータス確認(NSX-V環境用)

  • Guest Introspection VM/DSVAデプロイ状況の確認

    [vCenter severの管理コンソール]>[ホーム]>[ネットワークとセキュリティ]>[インストールとアップグレード]>[サービスの展開]を選択し、インストールステータス、及びサービスステータスに問題が発生していないことを確認します。 下図のように、「失敗」などの表示が見られた場合、

    "失敗"をクリックすることにより、詳細情報(システムアラーム画面)が表示され、原因を確認することができます。 原因確認後、"解決"ボタンをクリックすることにより、解決可能な問題であれば問題を解決できることがあります。


  • Guest Introspectionの状態確認

    [vCenter管理コンソール]>[ホーム]>[ホストおよびクラスタ]>[対象のESXiホスト]>[監視]>[ゲストイントロスペクション]を選択し、「重大」エラーが発生していないこと、下側のリストの「ゲスト仮想マシン」に、AMオフラインになったゲスト仮想マシンのエントリがあり、「シンエージェントが有効になりました」という表示があることを確認します。

    仮想マシン上で、Guest Introspectionドライバ(vsepflt)が起動していない場合、該当仮想マシン自体がこちらに表示されません。

  • Network Introspectionの状態確認(Webレピュテーション/ファイアウォール/侵入防御機能の利用時のみ)

    [vCenter管理コンソール]>[ホーム]>[ネットワークとセキュリティ]>[インストールとアップグレード]>[ホストの準備]を選択し、NSXコンポーネントがESXiホストにインストール済み(バージョンが確認できること)、ファイアウォール欄が「有効」であることを確認します。

    NSX for vShield Endpointライセンスを使用している場合、本機能は利用できません。

  • サービス適用状況の確認

    [vCenter管理コンソール]>[ホーム]>[ネットワークとセキュリティ]>[Service Composer]>[セキュリティグループ]を選択し、ゲスト/ネットワークイントロスペクションの状態、およびエラー状況を確認します。

    1. 不正プログラム対策/変更監視機能利用時、ゲストイントロスペクションの項目が0以外であること
    2. Webピュテーション/ファイアウォール/侵入防御機能の利用時、ネットワークイントロスペクションの項目が0以外であること
    3. サービスエラーが発生していないこと

      サービスエラーが発生している場合、以下のようにエラー内容が出力されます


  • DSセキュリティポリシー同期確認(DS9.6SP1以降)

    下図のようにDSM9.6SP1以降でNSXとのポリシー同期機能を利用している場合、同期状況は下記手順で確認可能です。

    [vCenter管理コンソール]>[ホーム]>[ネットワークとセキュリティ]>[サービス定義]を選択し、[サービス]タブの[Trend Micro Deep Security]をダブルクリック>[Trend Micro Deep Security-GlobalInstance]> [関連オブジェクト]タブでDeep Securityと同期したポリシーを参照できます。(同期していない場合はDefault(EBT)のみ表示されます)



NSX 関連コンポーネントのステータス確認(NSX-T環境用)

  • DSVAデプロイ状況の確認

    [NSX-T Manager 管理コンソール]>[システム]>[サービス展開]>[展開]にて状態のステータスがグリーン、稼働中であることを確認します。

    [NSX-T Manager 管理コンソール]>[システム]>[サービス展開]>[サービス インスタンス]にて状態のステータスがグリーン、稼働中であることを確認します。

    サービスインスタンスはESXiホストごとに出力されます(上記図ではESXiが1台のみの環境)。アラートが発生している場合はインフォメーションのアイコンを選択することでアラート内容を確認できます。

     


  • エンドポイント保護設定の確認

    [NSX-T管理コンソール]>[セキュリティ]>[エンドポイントの保護]>[エンドポイント保護ルール]にて対象のルールのステータスが稼働中であること

    [NSX-T管理コンソール]>[セキュリティ]>[エンドポイントの保護]>[エンドポイント保護ルール]にて対象のルールのグループに対象の仮想マシンが含まれること


  • ネットワークイントロスペクションの状態確認(Webレピュテーション/ファイアウォール/侵入防御機能の利用時のみ)

    [NSX-T管理コンソール]>[セキュリティ]>[設定]>[ネットワークイントロスペクション]にてサービスセグメント、サービスプロファイル、サービスチェーンが正しく設定されていること

    [NSX-T管理コンソール]>[セキュリティ]>[East-Westのセキュリティ]>[ネットワークイントロスペクション(E-W)]にてリダイレクトポリシーおよびルールが正しく設定されていること


ESXiコンポーネントのステータス確認

  • [vCenter管理コンソール]>[ホストおよびクラスタ]>対象のESXiの[サマリ]にてGuest Introspection関連のアラートが発生してないこと


  • サービスの起動確認

    1. 対象のESXiにSSHもしくはコンソールにてログインします。

    2. 以下のコマンドを実行し各サービス、プロセスが起動していることを確認します。

      NSX-V環境の場合


      共通
      vmciがロードされていることを確認します。

      esxcfg-module -l | grep vmci


      不正プログラム対策/変更監視機能ご利用時

      vShield-Endpoint-Mux がruning となっていることを確認します。

      /etc/init.d/vShield-Endpoint-Mux status

       

      vShield-Endpoint-Muxが存在することを確認します

      ps | grep vShield-Endpoint-Mux

       

      DSVA/Guest Introspection VMとの接続状況を確認します。

      esxcli network ip connection list | grep vShield-Endpoint-Mux

       

      確認ポイント

      • 169.254.1.39:48651 :DSVAへの接続状態。保護しているVMの数と同じセッションが確立されている必要があります。(上図は1台の仮想マシンが保護状態)
      • 169.254.1.24:48655 : Guest Introspection VMへの接続状態。保護しているVMの数+1のセッションが確立されている必要があります。

       

      Webレピュテーション/ファイアウォール/侵入防御機能ご利用時

      Dvfilter関連モジュールがロードされていることを確認します。

      esxcfg-module -l | grep dvfilter

       

      Vsipがロードされていることを確認します。

      esxcfg-module -l | grep vsip

       

      Vsfwdのプロセス起動有無

      ps | grep vsfwd

      NSX-V Managerへの接続性

      esxcli network ip connection list | grep vsfwd

      ESXi(下図では192.168.100.13)からNSX-V Manager(下図では192.168.100.20)にセッションが確立されていること


      NSX-T環境の場合


      vmciがロードされていることを確認します。

      esxcfg-module -l | grep vmci


      不正プログラム対策機能ご利用時

      nsx-context-muxがruningとなっていることを確認します。

      /etc/init.d/nsx-context-mux status

       

      nsx-context-muxが存在することを確認します。

      ps | grep nsx-context-mux

       

      opsAgentがrunningとなっていることを確認します。

      /etc/init.d/nsx-opsagent status

       

      opsAgentが存在することを確認します。

      ps | grep opsAgent

       

      DSVAとの接続状況を確認します。

      esxcli network ip connection list | grep nsx-context-mux

      確認ポイント

      169.254.1.39:48651 :DSVAへの接続状態。保護しているVMの数と同じ数のセッションが確立されている必要があります。(上図は1台の仮想マシンが保護状態)

      Webレピュテーション/ファイアウォール/侵入防御機能ご利用時

      Dvfilter関連モジュールがロードされていることを確認します。

      esxcfg-module -l | grep dvfilter

       

      Vsipがロードされていることを確認します。

      esxcfg-module -l | grep vsip

        

      NSX-T Managerへの接続性

      esxcli network ip connection list | grep nsx-proxy

      ESXi(下図では192.168.100.18)からNSX-T Manager(下図では192.168.100.26)にセッションが確立されていること



保護対象仮想マシンのステータス確認(DSM管理コンソールより確認)

  • DSM管理コンソールより確認

    [DSM管理コンソール]>[コンピュータ]>対象のコンピュータの[詳細]>[概要]>[一般タブ]にて以下を確認

    No確認ポイント
    1ステータスが管理対象(オンライン)であること
    2オン状態の機能のステータスがグリーンであること
    3保護するDSVAの表示があること
    4VMware Toolsに「OK」の表示があること
    5

    [NSX-V環境の場合]
    NSX-Vにてセキュリティグループに設定したグループ名が表示されていること
     ※NSX for vShield Endpointライセンスを使用の場合は空白で問題ありません


    [NSX-T環境の場合]

    • NSX-T Manager 3.0 未満:空白

    • NSX-T Manager 3.0 以上:NSX-T Managerにて設定したエンドポイント保護ルールの仮想マシンの所属するグループ名が表示されていること
      ※NSX for vShield Endpointライセンスをご利用中の場合も表示されることを確認ください。

     

    補足

    • 不正プログラム対策がリアルタイムでなく、[オン、手動のみ] となっている場合は下図のとおりリアルタイム検索の設定がされていない状態です。
    • VMware Toolsの表示が「NG」の場合VMware Toolsが起動していない、インストールされていない可能性があります。下記の仮想マシンにログインの上確認にてVMware Toolsのインストール状況をご確認ください。
      また、vCenter側の管理情報が同期されていないもございますので、上記vCenter/NSX Manager同期確認にて記載の方法にて同期に問題がないか確認ください。

    • 設定したNSXセキュリティグループの確認方法

      下記のグループに仮想マシンが設定されている状態にてNSXセキュリティグループ欄が空白の場合、vCenter側の管理情報が同期されていないもございますので、上記vCenter/NSX Manager同期確認にて記載の方法にて同期に問題がないか確認ください。

      [NSX-V環境の場合]
      [vCenter管理コンソール]>[ホーム]>[ネットワークとセキュリティ]>[セキュリティ]>[Sevice Composer]>[セキュリティグループ]

      [NSX-T環境の場合]
      [NSX-T Managerの管理コンソール]>[セキュリティ]>[エンドポイント保護]内のDSVAのサービスプロファイルが設定されているポリシー


保護対象仮想マシンのステータス確認(仮想マシンにログインの上確認)

  • Notifierのステータス(インストールしている場合のみ)

    保護対象VMにNotifierをインストールしている場合、保護対象VMにログインし、Notifierのメニューを起動し、以下を確認します。

    No確認ポイント
    1Appliance 実行中であること
    2オン状態の機能のステータスがグリーンであること
    • エラー例


    • Guest Introspectionドライバ(NSX File Introspection)がインストールされていない場合、Notifierをインストールすることはできません


  • Guest Introspectionドライバー状態(不正プログラム対策/変更監視機能利用時)

    保護対象の仮想マシンOSにログインし、[スタートメニュー]>[ファイル名を指定して実行]>[msinfo32]を実行しシステム情報を起動。 システム情報の[システムの概要]>[ソフトウエア関連]>[システムドライバ]から、vmci , vsepflt の項目があり、状態=実行中、OKであることを確認

    コマンドプロンプト(管理者権限にて実行)からもsc query vsepflt およびsc query vmciコマンドにて確認可能となります(それぞれのSTATEが RUNNINGになっていること)。

    vsepfltが実行中となっていない場合、コマンドプロンプト(もしくはPowerShell)を管理者権限で実行し、fltmcコマンドを実行しvsepfltが表示されることを確認します。

    vsepfltがロードされている画面

    vsepfltがロードされていない画面

    vsepfltがロードされていないだけの場合、fltmc load vsepfltコマンドでロードすることが可能です。

    なお、vsepfltが見つからない場合、Guest Introspectionドライバ(NSX File Introspection)のインストールがされていない可能性があります。


【Step 3】調査資料の収集

上記にて確認された問題点が解消されない場合、以下資料を収集いただき、サポートセンターまでお問合せください。

※製品Q&A:DSVA環境のトラブルシューティングガイドにはDSVA環境のナレッジも含めよくあるお問合せをおまとめしておりますので併せてご確認ください。

 

  1. バージョン情報

    • vCenter Server

    • ESXi

    • NSX-V Manager or NSX-T Manager

    • VMware tools

    ※バージョン情報の確認方法は製品Q&A:DSVAトラブルシューティングガイド>[Deep Security/VMwareコンポーネントのバージョン確認手順]を参照ください。

  2. ライセンスおよび環境情報

    • ご利用のNSXライセンスのエディション(例:NSX for vShield Endpoint)

    • コンバインモードの使用の有無(コンバインモードに関する詳細はこちら

  3. 発生事象の情報

    • Step1で整理した発生事象、発生対象の情報

    • 事象発生時のタイムライン

    • 事象が確認可能な画面ショット

  4. 調査資料

    • DSMの診断パッケージ(※1)

    • Relayの診断パッケージ(※1)

    • DSVAの診断パッケージ(※2)

    • 仮想マシンの診断パッケージ(※2)

    • システムイベントログ(※3)

    ※1.複数台の構成の場合は全台で取得ください。(取得方法はこちら

    ※2.複数台で事象が発生している場合は全台で取得ください(目安として4台以上で発生している場合はサンプルで3台程度取得ください)(取得方法はこちら

    ※3.[DSM 管理コンソール]>[イベントとレポート] にて事象の発生日時+前後24時間(合計48時間分)を抽出いただきエクスポートください。 なお、エクスポートの際は『CSV形式でエクスポート(詳細な説明を含む)』にて ご対応ください。