DSVA環境にて問題が発生した場合、以下のStepにて状況の整理・環境の正常性をご確認の上、トラブルシューティングを実施ください。
また、製品Q&A:DSVA環境のトラブルシューティングガイドにはDSVA環境のナレッジも含めよくあるお問合せをおまとめしております。併せてご確認ください。
対応Step一覧
【Step 1】問題発生対象の確認
[DSM管理コンソール]>[ダッシュボード]メニューのコンピュータのステータスより、[重大]、[警告]などのノード数表示リンクをクリックします。
”ESXi別”などでソートし、問題発生機とその分布を確認し以下のとおり障害発生ポイントを整理します。
確認ポイントは「どのESXi上」で「何台中何台の仮想マシン」に「どのようなタイミング」で「何のアラート」が発生しているかとなります。
例としてESXiが3台で仮想マシンを300台管理している環境にて「不正プログラム対策エンジンのオフライン」が発生している場合は以下の図のように分類します。 事象の全体像を整理するため、事象が発生している環境/発生していない環境で分類することを推奨します。
No | ESXi host名 | XX台/XX台の仮想マシンで発生 | 発生タイミング | 発生事象 |
1 | ESXi 1号機 | 20台/100台 | 仮想マシンの起動時 |
XXXX年XX月XX日 10:00 XXXX年XX月XX日 10:10 XXXX年XX月XX日 10:30 |
2 | ESXi 2号機 | 10台/100台 | 仮想マシンの起動時 |
XXXX年XX月XX日 11:00 XXXX年XX月XX日 11:10 XXXX年XX月XX日 11:30 |
3 | ESXi 3号機 | 0台/100台 | 発生なし | 発生なし |
ポイント
リストの[列…]をクリックすると、リストに表示する項目を選択できます。また、それぞれの列はマウスのドラッグで自由に並び替えることもできます。NSX環境ではESXi、NSXセキュリティグループなどを追加すると、DSM側からより正確な状況の把握を行うことができます。
【Step2】環境の正常性確認
VMware製品上での操作やコマンド実行(例:[ESXiコンポーネントのステータス確認]の項)の可否、その影響などは事前にVMware社様へご確認ください。
vCenter/NSX Manager同期確認
-
[DSM管理コンソール]>[コンピュータ]>左部ツリーの[コンピュータ]> [vCenter -] を選択し、右クリックで[今すぐ同期]を選択
[DSM管理コンソール]>[イベントとレポート]のシステムイベントに「VMware vCenterとの同期の完了」および「VMware NSXとの同期完了」の両イベントが記録されることを確認。記録されない場合、DSMとvCenter,NSX Manager間の接続を確認してください。
DSVAのステータス確認
-
DSM管理コンソール上のステータス確認
[DSM管理コンソール]>[コンピュータ]>対象のDSVAの[詳細]>[概要]>[一般タブ]にてステータスが管理対象(オンライン)であること
-
DSVA上でのステータス確認
- DSVAにログイン(ログイン方法はこちらの[DSVAへのログイン・SSHの有効化方法]を参照ください。)
-
以下のコマンドにてプロセス状態の確認
sudo ps -ef | grep ds
NSX-T 3.X.Xのdsa_slowpathプロセス名
No 起動プロセス NSX-V 環境 NSX-T 3.0 未満の環境 NSX-T 3.0 以上の環境 備考 1 ds_agentプロセスが2つ起動していること 〇 〇 〇 基本動作に関わるプロセス 2 ds_amプロセスが2つ起動していること 〇 〇 〇 不正プログラム対策、変更監視機能に関するプロセス 3 dsa_slowpathプロセスが1つ起動していること 〇 ※1 - ※2 〇 ※3 Webレピュテーション機能、ファイアウォール機能、侵入防御機能に関するプロセス ※1:NSX for vShiled Endpointライセンスをご利用の場合は起動していない状態にて問題ございません。
※2:起動しません
※3:NSX for vShiled Endpointライセンスの場合でもプロセスは起動しますが関連機能は使用できません。 -
以下のコマンドにてインターフェースの状態を確認
sudo ifconfig -a | more
-
NSX-V 環境、NSX-T 3.0未満の環境では169.254.1.39とデプロイ時に設定したサービス用のIPアドレスが設定(上記画像では192.168.100.61)され、インターフェースがアップしていることを確認
-
NSX-T 3.0以上環境の場合は上記に加えすべてのインターフェースがUP状態であることを確認
-
-
以下のコマンドにてポートListen状態の確認
netstat -ant | more
- 0.0.0.0:48651ポートがListenしていること
- 169.254.1.39:48651へのTCPコネクションが確立(ESTABLISTHED)されていることを確認
169.254.1.39:48651への接続は現在保護対象となっている仮想マシンのノード数分確立されます。 保護対象分セッションが確立がされていない場合、「不正プログラム対策エンジンのオフライン」メッセージが発生する可能性があります。確認方法などはDSVA環境のトラブルシューティングガイド>[不正プログラム対策エンジンがオフラインの解消法]を参照ください。
Guest Introspection VMのステータス確認(NSX-V環境のみ)
-
[DSM管理コンソール]>[コンピュータ]>対象のGuest Introspection VMの[詳細]>[概要]>[一般タブ]にてステータスが非管理対象(“Agentなし”or”不明”)であること
NSX managerのステータス確認(NSX-V環境用)
-
NSX-V Managerのコンソールにログインし、[View Summary]メニューから、Common Components とNSX Management ServiceがRunningになっていることを確認します。
[Manage]-[NSX Management Service]に移動し、vCenter ServerのStatusを確認します。
Statusが、(緑)Connectedとなっていることを確認します。リフレッシュのアイコンをクリックし、日時が更新されることを確認します。
NSX managerのステータス確認(NSX-T環境用)
-
[NSX-T Manager管理コンソール]>[ホーム]>[モニタリングダッシュボード]にてエラーなどの現在のステータスを確認します。
対象のvCenterの登録、接続ステータスを[NSX-T manager管理コンソール]>[システム]>[ファブリック]>[コンピュートマネジャ]から確認します(登録状態:登録済み、接続状態:稼働中となっていること)。
対象のトランスポートゾーンのステータスを[NSX-T manager管理コンソール]>[システム]>[ファブリック]>[トランスポートゾーン]から確認します(状態:稼働中となっていること)。
NSX 関連コンポーネントのステータス確認(NSX-V環境用)
-
Guest Introspection VM/DSVAデプロイ状況の確認
[vCenter severの管理コンソール]>[ホーム]>[ネットワークとセキュリティ]>[インストールとアップグレード]>[サービスの展開]を選択し、インストールステータス、及びサービスステータスに問題が発生していないことを確認します。 下図のように、「失敗」などの表示が見られた場合、
"失敗"をクリックすることにより、詳細情報(システムアラーム画面)が表示され、原因を確認することができます。 原因確認後、"解決"ボタンをクリックすることにより、解決可能な問題であれば問題を解決できることがあります。
-
Guest Introspectionの状態確認
[vCenter管理コンソール]>[ホーム]>[ホストおよびクラスタ]>[対象のESXiホスト]>[監視]>[ゲストイントロスペクション]を選択し、「重大」エラーが発生していないこと、下側のリストの「ゲスト仮想マシン」に、AMオフラインになったゲスト仮想マシンのエントリがあり、「シンエージェントが有効になりました」という表示があることを確認します。
仮想マシン上で、Guest Introspectionドライバ(vsepflt)が起動していない場合、該当仮想マシン自体がこちらに表示されません。 -
Network Introspectionの状態確認(Webレピュテーション/ファイアウォール/侵入防御機能の利用時のみ)
[vCenter管理コンソール]>[ホーム]>[ネットワークとセキュリティ]>[インストールとアップグレード]>[ホストの準備]を選択し、NSXコンポーネントがESXiホストにインストール済み(バージョンが確認できること)、ファイアウォール欄が「有効」であることを確認します。
NSX for vShield Endpointライセンスを使用している場合、本機能は利用できません。 -
サービス適用状況の確認
[vCenter管理コンソール]>[ホーム]>[ネットワークとセキュリティ]>[Service Composer]>[セキュリティグループ]を選択し、ゲスト/ネットワークイントロスペクションの状態、およびエラー状況を確認します。
- 不正プログラム対策/変更監視機能利用時、ゲストイントロスペクションの項目が0以外であること
- Webピュテーション/ファイアウォール/侵入防御機能の利用時、ネットワークイントロスペクションの項目が0以外であること
- サービスエラーが発生していないこと
サービスエラーが発生している場合、以下のようにエラー内容が出力されます
-
DSセキュリティポリシー同期確認(DS9.6SP1以降)
下図のようにDSM9.6SP1以降でNSXとのポリシー同期機能を利用している場合、同期状況は下記手順で確認可能です。
[vCenter管理コンソール]>[ホーム]>[ネットワークとセキュリティ]>[サービス定義]を選択し、[サービス]タブの[Trend Micro Deep Security]をダブルクリック>[Trend Micro Deep Security-GlobalInstance]> [関連オブジェクト]タブでDeep Securityと同期したポリシーを参照できます。(同期していない場合はDefault(EBT)のみ表示されます)
NSX 関連コンポーネントのステータス確認(NSX-T環境用)
-
DSVAデプロイ状況の確認
[NSX-T Manager 管理コンソール]>[システム]>[サービス展開]>[展開]にて状態のステータスがグリーン、稼働中であることを確認します。
[NSX-T Manager 管理コンソール]>[システム]>[サービス展開]>[サービス インスタンス]にて状態のステータスがグリーン、稼働中であることを確認します。
サービスインスタンスはESXiホストごとに出力されます(上記図ではESXiが1台のみの環境)。アラートが発生している場合はインフォメーションのアイコンを選択することでアラート内容を確認できます。
-
エンドポイント保護設定の確認
[NSX-T管理コンソール]>[セキュリティ]>[エンドポイントの保護]>[エンドポイント保護ルール]にて対象のルールのステータスが稼働中であること
[NSX-T管理コンソール]>[セキュリティ]>[エンドポイントの保護]>[エンドポイント保護ルール]にて対象のルールのグループに対象の仮想マシンが含まれること
-
ネットワークイントロスペクションの状態確認(Webレピュテーション/ファイアウォール/侵入防御機能の利用時のみ)
[NSX-T管理コンソール]>[セキュリティ]>[設定]>[ネットワークイントロスペクション]にてサービスセグメント、サービスプロファイル、サービスチェーンが正しく設定されていること
[NSX-T管理コンソール]>[セキュリティ]>[East-Westのセキュリティ]>[ネットワークイントロスペクション(E-W)]にてリダイレクトポリシーおよびルールが正しく設定されていること
ESXiコンポーネントのステータス確認
-
[vCenter管理コンソール]>[ホストおよびクラスタ]>対象のESXiの[サマリ]にてGuest Introspection関連のアラートが発生してないこと
-
サービスの起動確認
-
対象のESXiにSSHもしくはコンソールにてログインします。
-
以下のコマンドを実行し各サービス、プロセスが起動していることを確認します。
NSX-V環境の場合
共通
vmciがロードされていることを確認します。esxcfg-module -l | grep vmci
不正プログラム対策/変更監視機能ご利用時
vShield-Endpoint-Mux がruning となっていることを確認します。
/etc/init.d/vShield-Endpoint-Mux status
vShield-Endpoint-Muxが存在することを確認します
ps | grep vShield-Endpoint-Mux
DSVA/Guest Introspection VMとの接続状況を確認します。
esxcli network ip connection list | grep vShield-Endpoint-Mux
確認ポイント
- 169.254.1.39:48651 :DSVAへの接続状態。保護しているVMの数と同じセッションが確立されている必要があります。(上図は1台の仮想マシンが保護状態)
- 169.254.1.24:48655 : Guest Introspection VMへの接続状態。保護しているVMの数+1のセッションが確立されている必要があります。
Webレピュテーション/ファイアウォール/侵入防御機能ご利用時
Dvfilter関連モジュールがロードされていることを確認します。
esxcfg-module -l | grep dvfilter
Vsipがロードされていることを確認します。
esxcfg-module -l | grep vsip
Vsfwdのプロセス起動有無
ps | grep vsfwd
NSX-V Managerへの接続性
esxcli network ip connection list | grep vsfwd
ESXi(下図では192.168.100.13)からNSX-V Manager(下図では192.168.100.20)にセッションが確立されていること
NSX-T環境の場合
vmciがロードされていることを確認します。
esxcfg-module -l | grep vmci
不正プログラム対策機能ご利用時
nsx-context-muxがruningとなっていることを確認します。
/etc/init.d/nsx-context-mux status
nsx-context-muxが存在することを確認します。
ps | grep nsx-context-mux
opsAgentがrunningとなっていることを確認します。
/etc/init.d/nsx-opsagent status
opsAgentが存在することを確認します。
ps | grep opsAgent
DSVAとの接続状況を確認します。
esxcli network ip connection list | grep nsx-context-mux
確認ポイント
169.254.1.39:48651 :DSVAへの接続状態。保護しているVMの数と同じ数のセッションが確立されている必要があります。(上図は1台の仮想マシンが保護状態)
Webレピュテーション/ファイアウォール/侵入防御機能ご利用時
Dvfilter関連モジュールがロードされていることを確認します。
esxcfg-module -l | grep dvfilter
Vsipがロードされていることを確認します。
esxcfg-module -l | grep vsip
NSX-T Managerへの接続性
esxcli network ip connection list | grep nsx-proxy
ESXi(下図では192.168.100.18)からNSX-T Manager(下図では192.168.100.26)にセッションが確立されていること
-
保護対象仮想マシンのステータス確認(DSM管理コンソールより確認)
-
DSM管理コンソールより確認
[DSM管理コンソール]>[コンピュータ]>対象のコンピュータの[詳細]>[概要]>[一般タブ]にて以下を確認
No 確認ポイント 1 ステータスが管理対象(オンライン)であること 2 オン状態の機能のステータスがグリーンであること 3 保護するDSVAの表示があること 4 VMware Toolsに「OK」の表示があること 5 [NSX-V環境の場合]
NSX-Vにてセキュリティグループに設定したグループ名が表示されていること
※NSX for vShield Endpointライセンスを使用の場合は空白で問題ありません
[NSX-T環境の場合]
-
NSX-T Manager 3.0 未満:空白
-
NSX-T Manager 3.0 以上:NSX-T Managerにて設定したエンドポイント保護ルールの仮想マシンの所属するグループ名が表示されていること
※NSX for vShield Endpointライセンスをご利用中の場合も表示されることを確認ください。
補足
- 不正プログラム対策がリアルタイムでなく、[オン、手動のみ] となっている場合は下図のとおりリアルタイム検索の設定がされていない状態です。
-
VMware Toolsの表示が「NG」の場合VMware Toolsが起動していない、インストールされていない可能性があります。下記の仮想マシンにログインの上確認にてVMware Toolsのインストール状況をご確認ください。
また、vCenter側の管理情報が同期されていないもございますので、上記vCenter/NSX Manager同期確認にて記載の方法にて同期に問題がないか確認ください。 -
設定したNSXセキュリティグループの確認方法
下記のグループに仮想マシンが設定されている状態にてNSXセキュリティグループ欄が空白の場合、vCenter側の管理情報が同期されていないもございますので、上記vCenter/NSX Manager同期確認にて記載の方法にて同期に問題がないか確認ください。
[NSX-V環境の場合]
[vCenter管理コンソール]>[ホーム]>[ネットワークとセキュリティ]>[セキュリティ]>[Sevice Composer]>[セキュリティグループ][NSX-T環境の場合]
[NSX-T Managerの管理コンソール]>[セキュリティ]>[エンドポイント保護]内のDSVAのサービスプロファイルが設定されているポリシー
-
保護対象仮想マシンのステータス確認(仮想マシンにログインの上確認)
-
Notifierのステータス(インストールしている場合のみ)
保護対象VMにNotifierをインストールしている場合、保護対象VMにログインし、Notifierのメニューを起動し、以下を確認します。
No 確認ポイント 1 Appliance 実行中であること 2 オン状態の機能のステータスがグリーンであること -
エラー例
-
Guest Introspectionドライバ(NSX File Introspection)がインストールされていない場合、Notifierをインストールすることはできません
-
-
Guest Introspectionドライバー状態(不正プログラム対策/変更監視機能利用時)
保護対象の仮想マシンOSにログインし、[スタートメニュー]>[ファイル名を指定して実行]>[msinfo32]を実行しシステム情報を起動。 システム情報の[システムの概要]>[ソフトウエア関連]>[システムドライバ]から、vmci , vsepflt の項目があり、状態=実行中、OKであることを確認
コマンドプロンプト(管理者権限にて実行)からもsc query vsepflt およびsc query vmciコマンドにて確認可能となります(それぞれのSTATEが RUNNINGになっていること)。
vsepfltが実行中となっていない場合、コマンドプロンプト(もしくはPowerShell)を管理者権限で実行し、fltmcコマンドを実行しvsepfltが表示されることを確認します。
vsepfltがロードされている画面
vsepfltがロードされていない画面
vsepfltがロードされていないだけの場合、fltmc load vsepfltコマンドでロードすることが可能です。
なお、vsepfltが見つからない場合、Guest Introspectionドライバ(NSX File Introspection)のインストールがされていない可能性があります。
【Step 3】調査資料の収集
上記にて確認された問題点が解消されない場合、以下資料を収集いただき、サポートセンターまでお問合せください。
※製品Q&A:DSVA環境のトラブルシューティングガイドにはDSVA環境のナレッジも含めよくあるお問合せをおまとめしておりますので併せてご確認ください。
-
バージョン情報
-
vCenter Server
-
ESXi
-
NSX-V Manager or NSX-T Manager
-
VMware tools
※バージョン情報の確認方法は製品Q&A:DSVAトラブルシューティングガイド>[Deep Security/VMwareコンポーネントのバージョン確認手順]を参照ください。
-
-
ライセンスおよび環境情報
-
ご利用のNSXライセンスのエディション(例:NSX for vShield Endpoint)
-
コンバインモードの使用の有無(コンバインモードに関する詳細はこちら)
-
-
発生事象の情報
-
Step1で整理した発生事象、発生対象の情報
-
事象発生時のタイムライン
-
事象が確認可能な画面ショット
-
-
調査資料
-
DSMの診断パッケージ(※1)
-
Relayの診断パッケージ(※1)
-
DSVAの診断パッケージ(※2)
-
仮想マシンの診断パッケージ(※2)
-
システムイベントログ(※3)
※1.複数台の構成の場合は全台で取得ください。(取得方法はこちら)
※2.複数台で事象が発生している場合は全台で取得ください(目安として4台以上で発生している場合はサンプルで3台程度取得ください)(取得方法はこちら)
※3.[DSM 管理コンソール]>[イベントとレポート] にて事象の発生日時+前後24時間(合計48時間分)を抽出いただきエクスポートください。 なお、エクスポートの際は『CSV形式でエクスポート(詳細な説明を含む)』にて ご対応ください。
-