ビュー:

概要

本エラーは、DSVA 内のプロセス ds_am と、仮想マシンにインストールされた (VMware Tools に含まれる) vShield 用ドライバが、ESXi 内の vShield-Endpoint-Mux プロセスを経由して通信ができない (仮想マシン側からステータスを通知するハートビートのようなイベントが一定時間届かない) 場合などに発生します。
 
ds_am プロセスは、ESXi 内の vShield-Endpoint-Mux プロセスと以下アドレス/ポート番号でコネクションを確立します。
  • DSVA (ds_am) : 169.254.1.XX / TCP 48651
  • ESXi (vShield-Endpoint-Mux) : 169.254.1.1 / TCP XXXXX (可変 TCP ポート)

基本確認事項

本事象が発生した場合にまず確認すべき基本事項は以下のとおりです。

特定の仮想マシンのみで事象が発生している場合

特定/一部の仮想マシンで事象が発生している場合、対象の仮想マシン側に起因している可能性が考えられるため、以下を確認します。
  • 仮想マシンがスリープ状態になっていないか
  • vShield Endpoint Thin Agent ドライバが動作しているか (vsepflt/vmci ドライバが正常に動作しているか)
仮想マシンの OS の設定で、コンピュータのスリープが有効になっていると、一定時間操作が行われない場合にゲスト OS がスリープ状態になり、事象が発生します。この場合、電源オプションの設定を変更し、スリープを無効にしてください。
 
また、対象の仮想マシンに、VMware Tools に含まれるドライバ ("vmci" および "vsepflt") が正常に動作していること (ステータスが RUNNING になっていること) を確認してください。ドライバが正常に動作しているかどうかは、「driverquery /v」コマンドまたは「sc query <driver_name>」コマンドで確認することができます。以下は出力例です。
これらのドライバが正常に動作していない場合は、VMware Tools のインストールまたは再インストール (「完了」または「カスタム」で) を実施してください。インストール方法の詳細については、関連リンクを参照してください。

ドライバの名称は ESXi のバージョンによって異なります。これらの名称は、今後予告なく変更される可能性があります。インストールすべきドライバの名称が不明な場合、VMware Tools の全てのコンポーネントをインストールするか、VMware 社サポートにお問い合わせください。

    • ESXi 5.5 u2 よりも前 : 「vShield ドライバ (vShield Endpoint Thin Agent)」
    • ESXi 5.5 u2 以降 : 「Guest Introspection ドライバ (Guest Introspection Thin Agent)」
    • ESXi 6.0 Patch 1 (ESXi-6.0.0-20150704001-standard) 以降 : 「NSX File Introspection Driver」

※ ESXi 6.0 Patch 1 以降の場合、「NSX Network Introspection Driver」も選択することができますが、これは DSVA による保護では使用しませんので、インストールする必要はありません。

該当 DSVA のすべての保護対象仮想マシンで事象が発生している場合

対象 DSVA のすべての保護対象仮想マシンで事象が発生している場合、DSVA/ESXi 側に起因している可能性が考えられるため、以下を確認します。
  • ESXi の VMCI ドライバや vShield-Endpoint-Mux プロセスが正常に動作しているか
  • ds_am プロセスと vShield-Endpoint-Mux プロセス間のコネクションが正常に確立できているか
  • ds_am プロセスが正常に動作しているか (バージョン 9.5 以降)

バージョンによって動作が若干異なる場合があります。

ESXi における vShield-Endpoint-Mux プロセスのステータスは以下コマンドで確認することができます。ステータスが「vShield-Endpoint-Mux is not running」になっている場合は、「/etc/init.d/vShield-Endpoint-Mux start」コマンドで起動してください。
~ # /etc/init.d/vShield-Endpoint-Mux status (停止時)
vShield-Endpoint-Mux is not running

~ # /etc/init.d/vShield-Endpoint-Mux status (正常時)
vShield-Endpoint-Mux is running

~ # ps | grep Mux (正常時)
5695 5695 vShield-Endpoint-Mux /usr/lib/vmware/vShield-Endpoint-Mux
5700 5695 vShield-Endpoint-Mux /usr/lib/vmware/vShield-Endpoint-Mux
ESXi の vmci ドライバが正常にロードされているかどうかは、以下コマンドで確認してください。
~ # esxcfg-module -l | grep vmci (正常時)
vmci 3 144
~ #
ds_am プロセス (DSVA) と vShield-Endpoint-Mux プロセス (ESXi) 間のコネクションについては、以下コマンドで確認してください。
ESXi 側

~ # esxcli network ip connection list | grep Mux (異常時 : ds_am TCP:48651 とのコネクションがない)
tcp 0 0 10.3.239.40:59572 10.3.239.34:443 ESTABLISHED 250155 vShield-Endpoint-Mux
tcp 0 0 10.3.239.40:57066 10.3.239.34:443 ESTABLISHED 250155 vShield-Endpoint-Mux
~ #
~ # esxcli network ip connection list | grep Mux (正常時)
tcp 0 0 169.254.1.1:54590 169.254.1.39:48651 ESTABLISHED 250150 vShield-Endpoint-Mux
tcp 0 0 10.3.239.40:59572 10.3.239.34:443 ESTABLISHED 250155 vShield-Endpoint-Mux
tcp 0 0 10.3.239.40:57066 10.3.239.34:443 ESTABLISHED 250155 vShield-Endpoint-Mux

DSVA 側

[root@dsva01-95 dsva]# netstat -tna | grep 48651
tcp 0 0 169.254.1.39:48651 169.254.1.1:61653 ESTABLISHED
ds_am プロセスが正常に動作しているかどうかは、以下コマンドで確認してください(バージョン 9.5 以降)。
[root@dsva01-95 dsva]# ps -ef | grep ds_am | grep -v grep
root 17087 1 0 Oct06 ? 00:00:00 /opt/ds_agent ds_am -g ../diag -v 5 -d /var/opt/ds_agent/am -m /opt/ds_agent/lib/libvmpd_full_scan.so -m /opt/ds_agent/lib/libvmpd_scanctrl.so -m /opt/ds_agent/lib/libvmpd_rtscan.so -m /opt/ds_agent/lib/libvmpd_imscan.so -m /opt/ds_agent/lib/libvmpd_rcscan.so
root 17107 17087 0 Oct06 ? 00:05:28 /opt/ds_agent ds_am -g ../diag -v 5 -d /var/opt/ds_agent/am -m /opt/ds_agent/lib/libvmpd_full_scan.so -m /opt/ds_agent/lib/libvmpd_scanctrl.so -m /opt/ds_agent/lib/libvmpd_rtscan.so -m /opt/ds_agent/lib/libvmpd_imscan.so -m /opt/ds_agent/lib/libvmpd_rcscan.so
プロセスが停止している場合は、「service ds_agent restart」コマンドで ds_agent プロセスを再起動してください (ds_am も起動します)。なお、ds_am プロセスが停止している場合、「/var/opt/ds_agent/diag/ds_agent.log」に以下のようなメッセージが記録されます。
[root@dsva01-95 dsva]# tail -n 100 /var/opt/ds_agent/diag/ds_agent.log | grep Error
2015-10-06 19:15:15.000000: [Error/1] | amsocket open (/var/opt/ds_agent/am/am_cmd_socket) failed (error 111: Connection refused) | /build/DEEPSECURITY_DSA/9.5_SP1HF/rhel6_64/en/Source/src/dsa/plugins/am/dsam/amInterface.cpp:77:dsam_connect | 4626:7F9E3B5BD700:dsa.NotifySvc
2015-10-06 19:15:33.000000: [Error/1] | amsocket open (/var/opt/ds_agent/am/am_cmd_socket) failed (error 111: Connection refused) | /build/DEEPSECURITY_DSA/9.5_SP1HF/rhel6_64/en/Source/src/dsa/plugins/am/dsam/amInterface.cpp:77:dsam_connect | 4626:7F9E3B5BD700:dsa.NotifySvc
2015-10-06 19:15:35.000000: [Error/1] | amsocket open (/var/opt/ds_agent/am/am_cmd_socket) failed (error 111: Connection refused) | /build/DEEPSECURITY_DSA/9.5_SP1HF/rhel6_64/en/Source/src/dsa/plugins/am/dsam/amInterface.cpp:77:dsam_connect | 4626:7F9E36DF2700:ConnectionHandlerPool_0002
2015-10-06 19:15:51.000000: [Error/1] | amsocket open (/var/opt/ds_agent/am/am_cmd_socket) failed (error 111: Connection refused) | /build/DEEPSECURITY_DSA/9.5_SP1HF/rhel6_64/en/Source/src/dsa/plugins/am/dsam/amInterface.cpp:77:dsam_connect | 4626:7F9E3B5BD700:dsa.NotifySvc
2015-10-06 19:16:09.000000: [Error/1] | amsocket open (/var/opt/ds_agent/am/am_cmd_socket) failed (error 111: Connection refused) | /build/DEEPSECURITY_DSA/9.5_SP1HF/rhel6_64/en/Source/src/dsa/plugins/am/dsam/amInterface.cpp:77:dsam_connect | 4626:7F9E3B5BD700:dsa.NotifySvc
2015-10-06 19:16:27.000000: [Error/1] | amsocket open (/var/opt/ds_agent/am/am_cmd_socket) failed (error 111: Connection refused) | /build/DEEPSECURITY_DSA/9.5_SP1HF/rhel6_64/en/Source/src/dsa/plugins/am/dsam/amInterface.cpp:77:dsam_connect | 4626:7F9E3B5BD700:dsa.NotifySvc
2015-10-06 19:16:35.000000: [Error/1] | amsocket open (/var/opt/ds_agent/am/am_cmd_socket) failed (error 111: Connection refused) | /build/DEEPSECURITY_DSA/9.5_SP1HF/rhel6_64/en/Source/src/dsa/plugins/am/dsam/amInterface.cpp:77:dsam_connect | 4626:7F9E321FD700:dsa.Scheduler_0008
2015-10-06 19:16:45.000000: [Error/1] | amsocket open (/var/opt/ds_agent/am/am_cmd_socket) failed (error 111: Connection refused) | /build/DEEPSECURITY_DSA/9.5_SP1HF/rhel6_64/en/Source/src/dsa/plugins/am/dsam/amInterface.cpp:77:dsam_connect | 4626:7F9E3B5BD700:dsa.NotifySvc

ヒント

DSVA 9.0 の場合、ds_am プロセスが停止していると、「/var/log/syslog」に以下のようなメッセージが記録されます。この場合、「sudo start ds_am」コマンドなどでプロセスを起動してください。
 

Feb 13 15:06:02 dsva90 ds_guest_agent[4523]: amsocket open (../../am/am_cmd_socket) failed (error 111: Connection refused)
Feb 13 15:06:02 dsva90 ds_guest_agent[4523]: [AM] ERROR amsocket open error!

その他の対処方法

基本確認事項にいずれも問題が無い場合、以下対処方法の実施をし、事象が改善するかどうか確認してください。
  • vCenter との同期
  • 保護対象の別の ESXi ホストへの vMotion (可能な環境の場合)
  • (特定の仮想マシンで事象が発生している場合) 対象の仮想マシンの再有効化
  • 対象の DSVA の再有効化
  • vShield Manager 側のステータス確認 (ハングアップしていないか、など) および再起動
  • 最新の VMware Tools へのアップグレードまたは再インストール
  • DSM/DSVA (および Filter Driver) の最新ビルドへのアップグレード (特に DSVA 9.0 の場合は既知の不具合が複数存在します)
  • vShield Endpoint のアップグレード

NSX環境におけるトラブルシューティング方法

こちらのTrend Micro Deep Security サポートウェブに公開しておりますトラブルシューティングガイドをご確認ください。

関連リンク

キーワード: Deep Security,DS_Index‐DSVAエラー関連-全般,DS_Index‐不正プログラム対策-全般,DS-FAQ-Troubleshooting