Video Screencast Help

Clearing faults from Veritas Operations Manager views

Created: 09 Sep 2013 • Updated: 25 Sep 2013 | 8 comments
This issue has been solved. See solution.

I am pretty new to all of it -- VCS, SFWHA and VOM, so hopefully this is some newbie question and easily answered!   BTW, I have no assurance that VOM was set up correctly, so consider answers with that in mind - it's a pretty new installation. 

I have attached a screenshot of my VOM "Home" page.  There are issues listed "Top Faults and Risks" area that occurred weeks ago and are resolved.  I want a "clean" dashboard on this page so that only current problems are shown.  

Questions:

Should these Faults that are resolved have automatically cleared and been removed from view?  

Does that fact that these are still showing up/not automatically disappearing from view mean I have a configuration problem or a setting that needs changing?

On the "Monitor -> Faults" page, I did "Suppress" some of these faults and they no longer show up on the Home page, but "Suppress" sounds like strange verbage to me.  I would have expected "Suppress" to be used when a fault is present and you wish to suppress it from notifications (e.g. email alerts).

 

Help anyone?  Thanks in advance.

 

Operating Systems:

Comments 8 CommentsJump to latest comment

Daniel Matheus's picture

You need to go to manage -> Clusters -> Service groups -> Resources to clear the fault.

Supress really just supresses the message.

 

If this post has helped you, please vote or mark as solution

martyegan's picture

I've attached 3 more screenshots that illustrate other areas of the VOM web pages that have what looks like conflicting information.

 

In 01_Manage-HADR-Clusters Page.jpg  (Manage menu -> Clusters) I see the DBC1 cluster which is marked Healthy.

I clicked on the DBC1 cluster and was taken to the Overview page for that cluster. (See file 02_Manage-HADR-Clusters-MyCluster Page.jpg).   The top of the page indicates Nodes (dbc1-n1, dbc1-n2) are in Jeopardy state.

I clicked on "dbc1-n3" and was taken to the Hosts page for dbc1-n3.   This web page shows dbc1-n3 as Healthy.   

I have verified with lltstat -nvv that all 17 Nodes are seeing the cluster through all 3 of their LLT links.   (We have two NICs in the system dedicated for LLT, each on different switches.  We have the services NIC as a low-priority LLT link)    So I don't see anybody in Jeopardy.

How can I cause VOM to display current status?

 

Thanks again.

01_Manage-HADR-Clusters Page.jpg 02_Manage-HADR-Clusters-MyCluster Page.jpg 03_Manage-Servers-Hosts-MyNode.jpg
martyegan's picture

Daniel,

 

Please see screenshot -- None of the Service Groups are faulted, there's nothing to clear.

 

 

Nothing to clear.jpg
martyegan's picture

However, the page for the cluster, when I view the "Hosts" tab, shows those two Nodes differently.  

Notice there's no UpDown State and DBC1-N3 shows "Running | Starting" rather than just "Running".

 

 

Hosts dont look right.jpg
martyegan's picture

Notice how when I hover the mouse over the red text "in jeopardy state", I get the yellow balloon text indicating those Nodes have only one link to the cluster.  lltstat -nvv and gabconfig -a seem to be telling me these Nodes are OK in the cluster and both have three links like every other Node.  I have the output from these three commands on three different Nodes below, including the two that VOM says are in Jeopardy.

 

lltstat and gabconfig outputs

On DBC1-N2

 
C:\Users\megan>hostname
dbc1-n2
 
C:\Users\megan>lltstat -nvv
LLT node information:
    Node                 State    Link  Status  Address
     0 DBC1-N1           OPEN
                                  Adapter0   UP      78:E7:D1:7B:CF:A8
                                  Adapter1   UP      78:E7:D1:7B:CF:AA
                                  Adapter2   UP      78:E7:D1:7B:CF:AC
   * 1 DBC1-N2           OPEN
                                  Adapter0   UP      78:E7:D1:8F:4A:38
                                  Adapter1   UP      78:E7:D1:8F:4A:3A
                                  Adapter2   UP      78:E7:D1:8F:4A:3C
     2 DBC1-N3           OPEN
                                  Adapter0   UP      78:E7:D1:90:A2:DE
                                  Adapter1   UP      78:E7:D1:90:A2:E0
                                  Adapter2   UP      78:E7:D1:90:A2:E2
     3 DBC1-N4           OPEN
                                  Adapter0   UP      D8:D3:85:AD:65:76
                                  Adapter1   UP      D8:D3:85:AD:65:78
                                  Adapter2   UP      D8:D3:85:AD:65:7A
     4 DBC1-N5           OPEN
                                  Adapter0   UP      78:E7:D1:90:FF:4A
                                  Adapter1   UP      78:E7:D1:90:FF:4C
                                  Adapter2   UP      78:E7:D1:90:FF:4E
     5 DBC1-N6           OPEN
                                  Adapter0   UP      78:E7:D1:7B:9A:BA
                                  Adapter1   UP      78:E7:D1:7B:9A:BC
                                  Adapter2   UP      78:E7:D1:7B:9A:BE
     6 DBC1-N7           OPEN
                                  Adapter0   UP      78:E7:D1:90:A3:6A
                                  Adapter1   UP      78:E7:D1:90:A3:6C
                                  Adapter2   UP      78:E7:D1:90:A3:6E
     7 DBC1-N8           OPEN
                                  Adapter0   UP      78:E7:D1:8D:EC:88
                                  Adapter1   UP      78:E7:D1:8D:EC:8A
                                  Adapter2   UP      78:E7:D1:8D:EC:8C
     8 DBC1-N9           OPEN
                                  Adapter0   UP      AC:16:2D:7B:75:4C
                                  Adapter1   UP      AC:16:2D:7B:75:4D
                                  Adapter2   UP      AC:16:2D:7B:75:4E
     9 DBC1-N10          OPEN
                                  Adapter0   UP      AC:16:2D:7A:D1:CC
                                  Adapter1   UP      AC:16:2D:7A:D1:CD
                                  Adapter2   UP      AC:16:2D:7A:D1:CE
    10 DBC1-N11          OPEN
                                  Adapter0   UP      AC:16:2D:75:F0:3C
                                  Adapter1   UP      AC:16:2D:75:F0:3D
                                  Adapter2   UP      AC:16:2D:75:F0:3E
    11 DBC1-N12          OPEN
                                  Adapter0   UP      AC:16:2D:7B:74:C0
                                  Adapter1   UP      AC:16:2D:7B:74:C1
                                  Adapter2   UP      AC:16:2D:7B:74:C2
    12 DBC1-N13          OPEN
                                  Adapter0   UP      AC:16:2D:75:EE:A4
                                  Adapter1   UP      AC:16:2D:75:EE:A5
                                  Adapter2   UP      AC:16:2D:75:EE:A6
    13 DBC1-N14          OPEN
                                  Adapter0   UP      AC:16:2D:7C:91:44
                                  Adapter1   UP      AC:16:2D:7C:91:45
                                  Adapter2   UP      AC:16:2D:7C:91:46
    14 DBC1-N15          OPEN
                                  Adapter0   UP      AC:16:2D:7A:68:B8
                                  Adapter1   UP      AC:16:2D:7A:68:B9
                                  Adapter2   UP      AC:16:2D:7A:68:BA
    15 DBC1-N16          OPEN
                                  Adapter0   UP      AC:16:2D:72:FC:AC
                                  Adapter1   UP      AC:16:2D:72:FC:AD
                                  Adapter2   UP      AC:16:2D:72:FC:AE
    16 DBC1-N17          OPEN
                                  Adapter0   UP      AC:16:2D:7B:20:90
                                  Adapter1   UP      AC:16:2D:7B:20:91
                                  Adapter2   UP      AC:16:2D:7B:20:92
    17                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    18                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    19                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    20                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    21                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    22                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    23                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    24                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    25                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    26                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    27                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    28                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    29                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    30                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    31                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
 
C:\Users\megan>gabconfig -a
GAB Port Memberships
===============================================================
Port a gen   67aa3c membership 01234567890123456
Port c gen   67aa3b membership 01234567890123456
Port h gen   67aa43 membership 01234567890123456
 
C:\Users\megan>
 

On DBC1-N3

 
C:\Users\megan>hostname
dbc1-n3
 
C:\Users\megan>lltstat -nvv
LLT node information:
    Node                 State    Link  Status  Address
     0 DBC1-N1           OPEN
                                  Adapter0   UP      78:E7:D1:7B:CF:A8
                                  Adapter1   UP      78:E7:D1:7B:CF:AA
                                  Adapter2   UP      78:E7:D1:7B:CF:AC
     1 DBC1-N2           OPEN
                                  Adapter0   UP      78:E7:D1:8F:4A:38
                                  Adapter1   UP      78:E7:D1:8F:4A:3A
                                  Adapter2   UP      78:E7:D1:8F:4A:3C
   * 2 DBC1-N3           OPEN
                                  Adapter0   UP      78:E7:D1:90:A2:DE
                                  Adapter1   UP      78:E7:D1:90:A2:E0
                                  Adapter2   UP      78:E7:D1:90:A2:E2
     3 DBC1-N4           OPEN
                                  Adapter0   UP      D8:D3:85:AD:65:76
                                  Adapter1   UP      D8:D3:85:AD:65:78
                                  Adapter2   UP      D8:D3:85:AD:65:7A
     4 DBC1-N5           OPEN
                                  Adapter0   UP      78:E7:D1:90:FF:4A
                                  Adapter1   UP      78:E7:D1:90:FF:4C
                                  Adapter2   UP      78:E7:D1:90:FF:4E
     5 DBC1-N6           OPEN
                                  Adapter0   UP      78:E7:D1:7B:9A:BA
                                  Adapter1   UP      78:E7:D1:7B:9A:BC
                                  Adapter2   UP      78:E7:D1:7B:9A:BE
     6 DBC1-N7           OPEN
                                  Adapter0   UP      78:E7:D1:90:A3:6A
                                  Adapter1   UP      78:E7:D1:90:A3:6C
                                  Adapter2   UP      78:E7:D1:90:A3:6E
     7 DBC1-N8           OPEN
                                  Adapter0   UP      78:E7:D1:8D:EC:88
                                  Adapter1   UP      78:E7:D1:8D:EC:8A
                                  Adapter2   UP      78:E7:D1:8D:EC:8C
     8 DBC1-N9           OPEN
                                  Adapter0   UP      AC:16:2D:7B:75:4C
                                  Adapter1   UP      AC:16:2D:7B:75:4D
                                  Adapter2   UP      AC:16:2D:7B:75:4E
     9 DBC1-N10          OPEN
                                  Adapter0   UP      AC:16:2D:7A:D1:CC
                                  Adapter1   UP      AC:16:2D:7A:D1:CD
                                  Adapter2   UP      AC:16:2D:7A:D1:CE
    10 DBC1-N11          OPEN
                                  Adapter0   UP      AC:16:2D:75:F0:3C
                                  Adapter1   UP      AC:16:2D:75:F0:3D
                                  Adapter2   UP      AC:16:2D:75:F0:3E
    11 DBC1-N12          OPEN
                                  Adapter0   UP      AC:16:2D:7B:74:C0
                                  Adapter1   UP      AC:16:2D:7B:74:C1
                                  Adapter2   UP      AC:16:2D:7B:74:C2
    12 DBC1-N13          OPEN
                                  Adapter0   UP      AC:16:2D:75:EE:A4
                                  Adapter1   UP      AC:16:2D:75:EE:A5
                                  Adapter2   UP      AC:16:2D:75:EE:A6
    13 DBC1-N14          OPEN
                                  Adapter0   UP      AC:16:2D:7C:91:44
                                  Adapter1   UP      AC:16:2D:7C:91:45
                                  Adapter2   UP      AC:16:2D:7C:91:46
    14 DBC1-N15          OPEN
                                  Adapter0   UP      AC:16:2D:7A:68:B8
                                  Adapter1   UP      AC:16:2D:7A:68:B9
                                  Adapter2   UP      AC:16:2D:7A:68:BA
    15 DBC1-N16          OPEN
                                  Adapter0   UP      AC:16:2D:72:FC:AC
                                  Adapter1   UP      AC:16:2D:72:FC:AD
                                  Adapter2   UP      AC:16:2D:72:FC:AE
    16 DBC1-N17          OPEN
                                  Adapter0   UP      AC:16:2D:7B:20:90
                                  Adapter1   UP      AC:16:2D:7B:20:91
                                  Adapter2   UP      AC:16:2D:7B:20:92
    17                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    18                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    19                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    20                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    21                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    22                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    23                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    24                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    25                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    26                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    27                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    28                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    29                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    30                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    31                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
 
C:\Users\megan>gabconfig -a
GAB Port Memberships
===============================================================
Port a gen   67aa3c membership 01234567890123456
Port c gen   67aa3b membership 01234567890123456
Port h gen   67aa43 membership 01234567890123456
 
C:\Users\megan>
 

DBC1-N1

 
C:\Users\megan>hostname
dbc1-n1
 
C:\Users\megan>lltstat -nvv
LLT node information:
    Node                 State    Link  Status  Address
   * 0 DBC1-N1           OPEN
                                  Adapter0   UP      78:E7:D1:7B:CF:A8
                                  Adapter1   UP      78:E7:D1:7B:CF:AA
                                  Adapter2   UP      78:E7:D1:7B:CF:AC
     1 DBC1-N2           OPEN
                                  Adapter0   UP      78:E7:D1:8F:4A:38
                                  Adapter1   UP      78:E7:D1:8F:4A:3A
                                  Adapter2   UP      78:E7:D1:8F:4A:3C
     2 DBC1-N3           OPEN
                                  Adapter0   UP      78:E7:D1:90:A2:DE
                                  Adapter1   UP      78:E7:D1:90:A2:E0
                                  Adapter2   UP      78:E7:D1:90:A2:E2
     3 DBC1-N4           OPEN
                                  Adapter0   UP      D8:D3:85:AD:65:76
                                  Adapter1   UP      D8:D3:85:AD:65:78
                                  Adapter2   UP      D8:D3:85:AD:65:7A
     4 DBC1-N5           OPEN
                                  Adapter0   UP      78:E7:D1:90:FF:4A
                                  Adapter1   UP      78:E7:D1:90:FF:4C
                                  Adapter2   UP      78:E7:D1:90:FF:4E
     5 DBC1-N6           OPEN
                                  Adapter0   UP      78:E7:D1:7B:9A:BA
                                  Adapter1   UP      78:E7:D1:7B:9A:BC
                                  Adapter2   UP      78:E7:D1:7B:9A:BE
     6 DBC1-N7           OPEN
                                  Adapter0   UP      78:E7:D1:90:A3:6A
                                  Adapter1   UP      78:E7:D1:90:A3:6C
                                  Adapter2   UP      78:E7:D1:90:A3:6E
     7 DBC1-N8           OPEN
                                  Adapter0   UP      78:E7:D1:8D:EC:88
                                  Adapter1   UP      78:E7:D1:8D:EC:8A
                                  Adapter2   UP      78:E7:D1:8D:EC:8C
     8 DBC1-N9           OPEN
                                  Adapter0   UP      AC:16:2D:7B:75:4C
                                  Adapter1   UP      AC:16:2D:7B:75:4D
                                  Adapter2   UP      AC:16:2D:7B:75:4E
     9 DBC1-N10          OPEN
                                  Adapter0   UP      AC:16:2D:7A:D1:CC
                                  Adapter1   UP      AC:16:2D:7A:D1:CD
                                  Adapter2   UP      AC:16:2D:7A:D1:CE
    10 DBC1-N11          OPEN
                                  Adapter0   UP      AC:16:2D:75:F0:3C
                                  Adapter1   UP      AC:16:2D:75:F0:3D
                                  Adapter2   UP      AC:16:2D:75:F0:3E
    11 DBC1-N12          OPEN
                                  Adapter0   UP      AC:16:2D:7B:74:C0
                                  Adapter1   UP      AC:16:2D:7B:74:C1
                                  Adapter2   UP      AC:16:2D:7B:74:C2
    12 DBC1-N13          OPEN
                                  Adapter0   UP      AC:16:2D:75:EE:A4
                                  Adapter1   UP      AC:16:2D:75:EE:A5
                                  Adapter2   UP      AC:16:2D:75:EE:A6
    13 DBC1-N14          OPEN
                                  Adapter0   UP      AC:16:2D:7C:91:44
                                  Adapter1   UP      AC:16:2D:7C:91:45
                                  Adapter2   UP      AC:16:2D:7C:91:46
    14 DBC1-N15          OPEN
                                  Adapter0   UP      AC:16:2D:7A:68:B8
                                  Adapter1   UP      AC:16:2D:7A:68:B9
                                  Adapter2   UP      AC:16:2D:7A:68:BA
    15 DBC1-N16          OPEN
                                  Adapter0   UP      AC:16:2D:72:FC:AC
                                  Adapter1   UP      AC:16:2D:72:FC:AD
                                  Adapter2   UP      AC:16:2D:72:FC:AE
    16 DBC1-N17          OPEN
                                  Adapter0   UP      AC:16:2D:7B:20:90
                                  Adapter1   UP      AC:16:2D:7B:20:91
                                  Adapter2   UP      AC:16:2D:7B:20:92
    17                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    18                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    19                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    20                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    21                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    22                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    23                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    24                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    25                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    26                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    27                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    28                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    29                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    30                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
    31                   CONNWAIT
                                  Adapter0   DOWN
                                  Adapter1   DOWN
                                  Adapter2   DOWN
 
C:\Users\megan>gabconfig -a
GAB Port Memberships
===============================================================
Port a gen   67aa3c membership 01234567890123456
Port c gen   67aa3b membership 01234567890123456
Port h gen   67aa43 membership 01234567890123456
 
C:\Users\megan>
 
jeopardy state for n2 and n3.jpg
g_lee's picture

... no patience from you?

If this post has helped you, please vote or mark as solution

Jeff New's picture

The faults in VOM are caused by the fact that the VOM agent (VRTSsfmh) is no longer reporting in. You should check to make sure the processes are running correctly on the 2 hosts and that connectivity to VOM is also functional.

SOLUTION