收集CUIC效能問題的日誌
目錄
簡介
本文描述在排查報告效能問題時配置和收集Cisco Unified Intelligence Center(CUIC)日誌的過程。由於涉及的技術、產品和元件眾多，排查CUIC效能問題可能非常困難。此外，效能問題也以不同方式表現出來，因此，在故障排除期間清楚瞭解情況很重要。
本文檔的用意並非詳細描述故障排除過程，而是在收集思科TAC或思科工程部門所需的日誌時突出重點。
收集CUIC效能問題的日誌
一般准則
一次收集所有日誌是一項困難且耗時的任務。整個過程需要1到4個小時。這取決於客戶或合作夥伴準備環境的程度。
強烈建議使用Firefox瀏覽器進行測試，特別是由於使用更全面的開發工具(F12)。
您需要知道CUIC客戶端和伺服器用於通訊的IP地址。
這些IP地址在本文中用於CUIC客戶端和伺服器。
客戶端IP地址：10.111.16.157
伺服器IP地址：10.222.6.29
可能會多次嘗試進行日誌收集，因此對收集的檔案保持明確的命名非常重要。請在客戶端案頭上建立一個名為tac<date>_<time>(如tac27feb17_1334)或tac_<date>_<attempt>(例如tac（2017年2月27日_take3）。 收集日誌後，將所有日誌放入此資料夾中，將其存檔並附加到案件。
嘗試在群集中找到一個從CPU、記憶體、ioWait狀態角度來看效能最佳但仍存在效能問題的節點。使用此節點進行測試時，直接避免負載均衡器（如果有）。
典型日誌集
- 客戶端瀏覽器F12日誌
- 客戶端HTTP資料包捕獲
- 伺服器HTTP數據包捕獲
- CUIC伺服器
- 情報中心報告服務
- Cisco Informix Database Service
- Cisco RIS資料收集器PerfMonLog
- Cisco Tomcat
- 事件檢視器 — 應用程式日誌
- 事件檢視器 — 系統日誌
- 資料包捕獲日誌
定義問題
示例1.錯誤或超時
在高峰時段內，集群中所有節點上的CUIC報告使用者會發現即時報告存在多個錯誤。
E1: "正在檢索資料集資訊java.lang.IllegalStateException"
E2：「上次刷新超時(getDataSetMaxReached)，按一下刷新以重新載入。」
E3：「上次刷新超時(reportRefreshRetry)。 請等待下一次自動刷新或按一下「刷新」。
這一問題開始於2月27日上午，在此之前，網路、安全和資料中心週末實施了上述特定更改。我們已驗證CUIC群集的這些大小調整准則。
思科整合情報中心解決方案參考網路設計(SRND)版本11.0(1)
範例2.大延遲
當顯示即時報告時，僅第一個使用者節點上的CUIC報告使用者會經歷30-40秒的延遲。
升級我們的SAN網路裝置的韌體後，問題開始於2月26日。我們已驗證CUIC群集的這些大小調整准則。
思科整合情報中心解決方案參考網路設計(SRND)版本11.0(1)
客戶提供的資源
以下是客戶或合作夥伴在收集CUIC效能問題日誌時需要使用的工具/應用程式的摘要。
- 客戶端：Windows命令提示符(CMD)
- 客戶端：Wireshark
- 客戶端：Firefox瀏覽器
- 客戶端：即時監控工具(RTMT)或安全檔案傳輸協定(SFTP)伺服器
- CUIC伺服器命令列(CLI)
準備複製
1.客戶端介面名稱和地址
使用CMD收集所有CUIC客戶端IP地址。
找出用於與CUIC伺服器通訊的網路介面和IP地址。從伺服器端收集資料包捕獲時，需要使用此命令。
C:\Users\Administrator>route print -4 | findstr 222
10.222.6.0 255.255.254.0 On-link 10.111.16.157 1
使用此命令確定以後需要在Wireshark中選擇的正確介面名稱。介面名稱及其ip地址以斜體表示。
c:\tmp>ipconfig
Windows IP Configuration
Wireless LAN adapter wifi0:
IPv4 Address. . . . . . . . . . . : 10.111.16.157
Ethernet adapter Local Area Connection 2:
IPv4 Address. . . . . . . . . . . : 192.168.123.1
<output omited for brevity>
2.客戶端HTTP資料包捕獲
確保Wireshark應用程式已安裝並且工作正常。選擇上一步中確定的正確介面，但暫時停止資料包捕獲。
3.客戶端瀏覽器F12日誌
3.1開啟Firefox瀏覽器並驗證其版本。它必須是受支援的。
按F12並導航到Network (Network Monitor,CTRL+Shift+Q)頁籤。選擇All(或HTML、JS、XHR、Media、Flash、WS、Other)。
4.伺服器RTMT日誌
使用RTMT登入到CUIC，並在所有節點上選擇這些服務
- 情報中心報告服務
- Cisco Informix Database Service
- Cisco RIS資料收集器PerfMonLog
- Cisco Tomcat
- 事件檢視器 — 應用程式日誌
- 事件檢視器 — 系統日誌
- 資料包捕獲日誌
選擇絕對範圍或相對範圍，並為包含這些日誌的資料夾提供一個有意義的名稱。
5.伺服器HTTP資料包捕獲
為了簡化故障排除過程，需要有一種簡單的方法來跟蹤客戶端到伺服器的單個查詢。預設情況下，使用HTTPS加密傳輸，不會顯示此類詳細資訊。因此，在重現問題時應暫時啟用HTTP。
要啟用HTTP通訊，請在CUIC CLI中鍵入此命令。應在用於測試的節點上啟用該功能。
admin:set cuic properties http-enabled on
Value has been successfully set
admin:show cuic properties http-enabled
http_enabled
============
on
在CUIC客戶端上使用Wireshark開始資料包捕獲。
在CUIC伺服器節點上使用此命令啟動資料包捕獲。確保指定了客戶端的正確IP地址。
admin:utils network capture file packetcapture count 100000 size all host ip 10.111.16.157
Executing command with options:
size=ALL count=100000 interface=eth0
src=dest= port=
ip=10.111.16.157
6.會話錄製
強烈建議與日誌一起包括再現的螢幕影片記錄，以顯示CUIC使用者體驗，特別是在處理報告顯示超時和延遲時。
可以使用任何螢幕錄製軟體。Cisco Webex錄製功能也提供此類功能。
重現問題
嘗試以最少執行步驟數重現問題。儘量避免在複製過程中執行不必要的任務。這將大大加速Cisco TAC所做的日誌分析。
一個非常簡單的測試示例是登入到CUIC Main Administration page -> Security -> User List(或User Groups或User Permissions)。
如果上述測試在多次嘗試後未顯示延遲，客戶可能會嘗試通過運行報告或控制面板來重現問題。在這種情況下，寫下報告或儀表板名稱非常重要。
在重現測試過程中，按一下Windows時鐘並在右下方開啟「更改日期和時間設定...」(Change date and time settings...)。需要精確監控時間到秒。
記錄所有已執行的操作。在操作之間留出一些時間間隔很有幫助。您可以使用此範例。
14:16:30 — 在Firefox瀏覽器中鍵入CUIC地址
14:17:42 — 鍵入憑據後按下Enter
14:20:20 — 系統載入了Main.htmx網頁
14:21:02 — 按一下User List,CUIC開始載入它
14:28:15 - User List已成功載入（延遲為7米10）
開啟記事本並複製上面的模板。然後，理想情況下，只需根據需要替換時間或步驟描述。
複製後收集日誌
1. 收集使用者端HTTP封包擷取
在客戶端(Wireshark)上停止資料包捕獲。
按CTRL+C停止CUIC節點上的資料包捕獲。
在Wireshark中，儲存客戶端資料包捕獲並將其移動到TAC資料夾。
2. 收集客戶端瀏覽器F12日誌
按一下右鍵任何請求，然後按全部另存為HAR。然後選擇TAC資料夾位置，然後按一下Save。
此類檔案可以使用G Suite HAR Analyzer工具分析。
此示例顯示，報告延遲的原因是CUIC客戶端和伺服器之間的網路頻寬較低。
3.收集伺服器RTMT日誌
確保CUIC伺服器資料包捕獲已停止。否則，在CLI會話中按CTRL+C。
導航到之前預設定的CUIC RTMT，然後按完成。
如果RTMT日誌收集過程緩慢，可以選擇將日誌檔案下載到SFTP伺服器。
使用這些命令將必要的日誌收集到SFTP伺服器。
file get activelog /cuic/logs/cuic/* reltime hours 1
file get activelog /cuic/logs/cuicsrvr/* reltime hours 1
file get activelog /cm/log/informix/* reltime hours 1
file get activelog /cm/log/ris/csv/PerfMon* reltime hours 1
file get activelog /syslog/CiscoSyslog* reltime days 1
file get activelog /syslog/AlternateSyslog* reltime days 1
file get activelog /syslog/messages* reltime days 1
file get activelog /cuic/logs/cuic/* reltime hours 1
file get activelog /cuic/logs/cuic/* reltime hours 1
file get activelog /tomcat/logs/localhost_access*.txt reltime hours 1
file get activelog /platform/cli/*.cap reltime hours 1
與日誌一起提供從測試節點獲取的這些CUIC CLI輸出。
show status
show tech network hosts
utils ntp status
utils service list
utils dbreplication runtimestate
file list activelog /core/
file dump install system-history.log
show process using-most cpu
show process using-most memory
run sql SELECT COUNT(*) FROM cuic_data:cuicuser
show perf query counter ReportingEngineInfo ReportsUsersLoggedin
4.捕獲會話錄製
停止螢幕錄製並將其新增到TAC資料夾。
恢復更改
禁用CUIC節點上的HTTP通訊。
admin:set cuic properties http-enabled off
Value has been successfully set
admin:show cuic properties http-enabled
http_enabled
============
off
意見