المحتويات

المقدمة

يوضح هذا المستند كيفية أستكشاف أخطاء بروتوكول التحكم في تجميع الارتباطات (LACP) وإصلاحها على مجموعة Nexus 9000 CloudScale.

المتطلبات الأساسية

المتطلبات

توصي Cisco بأن تكون لديك معرفة بالمواضيع التالية:

- بروتوكول LACP

- النظام الأساسي NXOS

- فهم ELAM

- فهم الإيثاناليزر

المكونات المستخدمة

الاسم

بالتفورم

الإصدار

N9K1

N9K-C93108TC-EX

9.3(10)

N9K2

N9K-C93108TC-EX

9.3(10)

تم إنشاء المعلومات الواردة في هذا المستند من الأجهزة الموجودة في بيئة معملية خاصة. بدأت جميع الأجهزة المُستخدمة في هذا المستند بتكوين ممسوح (افتراضي). إذا كانت شبكتك قيد التشغيل، فتأكد من فهمك للتأثير المحتمل لأي أمر.

المخطط

التحقق من حالة إرتباط LACP

ملاحظة: حالة إرتباط LACP للصورة 1. 1.

تكوين LACP:

N9K1

N9K2

show run interface port-channel 1 membership

interface port-channel1

switchport

switchport mode trunk

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

interface Ethernet1/2

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

show run interface port-channel 1 membership

interface port-channel1

switchport

switchport mode trunk

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

interface Ethernet1/2

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

التحقق من حالة قناة المنفذ

N9K1

N9K2

sh port-channel summary interface port-channel 1

Flags:  D - Down        P - Up in port-channel (members)

I - Individual  H - Hot-standby (LACP only)

s - Suspended   r - Module-removed

b - BFD Session Wait

S - Switched    R - Routed

U - Up (port-channel)

p - Up in delay-lacp mode (member)

M - Not in use. Min-links not met

--------------------------------------------------------------------------------

Group Port-       Type     Protocol  Member Ports

Channel

--------------------------------------------------------------------------------

1     Po1(SU)     Eth      LACP      Eth1/1(P)

sh port-channel summary interface port-channel 1

Flags:  D - Down        P - Up in port-channel (members)

I - Individual  H - Hot-standby (LACP only)

s - Suspended   r - Module-removed

b - BFD Session Wait

S - Switched    R - Routed

U - Up (port-channel)

p - Up in delay-lacp mode (member)

M - Not in use. Min-links not met

--------------------------------------------------------------------------------

Group Port-       Type     Protocol  Member Ports

Channel

--------------------------------------------------------------------------------

1     Po1(SU)     Eth      LACP      Eth1/1(P)

ملاحظة: تتمثل معظم سيناريوهات الفشل الشائعة في Nexus Pause Interface، التي يغطيها قسم واجهة LACP التي تم تعليقها.

التحقق من واجهة LACP المعلقة

sh port-channel summary interface port-channel 1

Flags:  D - Down        P - Up in port-channel (members)

I - Individual  H - Hot-standby (LACP only)

s - Suspended   r - Module-removed

b - BFD Session Wait

S - Switched    R - Routed

U - Up (port-channel)

p - Up in delay-lacp mode (member)

M - Not in use. Min-links not met

--------------------------------------------------------------------------------

Group Port-       Type     Protocol  Member Ports

Channel

--------------------------------------------------------------------------------

1     Po1(SD)     Eth      LACP      Eth1/1(s)

sh int e1/1 status

--------------------------------------------------------------------------------

Port         Name           Status     Vlan    Duplex   Speed     Type

--------------------------------------------------------------------------------

Eth1/1       --            suspended   trunk    auto     auto   10Gbase-SR

sh int e1/1

Ethernet1/1 is down (suspended(no LACP PDUs))

admin state is up, Dedicated Interface

Belongs to Po1

Hardware: 100/1000/10000/25000 Ethernet, address: 003a.9c08.68ab (bia 003a.9c08.68ab)

MTU 9216 bytes, BW 10000000 Kbit , DLY 10 usec

reliability 255/255, txload 1/255, rxload 1/255

<Snipped>

ملاحظة: عند مواجهة هذا السيناريو، لا تتلقى Nexus وحدات بيانات بروتوكول LACP PDU من الشريك، يمكن التحقق من عدادات واجهات LACP، كما هو الحال في القسم المكتوب: التحقق من عدادات واجهة LACP أو التقاط الحزم مثل SPAN أو ELAM (الموضحة في القسم LACP ELAM).

التحقق من عدادات واجهة LACP

كل أداة ينبغي أرسلت واستلمت LACPDUs في ال نفسه معدل in order to الميناء-channel أن يظهر.

N9K1

N9K2

sh lacp counters interface port-channel 1

NOTE: Clear lacp counters to get accurate statistics

------------------------------------------------------------------------------

LACPDUs                      Markers/Resp LACPDUs

Port              Sent                Recv                  Recv Sent  Pkts Err

------------------------------------------------------------------------------

port-channel1

Ethernet1/1        445                  445                    0      0    0

Ethernet1/2        445                  445                    0      0    0

sh lacp counters interface port-channel 1

NOTE: Clear lacp counters to get accurate statistics

------------------------------------------------------------------------------

LACPDUs                      Markers/Resp LACPDUs

Port              Sent                Recv                  Recv Sent  Pkts Err

------------------------------------------------------------------------------

port-channel1

Ethernet1/1        445                  445                    0      0    0

Ethernet1/2        445                  445                    0      0    0

التحقق من وحدات بت حالة ممثل LACP

يتم تبادل المعلومات بين الشريك والممثل في كل جهاز من وحدات توزيع الطاقة (PDU) الخاصة ب LACP.

نشاط

1: الوضع النشط

0: الوضع الخامل

انتهاء المهلة

1: مهلة قصيرة

0: مهلة طويلة

التجميع

1: قابل للتجميع

0: الفرد

مزامنة

1: متزامن

0: خارج نطاق المزامنة

تجميع

1: تمكين التجميع

0: جمع المعوقين

توزيع

1: تم تمكين التوزيع

0: توزيع معطل

افتراضية

1: إستخدام الإعداد الافتراضي للشريك

0: إستخدام RX LACPDU للشريك

منتهية الصلاحية

1: انتهاء صلاحية وحدات توزيع الطاقة (PDU) للشركاء

0: لم تنته صلاحيته

ملاحظة: الجدول 2.0 وحدات بت حالة الممثل تعني

التحقق من قيمة قاعدة بيانات حالة LACP:

ملاحظة: تحويل حالة LACP للصورة 3.0 من الثنائية إلى السداسية العشرية

التحقق من معرف التأخير

معرف تجميع الارتباط هو المعلومات التي يشترك فيها كل عضو واجهة مادية في قناة المنفذ نفسها، لكي تظهر ك "واجهة ظاهرية" واحدة . يمكن التحقق منها باستخدام الأوامر.

N9K1 LAG ID

N9K2 LAG ID

sh lacp interface e1/1 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-43-7f, 5, 8000, 1c9), (1770, a8-c-d-96-c9-bf, 5, 8000, 1c9)] ]

Local Port: Eth1/1 MAC Address=a8-c-d-96-c9-bf

sh lacp interface e1/2 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-43-7f, 5, 8000, 1ca), (1770, a8-c-d-96-c9-bf, 5, 8000, 1ca)] ]

Local Port: Eth1/2 MAC Address=a8-c-d-96-c9-bf

sh lacp interface e1/1 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-c9-bf, 5, 8000, 1c9),(1770, a8-c-d-96-43-7f, 5, 8000, 1c9)] ]

Local Port: Eth1/1 MAC Address=a8-c-d-96-43-7f

sh lacp interface e1/2 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-c9-bf, 5, 8000, 1c9),(1770, a8-c-d-96-43-7f, 5, 8000, 1c9)] ]

Local Port: Eth1/2 MAC Address=a8-c-d-96-43-7f

التحقق من تبادل LACP PDU

هناك سيناريوهات معينة لا تظهر فيها قناة المنفذ حتى في حالة تبادل Nexus لوحدات بيانات بروتوكول LACP (PDU) بمعدل صحيح.

قد يكون هذا بسبب فشل في تفاوض LACP.

يتم عرض مثال على حركة LACP الصحيحة لقناة منفذ أن تظهر في هذا الجدول.

1

ممثل N9K1

شريك N9K2

- يرسل N9K1 LACP مع معلومات الممثل مع وحدات بت الحالة.

- تتوفر معلومات الشريك في 0s نظرا لعدم تلقي N9K1 أي وحدة بيانات بروتوكول التحكم في الوصول للبنية الأساسية (LACP) من الشريك.

2

شريك N9K1

ممثل N9K2

- تتلقى N9K2 معلومات من N9K1.

- تقوم N9K2 بإرسال وحدة بيانات بروتوكول التحكم في الوصول للبنية الأساسية (LACP) مع معلوماتها والتعرف على معلومات N9K1 .

3

ممثل N9K1

شريك N9K2

- معلومات N9K1 Acknowledge N9K2.

4

شريك N9K1

ممثل N9K2

- N9K2 يستلم الإقرارات من N9K1.

- N9K2 يرسل LACP PDU يضيف مزامنة بت على 1.

5

ممثل N9K1

شريك N9K2

- N9K1 تقر بت SYNC من N9K2.

- يضيف N9K1 بت المزامنة على 1 إلى وحدة توزيع الطاقة (PDU) الخاصة ب LACP.

6

شريك N9K1

ممثل N9K2

- بت مزامنة N9K2 Acknoledge من N9K1.

- يضيف N9K2 بت تجميع في 1 إلى LACP PDU.

7

ممثل N9K1

شريك N9K2

- N9K1 Acknowledge Collection bit من N9K2.

- N9K1 يضيف بت التجميع إلى وحدة بيانات بروتوكول LACP (PDU) الخاصة به.

8

ممثل N9K1

شريك N9K2

- N9K1 يقرر أنه جاهز للانتقال إلى حالة التوزيع، لذلك يتغير الآن بت المهلة من 1 (سريع) إلى 0 (بطيء) ويضبط توزيع البت إلى 1.

9

شريك N9K1

ممثل N9K2

- يقر N9k2 ب N9k1 PDU ويغير البت الخاص به من 1 إلى 0 ويضبط بيانات التوزيع إلى 1.

- في هذه اللحظة، يكون كلا من nexus مستعدا لإرسال البيانات على قناة الميناء.

10

ممثل N9K1

شريك N9K2

- N9K1 التعرف على LACP PDU من N9K2.

- في هذه اللحظة، سوف تنتقل قناة بورت إلى الأعلى.

التحقق من سجل LACP FSM

يحتوي جهاز LACP Finite State Machine على تسجيل دخول مخصص حيث يقوم بتخزين جميع أحداث حالات LACP للواجهة ويمكن العثور على وحدات بيانات بروتوكول LACP (PDUs) على هذا السجل:

واجهة معلومات SH LACP الداخلية e1/1 تفصيل fsmlog

في الإصدارات الجديدة يمكنك أيضا إستخدام:

واجهة سجل الأحداث الداخلية ل SH LACP E1/1

يصف القسم الأول انتقالات LACP للواجهة

>>>>FSM: <Ethernet1/1> has 61 logged transitions<<<<<

<Snipped>

58) FSM:<Ethernet1/1> Transition at 127198 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_RECEIVE_PATH]

Triggered event: [LACP_EV_PORT_RECEIVE_PATH_ENABLED_AS_CHANNEL_MEMBER_MESSAGE]

Next state: [LACP_ST_PORT_MEMBER_RECEIVE_ENABLED]

59) FSM:<Ethernet1/1> Transition at 127227 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_PORT_MEMBER_RECEIVE_ENABLED]

Triggered event: [LACP_EV_PARTNER_PDU_IN_SYNC_COLLECT_ENABLED_DISTRIBUTING_DISABLED]

Next state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_TRANSMIT_PATH]

60) FSM:<Ethernet1/1> Transition at 128265 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_TRANSMIT_PATH]

Triggered event: [LACP_EV_PERIODIC_TRANSMIT_TIMER_EXPIRED]

Next state: [FSM_ST_NO_CHANGE]

61) FSM:<Ethernet1/1> Transition at 134352 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_TRANSMIT_PATH]

Triggered event: [LACP_EV_PORT_HW_PATH_ENABLED]

Next state: [LACP_ST_PORT_MEMBER_COLLECTING_AND_DISTRIBUTING_ENABLED]

Curr state: [LACP_ST_PORT_MEMBER_COLLECTING_AND_DISTRIBUTING_ENABLED]
يوضح القسم الثاني جميع معلومات وحدات بيانات بروتوكول LACP (PDU) التي أرسلها أو استلمها Exus.
<Snipped>

(1) Send LACP PDU: len:110 at 492243 usecs after Tue Aug 15 00:02:13 2023

01010114 8000f8a7 3a393d6b 80008000 01013d00 00000214 8000f8a7 3a2ea30f

80008000 01013d00 00000310 00000000 00000000 00000000 00000000 00000000

00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000

00000000 00000000 00000000 0000

Actor:

info: (8000, f8-a7-3a-39-3d-6b, 8000, 8000, 101)

state:0x0f (Ac-1:To-1:Ag-1:Sy-1:Co-0:Di-0:De-0:Ex-0)

Partner:

info: (8000, f8-a7-3a-2e-a3-f, 8000, 8000, 101)

state:0x0f (Ac-1:To-1:Ag-1:Sy-1:Co-0:Di-0:De-0:Ex-0

(2) Recv LACP PDU: len:124 at 708749 usecs after Tue Aug 15 00:02:12 2023

0180c200 0002f8a7 3a2ea310 88090101 01148000 f8a73a2e a30f8000 80000101

3d000000 02148000 f8a73a39 3d6b8000 80000101 3d000000 03100000 00000000

00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000

00000000 00000000 00000000 00000000 00000000 00000000 00000000

Actor:

info: (8000, f8-a7-3a-2e-a3-f, 8000, 8000, 101)

state:0x0f (Ac-1:To-1:Ag-1:Sy-1:Co-0:Di-0:De-0:Ex-0)

Partner:

info: (8000, f8-a7-3a-39-3d-6b, 8000, 8000, 101)

state:0x07 (Ac-1:To-1:Ag-1:Sy-0:Co-0:Di-0:De-0:Ex-0)

ملاحظة: الرجاء مراعاة أن سطر محفوظات أحداث LACP PDU ينتقل من السجلات الأحدث إلى السجلات الأقدم ومع ذلك ينتقل السطر الزمني لسجل الأحداث الخاص بدول LACP من السجلات الأقدم إلى السجلات الأحدث.

تكوين إيثاناليزر LACP والتحقق منه

يلزم معالجة وحدات بيانات بروتوكول التحكم في الوصول للبنية الأساسية (LACP) بواسطة وحدة المعالجة المركزية، وقد تم تثبيت Nexus في قائمة الوصول الداخلية للأجهزة لإعادة توجيه حزم LACP إلى وحدة المعالجة المركزية، كما يمكن ملاحظة جميع وحدات بيانات بروتوكول التحكم في الوصول للبنية الأساسية (PDU) لبروتوكول التحكم في الوصول للبنية الأساسية (LACP) باستخدام الإيثاناليزر، لتصفيتها، يمكن إستخدام عامل تصفية WirelessSharp "Slow".

ethanalyzer local interface inband display-filter "slow and eth.addr==04:76:b0:b2:00:20 and eth.addr==01:80:c2:00:00:02" limit-captured-frames 0

Capturing on inband

2023-07-03 23:37:14.420839 04:76:b0:b2:00:20 -> 01:80:c2:00:00:02 LACP Link Aggregation Control ProtocolVersion 1. Actor Port = 257 Partner Port = 449

Detailed:

Frame 19 (124 bytes on wire, 124 bytes captured)

Arrival Time: Jul 3, 2023 23:38:14.425502000

[Time delta from previous captured frame: 0.836575000 seconds]

[Time delta from previous displayed frame: 11.246799000 seconds]

[Time since reference or first frame: 11.246799000 seconds]

Frame Number: 19

Frame Length: 124 bytes

Capture Length: 124 bytes

[Frame is marked: False]

[Protocols in frame: eth:slow]

Ethernet II, Src: 04:76:b0:b2:00:20 (04:76:b0:b2:00:20), Dst: 01:80:c2:00:00:02 (01:80:c2:00:00:02)

Destination: 01:80:c2:00:00:02 (01:80:c2:00:00:02)

Address: 01:80:c2:00:00:02 (01:80:c2:00:00:02)

.... ...1 .... .... .... .... = IG bit: Group address (multicast/broadcast)

.... ..0. .... .... .... .... = LG bit: Globally unique address (factory default)

Source: 04:76:b0:b2:00:20 (04:76:b0:b2:00:20)

Address: 04:76:b0:b2:00:20 (04:76:b0:b2:00:20)

.... ...0 .... .... .... .... = IG bit: Individual address (unicast)

.... ..0. .... .... .... .... = LG bit: Globally unique address (factory default)

Type: Slow Protocols (0x8809)

Link Aggregation Control Protocol

Slow Protocols subtype: LACP (0x01)

LACP Version Number: 0x01

Actor Information: 0x01

Actor Information Length: 0x14

Actor System Priority: 32768

Actor System: 04:76:b0:b2:00:1f (04:76:b0:b2:00:1f)

Actor Key: 32768

Actor Port Priority: 32768

Actor Port: 257

Actor State: 0x3d (Activity, Aggregation, Synchronization, Collecting, Distributing)

.... ...1 = LACP Activity: Yes

.... ..0. = LACP Timeout: No

.... .1.. = Aggregation: Yes

.... 1... = Synchronization: Yes

...1 .... = Collecting: Yes

..1. .... = Distributing: Yes

.0.. .... = Defaulted: No

0... .... = Expired: No

Reserved: 000000

Partner Information: 0x02

Partner Information Length: 0x14

Partner System Priority: 32768

Partner System: 70:0f:6a:d7:d0:fb (70:0f:6a:d7:d0:fb)

Partner Key: 32768

Partner Port Priority: 32768

Partner Port: 449

Partner State: 0x3d (Activity, Aggregation, Synchronization, Collecting, Distributing)

.... ...1 = LACP Activity: Yes

.... ..0. = LACP Timeout: No

.... .1.. = Aggregation: Yes

.... 1... = Synchronization: Yes

...1 .... = Collecting: Yes

..1. .... = Distributing: Yes

.0.. .... = Defaulted: No

0... .... = Expired: No

Reserved: 000000

Collector Information: 0x03

Collector Information Length: 0x10

Collector Max Delay: 0

Reserved: 000000000000000000000000

Terminator Information: 0x00

Terminator Length: 0x00

Reserved: 000000000000000000000000000000000000000000000000...

تكوين LACP ELAM والتحقق منه

يلزم تعريف عنوان MAC الأول من الواجهة البعيدة:

N9K2#sh int e1/1 | i i addr

Hardware: 1000/10000/25000/40000/50000/100000 Ethernet, address: 0476.b0b2.0020 (bia 0476.b0b2.0020)

يتم الآن تكوين ELAM على Nexus N9K1.

N9K1#debug platform internal tah elam

N9K1(TAH-elam)#trigger init

N9K1(TAH-elam-insel6)#set outer l2 src_mac 04:76:b0:b2:00:20 dst_mac 01:80:c2:00:00:02 <<<<<Dest mac is mcast mac for LACP

N9K1(TAH-elam-insel6)#tart

N9K1(TAH-elam-insel6)#report

SUGARBOWL ELAM REPORT SUMMARY

slot - 1, asic - 0, slice - 1

============================Incoming Interface: Eth1/49

Src Idx : 0x601, Src BD : 1

Outgoing Interface Info: met_ptr 0Packet Type: CE

Dst MAC address: 01:80:C2:00:00:02

Src MAC address: 04:76:B0:B2:00:20

Sup hit: 1, Sup Idx: 2627. <<<<<Traffic needs to be punted to the CPU.

Drop Info:

----------LUA:

LUB:

LUC:

LUD:

Final Drops:vntag:

vntag_valid : 0

vntag_vir : 0

vntag_svif : 0

من أجل فك تشفير فهرس إعادة توجيه SUP، يمكن فرز قوائم الوصول الداخلية لنظام التشغيل Comand SH sup-redirect-stats:

sh system internal access-list sup-redirect-stats | i i 2627

2627 LACP 0

2627 LACP 103