Вы находитесь на странице: 1из 1109

PCI Express

d
re
System Architecture
te
is
eg
nR
U
- -

- - - ---- - -

- -

x -

-v -

B -

re

-- -

te
-

is
-

eg

x x -
nR

x -- -

-
U

- - -

--
-

d
re
te

is

eg

-

nR

-
U


- - {
{ - { {
{
-- - - -- --
- - - - -- -
-- - --
- -

- -- -
-- -- -- -
--- - -- - -
- - -

--

d
re

te
w
is
- - - -
-- - -
eg

- -- -
- - --

-
nR


-

U

-- - -- - --
- -
-

- --
--
To my parents Aruna and Shripal Budruk
who started me on the path to Knowledge

d
re
te
is
eg
nR
U
U
nR
eg
is
te
re
d
-

-
-


-
-
-
--


d
- -- -
-

re
-
-

te

is
-
--
eg


-
-

nR

-- --
- -
- - -
--

U

- -
- - -
-
-
-
-
-

-


--

-

- -
- --
- - -
- -
-
- - -
-
- -

d
- - -
--

re


- - -
te
-

--
is
-- --
-- -
--- -
eg

--- - - -



nR



-

U

--
- -


--
-
-- -
- -- -
-
-- -


-- --
-- -
- --
- - --
- --
- --
- -- --
- --

-

d

-

re

-- -

- -
te
-
- -- -
- - -
is
--
---
eg

- -
--
---
- - -
nR

--

-

-
U

-



--- - - -

-

--

-

- -
- -
- -
-
-
-



-
-

d
- -
- -

re
-

-- -
te
-
is
-- - -

eg

- -
- --
- ---
- -
nR

-
-
- -
- --
U

- - -- -- -
- - -
--
- - -
-
-- -
-- - ---
--- --
- ---
-

-

-
--
--
-- -
- --
- --
- --
- --
- -- -

- --

d

- -

re
-


te
-
- -
-
is

--- -
--- - - --
eg

-
-
--
-
nR

-
-
-
-
U

--
- -- -- - -

-
-
-
- --

- --
- --

- --
- --
-
-
-
-

- --
-
- - -
-
- -

d
-
- -

re
- -- ---
-- -- -
- -

te


-
is
-

eg


- -
-
- - -
nR

-
--
- -
- - -
-- -- -
U

--
-
- - -
--
- - -
- -
--
- - -
- -
-

- -
- -
-- -
-
--
-
-- --
- -- - -
-- -

---
---
--

d
--
--

re
-
- -
-
te
-

-
is
-

- -
eg


- -

- -
nR


- -

- - --
-
- -






-








-
- -

re

-- --

te

- - --

is

-- --

eg


- --
-
-
nR

--


-
U

-
-

-
-


-

--


-


-

-
-
-

-
-
-

d
-
-

re
-
-

te


--
is


--
eg

--

nR

-- -
- -- -- --
-- -
-
-
U

--- -
--
- -
-- - -
-- -





-

-

--


-
-

re
-

-

te
-
-
- -
is
-
-
eg



-
-
nR


-
-- -
- --
--
U

-


- - -
- --
---
-
-

-
-
-
-

-

-
-- -
- -

- - ---

d
- --
-

re
-
- -


te
- -
-
--
is
-
eg

-
-- -
-

nR


-- -
-- -- -
-- -
U

--
-- -
-
---




--
- -



-
-- -

--

-
-


- -
--

d
- -
- - - -

re
-


te

--
-- --
is
- -
-
eg

- -
--
--
- -- -
nR


-
-
-
-
U

- -
- -



---
-
-
-
-

---
-
-
--
- --
-- -
-
-
- - -
-
- -- --
--

d
-

re
-


te
-


is


- --
eg

-
-
- - -

nR

-
U

-
-
-

-

- -


- -

-
-

-

-


- ---

d
-
-

re


-
te
- -

-
is

- -
-
eg


-
---
-
nR


-

-
U





-
-
-- - -

- - -

- -
-




-

-
-
-

- -

re
-
- -
- -
te
-


is

-
-
eg


-
- -

nR

-
-


U


-
--

-
-

-


- -
-
-
-

-




- -
- -

d
-
-

re



te



is
- --
--
- -
eg


--- --

-- --
nR

- --
- -- --


U


-

-
-

- - -
-
- --

- - -
--
- -

- -
- - -
-
- -
-
- -
- -
-- -

d
- - - -
- - -

re
-
-
-

te
-
-
is


eg


- -
-

nR



-

U

-
- -












- - -



- -


re



te



is


-- -
eg

--



nR


-
- -
-
U

-
-
-
-
-
-




-
-
-




--
-


- -

re


-
te
-


is
-
eg



-
nR


- -
- - -
- -
U




--
- -
-
- -
-



-- -
--
-- -


-
-- -
-- - --- -- --

- -
-

d
-- -- -
- -

re
-

-
te
-


is



eg





nR

--
- --
- -
- -
U

-
- -
-
-



-
-
-

- -
- - -
-
- - -
- - -

- -

-
- --- -
- -
- - -
- -

d
- -
- -- -

re
-
- -
- - -
te


- -
is
- -


eg

-



nR




- - -
U

- - -


-




--

-- --




-


re
--
-
- --
te
-
-
-
is
- -
-

eg




-
nR

- -- -
-
- --
- -
U

-

-


-

-



-


- -
- -
-
---
---
-- --
- ---

d
-
-

re

-
- - -
te
-
-
is
- -

eg


-


nR



-

-
U

-
-
-- -

-


-
--

--



-
-
-
--


d
--
- - --

re
--
--
--
te
--
--
-- -
is
- -

eg

--

-
nR


-
-

--
U

- -
-
- - -
-
- -
-- -
-
-
-
-

--
--
---
-


--
--
--

--

--

re
-
- -
-- -
--
te
-
--

is


eg




-
nR

--
-- --
- --
- - -
- --
U

-
-- -
- -

-- -- -
--

--


--
--
-- - -
-
-
- -
-- -

d

-- -

re
-- -- --

- -
- - --
te
-
-
- -
is

- - -
eg

- - -
- -
- - -- -
-
nR

- -
-
- -
-
-
U

- --
-
-
- --
- -- --

-
- -- -

- --
- -- -

-

-
-- --
-


-- -
-- -
-- -

d

- - -

re
--


te
--
--

is
- --

- -
eg

- -
- -
- -- - - -
--
nR

-
-
- -
-- -
U

-
-
- -
- - -
- -

- -- --
- - -- -
-

-
-
-
-
-

--
-
-- -
-
-
-- -
--

d
--
-

re
- -
-
- ---
te
-
--

is
-
-
- --
eg


- - -
- -
-
nR

--
- -
-
--
U

-
-
-

- -
-


-
-

-
- - -
- --


- -
-- -
- -
- -
- -
-
--- --
--- --

d
-- --
-- - -

re
---
--- --
--- -
te
-- --
-
-
is

- -
eg

- - --


nR


-



U



-
-


-
--

-






-
-- - -
- - - - -
- - - -
- ---
- - - -

-- --

re
-- -

--

te
-- -
-
-- - -
is
- -
-
eg

- -
--
- -
-
nR

- -
--

- -
-
U

- -
--

-
- -
-- -



-


- - -
- - -
- -
-
- -
-
-
-
- -
- --

- -

d
- -
- - -

re

-

te


-
is


- - --
eg

- ---
-
--
nR

-
- -- --
- - --
- - --
U

--
-- -
-- -


U
nR
eg
is
te
re
d
-
- - --
- -
- -
- -
-
-
- -
- - -


--

-
- --

d
- -
- -

re
- -
-
- -
--
te
--
--
- -- -
is
- -- -
-- -
- -
eg

- -
- -
- -
- -- -
nR

-
-
-
-
-- -
U

-
--
---
-
--
---
-

-- - -
-
--


-
--
- -
-
-

- -
- -
-
- -
- -
-
-- - ---
-- -
-- -

d
-- - - -
- -

re
- -- -
-- -
-- -
- - --
te
- - --
-
-
is
- -
-- -
-- - -
eg

-- -



nR

- -
- -
- -
- --
-
U

-- -----
-
- - - -
- - -
-
-
- -
-

-- -
-

-







-
- - --
- --

- -
- -
- -

d

-

re
- - -

-
-
te
-

-- -
is
-- --
-
-
eg

- -



nR


-
-

- -
U

-


-

- - - -
- -




-
-
- -
-
- - -
-

-
-
- --
-

-
-- --
--

d
-
-

re
-- -
--
-
-
te
-
- -
- - -
is
- - --- --
-- -- --
-- -
eg

-- - -
--
-- --
- -
nR

- ---
-
-
- - -
-- -
U

- -
- - -
- -
- - - -
-
--
-
- -
- -
- -
-

-
- -
- -
-
-

-
- -
- -
- - -
-
-


re




te

-
---
is

- -
-
eg

-

-

nR

-
-

-
- -
U


--- --

- --
-
-
- -
--
-
--
--


-


-




-
- - - -
- - -
- - - -
-
-
-

d
- - --
-

re



- -
te



is

- -
-
eg



-
-
nR


- -
- -
-
-
U

-

--

- - - -- --
-
-- - - --
- --
- - -
-
-- --

-
- --
- -
- -
--
--


- --

-
- -
- -

-- -

d
- - -
- -

re
- -
- -- -- -


te
-- -
--
-
is
- -
-
-- -
eg

-
-- -- -
- - -
- -
nR

- - -
-
- -
--
--
U

-- - -

-

-
-- -
-- -
--
--
-


-
--
-
-
--
-
-
-
-
-
-
--

- -
- -

d
-
-

re


-
-
te
-


is

-

eg


-- -
- --
- --
nR

- -
- -
- - -- - --
-
- -
U

- -- - --
- -- - --
- -- - --

- -
-
-
- -
-
- -
-

-
-
-
- -
- -
-
--
--- --
---
- -
-
-- - -
---
---
- - -- - --

d
-
-

re

-
-
-- -
te
-- - -
- -
-
is
- -
- -
-
eg

- -
- -
-
- -
nR

-
- -
-
-

U

- -
- -
- -
- -
-
- -
-
- -
--

-


-

-
-
-
- -
- -
- -
- - -

-

-

-

d
-

re
-
-
-
-
te
--
- -
- -
is
- -
-
- -
eg

-
- - -
- -
-
nR

- - - - -
- - - --

- - -
-- - -
U

--
-- - -
-- -
-- -
-- -
-- - --
- - -
-- -
- - -

- -- --
- -- --
- -- -

-- -
- -
- -
-- -
- -
- --

d
re
te
is
eg
nR
U


U
nR
eg
is
te
re
d
-

-
- - - -
- - -
-- - -
-- - - --
-- -
-- - -
-
-
-- -- - -
-- - - --
-- - -
-

d
-- - -
-- -

re
-- -
-- -
- -

te
- -
- -
-- -- - -
is
- -
- -

eg

-
- -
- -
- -
nR

-
-- - -
--
--
U

--
--
--
--
-
-
-
-
-
-

-
--
--
- -
-
- -
- -- -
-- -
-- - -
-
- -
- - - - -
-- -

d
- -
-

re
-
-
-

te

--
--
is
-
- - - -
-
eg

- - - -
-
- - -
-- -
nR

-
-
-
-
U

-
- --
- -
- ---
- - ---
-
- -
--

-

-


- - --
- - --
- - - --
-
--
-- -
-
--

- --

d
--
-- -

re
- --
-- -
-

te
- -
- --
- --
is
- -
- -
- - -
eg

- -
-

-
nR


- -

-
U

-
- -
-
-
- - --
-
--
-
-- - -
- -

-
- -
- -
-
- -
- - -
- -
- -
- -
- -
-
-
-

d
-
- -

re
- -
- -
- - -

te
-- -
--
-- -- -
is
-- -
-- - -
-- -
eg

-- -
-- -
-- - -
-- - - -
nR

-- -
-- -
-- ---
-- - -
U

-- -- -
-- -
-- - -
-- -
-- - -- -
-

-
- - - - -

- - -

- -
- --

d
- -

re

-
te
- - -
- -- --
-
is
- -
- - --
eg

- - --
--

- - -- - -
nR

- -
U
U
nR
eg
is
te
re
d
-
-- - - -
-- - - --

-
-- -

d
--

re
-

- -

te
-

- -
is
-
eg

-

nR

- -

- - -

U

- - -

-- - -


-- -

-

-
- - -

-
- -

d
-

re
-
te -


- - -- -
is
- - - - -- - -
- - -- -
-
eg

- -- - - -
-- - - -- -
- -- - -
- - -
nR

- -- -
- - - - -
- - -

U


- - - - - -
- - -
- - - -

-
- - -
-
- -- - - -
- -
-
- ---
-

d
- - - -

re
- -
- -- -
te
-- - - -
--
-- - -
is
- - -
- - -- - -
- -
eg

- ----

- ---- - --
- -
nR

-- ---- -- --
- - -
--

U

-
- - --
- - --
--
-- -- -


-- -

-
- - - - -

--
-- - - -
-- - -
- - --

re
- -


te

is

eg

- -



nR


-
U

- - -

- -- -
- -- - - -

-- -
-- -

-
- - - - -

d
- - -

re
- te
-
- -
is
-- - - -
eg

-
- -- -- -
nR

--
- -
---
U

- ---
- -- - -
-
-

- - --


-- -


- - --- -



-- -
-- - -
-

--

d

-

re
-
te
is
eg
nR
U

d
re
te
is
eg
nR
U
U
nR
eg
is
te
re
d

-
-
- -- - -

d
-- - - - --
-- - -- -- - -

re
-- --- -- -
-- -- - -
- -- -- -
te
-- -- - -- -
- -- -- -
is

eg

-- - -- -
-- -
- -
- ---
nR

--

--
U

-- - - -
- - - -
- - --
-- - --
-- - -- - -
- - - -
-


-- -


-
-- - - -
- - - - -
-

-- - - - -
- -- -- --
- - -
- -- - - - -

d
-- -- -- - -
- - -- --

re
- - -- - - -
--- -- -- -
- - -
te
- -

-- -- -- --
is
- -
- - - - --
- - -
eg

- -

-
nR

- -- -
- - --
- - - -- -- --
-- - - -
U

-- - -
- -- -
- -- -
- --
- ---
- - - --
--- - -- -
- -- - -
-- - - - -
-- - - - - -

- - - - - -
-

-- - --
- - - -
- -
- ---
- - - - ---
- -
- -
-- - - - -
- -
- - -- - -- - -

d
- -- -

re
-- - -
-- -- - -
-- - - -
te

-- -
is
-- -- -
- - - -
eg

-- - -

-
- -
nR

-- --
- - -- -- -
U

- -- - - - -
- - -- -
- -
-- -- --


-- -

- - - -

- - -





--

d
re
- -
- -- - - --
te
- - - - - - -
-- - -
- - -
is
- - -- -- --
- --
- - - -
eg

- - - -
- - -
nR

- - -
-- - - -
-- - - - - -
U

- - - -- -
- - -- -
- - -
- -
- - -

- - -


-
- -

--

--

--

--

d
--

re
-

- - - -
te
--
is
-- - - - -
eg

--- - -
- -- - - - -
- -

nR

-- - -
- - - -
-- - - - -
U

- - - - --
- - -- -
--- ---
- - -
- - -
- - -
- - - -- ---


-- -

-- - - - - -
-- -
--- -- -

- --
-
-

-- - -

--

d

--


re
te
- - -- - -
- -- -
is
- -- -

eg

- - -- --
-- - - - - -
- - -
- -- -- --- -
nR

- - - -
-
U

- - --

100
100
90
80
70
60
50
40

d
30 25.6
20 12.8

re
10 3.2 3.2 6.4
1.6
0
te
is
eg
nR
U


-- -

- -

- - -
- - - -- --
--- - - - - -
-- - -- - -
- - - - -
- - -
-

d
- - -
- - -

re
- - - -
- - -- - - -
- - -- - -
- -- -
te
- -
- - - - - -
-- -- -
is
- - -
- - - - -
eg

-- - - -
-- - - - -- -
nR

-- -- - - -
- - - -
-- - -- - - -
-- -
- - - -- - -
U

- - --
- - - --
- - - - ---
-- -- -- -
- --

- -- - - - -
- -- -
- -
- - -

- -

Processor

FSB

AGP
2x North Bridge
GFX
Arbiter (Intel 440) SDRAM

d
Slots
PCI-33MHz

CD HDD
IDE

re Ethernet SCSI
te
USB South Bridge

ISA
is
Boot Modem Audio Super
IO
eg

ROM Chip Chip

COM1
COM2
nR

-
- -- - - - -
U

- -
- - - -
- - - -
-

- - - - -
- - - - - -
- --- - --
- - -- - -
- - - - - - -


-- -

- - -
- - - -
- - -
- - - -- -

- -



-- -
- -
-

re

te
-
- - -
is

eg


nR

- - - -
- - - -
- - - -
- - - - - -
- - -
- -
- -

- -- -
- - - -
- - - -
-- -- -- - -
- - --

- -

Processor

FSB

d
AGP
2x North Bridge
GFX (Intel 440) SDRAM

re
Slots
PCI Bus 0 PCI-33MHz
te
PCI
IDE Ethernet SCSI
Bridge
CD HDD
is
USB South Bridge
PCI Bus 1

Ethernet ISA
eg

Boot Modem Audio Super


ROM Chip Chip IO
nR

COM1
COM2

-
U

- -
- - - - -
- - -
- - -
- - - --
- -- - - -
- - - - -
- - -
- - - -- - -


-- -

-- - -
-- - - - - -
- - -
- -- - -- -
- - - -
- - - - - -
- - -
-- - - - - - - -
-

d
Processor

re
FSB 1) Programmed IO

AGP
2x North Bridge
GFX
te
(Intel 440) SDRAM

2) DMA
Slots
is
PCI-33MHz 3) Peer-to-Peer
eg

IDE Ethernet SCSI


CD HDD
USB South Bridge
nR

ISA

Boot Modem Audio Super


ROM Chip Chip IO
U

COM1
COM2

- - - -
- -- - -
--

- - -
- - - - -
- - - - -
- - - -- - -
-- -- - - - -
-- - - - -

- --

- -- - -
-

- -- -- -- - ---

d
- - -
- - - --

re
- -- -
- - -
-
te
- - - - -
- -- - -- -
- - -
is
- - -
-
eg

- - -
-- - -
- - - -
- -
nR

- - -
- - - - -
- - -
- -- - - - -
- - - -
U

- -
-- - --
- - - - - -
- - - -
- - -


-- -

-
- - - - -
- - - --
- - - - - -- -
- -- - -
- - - -
- -

-
-- - - - - -
- -

d
- - - -
- - -- - - -

re
- - -
- - -
- - - - -
te
- - - -- -
-
-- - - -
is
-
eg

Processor
nR

FSB

AGP
2x North Bridge
GFX
Arbiter (Intel 440) SDRAM
U

Slots
PCI-33MHz

IDE Ethernet SCSI


CD HDD
USB South Bridge

ISA

- - - --
- -- -
- - - -

- -

Processor

FSB

d
AGP
2x North Bridge

re
GFX
Arbiter (Intel 440) SDRAM

1. Initiate
3. Retry Slots
PCI-33MHz
te
2. Target device
not ready
Ethernet SCSI
is
IDE
CD HDD
USB South Bridge
eg

ISA

Boot Modem Audio Super


nR

ROM Chip Chip IO

COM1
COM2
U

- -
-
- - -
- -
- - - - - --
- -- - - -
-
- - -
- - - - - -


-- -

- - - - -
-- -- -
- - - - -
- - - -
- - -
- - -- - - -
- - - - -
-
- - - - - -
- -- - -- -
- --- --

- - - -

d
-- - - -
- --

re
- - - -
- -
te
- - -
is
Processor
eg

FSB

AGP
2x North Bridge
GFX
Arbiter (Intel 440) SDRAM
nR

1. Initiate
3. Disconnect Slots
PCI-33MHz
2. Some data
transferred
IDE Ethernet SCSI
CD HDD
U

USB South Bridge

ISA

Boot Modem Audio Super


ROM Chip Chip IO

COM1
COM2

- - -
-
- - -- - -
- - - -
- - - -- -
- -
-- - - -
- - - -
- - - - -
--- - - -
- -- - - -
- - - - - -- -
- - - -

d
- - - --
- - - - -

re
- -- - - -
- - - - - -
- - -
te
- - -- -- -
-- - - --- -- -


is
- -
eg

- - --
-
--- -
- --
nR

-- - - -- -
- - -- - - --
- --
- - - - - -
- - -
U

- - - - -
- -
- - - -


-- -

INTR
Processor

FSB

AGP
2x North Bridge
GFX
Arbiter (Intel 440) SDRAM

Slots
PCI-33MHz

d
re
IDE Ethernet SCSI
CD HDD
USB South Bridge
Interrupt
Controller
INTx#
te
INTx#
ISA
is
Boot Modem Audio Super
ROM Chip Chip IO
eg

COM1
COM2
nR


- - -- -
- -- - -
U

- - -- -- - --
- -- -
- - - - -- -
--- - -
--- --
- - ---
--- - - -
- --
-- -- -

NMI
Processor

FSB

AGP
2x North Bridge
GFX
Arbiter (Intel 440) SDRAM

Slots
PCI-33MHz PERR#

d
SERR#

re
IDE Ethernet SCSI
CD HDD
Error
USB South Bridge Logic
te
ISA

Super
is
Boot Modem Audio
ROM Chip Chip IO
eg

COM1
COM2

- - -
nR

- - - -- -
- - - -- -
-
-- -- - -
U

--
-- -- -- - -
-- -- -- - -
--- - --
- --- - --
-- -- - -
- - - -- -
-
-- -


-- -

--

Memory Map
4GB / 16 EB

PCI PCI
Memory
Configuration
AGP Video
Space
16MB

d
PCI
Memory

re
DRAM Boundary
Extended
IO Map
Memory 64KB
te
1MB
Boot ROM PCI IO
Expansion ROM Space
is
Legacy Video
640KB Data Port CFCh-CFFh
Address Port CF8h-CFBh
eg

Conventional 256B
Memory 256B
1KB
Legacy IO 256B
nR

-- -
-- - -
-- - -- - - - - -
- - - -
U

-- -- -- -- -
- - -- - - - --
- --
- -- -
-- -


- --

- -- --
-- -
- -- --

Processor

d
FSB

re
AGP
2x North Bridge
GFX (Intel 440) SDRAM
Address Port Data Port
te
Slots
PCI-33MHz
is
IDSEL Config. Config.
IDE Ethernet
Reg. SCSI
Reg.
CD HDD
Config.
South Bridge
eg

USB Reg.

ISA

Super
nR

Boot Modem Audio


ROM Chip Chip IO

COM1
COM2
U

-
-
- -

-- - -- - -
- -- - -
-- - - --
- - - - -- -
- -


-- -

-
- - - -
- - -- -
- -- --
- -
- - -

d
256 Byte Configuration
Register Space Per Function Header 0

re


-
64 Byte - -
PCI Configuration Header -- -

(Two formats: Header 0
te

and Header 1)

- --


is
- --

- --

192 Byte - --
eg

Device Specific - --
Configuration Register Space
- --

-
nR

-- --

-
- --
- -

-
U

--

- - -- -- -
-- - -
- -- - --- - --
- --- -- - -
-- - -- - -
--


-- -
- - - -- - -
- -- - -- -
- - -
- - - -
- -
- -

- -- - - -
- -
-- - - --

d
- -- --

re
- -
- - -- -
- - - -- -
-- --
te

-- - - - - -
is
-- --- -
eg

- - --
- -- -- -
-- - -
-- --
nR

- -
-
- - -- - -
U

- - - - --
-
- -


-- -

- --
-- -
- - -
- - -
- -
-

- --

Processor

d
FSB

re
AGP
4x Memory Controller Hub
GFX (Intel 8XX GMCH) DDR
SDRAM
te
Hub Link Slots
IDE PCI-33MHz
CD HDD
is
USB IO Controller Hub
(ICH4) IEEE
LPC SCSI
1394
eg

Super AC97
IO Link

COM1 Modem Audio Boot


nR

COM2 Codec Codec Ethernet ROM


U

- - -
- -- -- -
- -
- - - -
- - - -
- - -- - -
- - - -
- -- - - -

- - -
---
-- - - -- - --

- - -

-- - - -- - --
- - - -
- -- --
- --
-- - -- -

d
-

re
- -
te
Processor Processor
is
FSB
AGP
eg

4x
GFX
RDRAM
Memory Controller Hub
P64H (Intel 860 MCH)
Slot PCI-66MHz Hub Link RDRAM
nR

P64H
Hub Link Slots
IDE PCI-33MHz
CD HDD
USB 2.0 IO Controller Hub
U

(ICH2) IEEE
LPC SCSI
1394

Super AC97
IO Link

COM1 Modem Audio Boot


COM2 Codec Codec Ethernet ROM


-- -

- -
- - --
- - - - -
- - - - - -
-- --- - -

- - - - - -
- - - - -
- - - - - -
- - - - --
-
- - - - -

d
-- - -

re
- - - --
- - - - - --
- -- - - --
- - -
te
- - - - -- - --
- - -
is
-
eg

- -
- - - -- -
- - -
nR

- - -
- - -

- - - - - --
-- - - -- -
U

- -

- - - - - -
- -

-- - -
--- - - -
- - -
- - - -- -
- - -- - -

- - --- -- - - --
- -- -- - -
--- -- - -- --
-- - - - -
- - - --
-- -

-- - - - -
- - - -
- - - -
- - - - - - -
--

d
- - -
- - - - -

re
- -- - - -

--- - -- --
te
- -- -- -
- - - -- --
- -
is
- - - - -
-
eg

- - - -
- --
nR

- - -
- - - - --
- - - -- - -
U

- - -- -
- -
- - -
- -- --
- - --
- - --


-- -

- -

Processor Processor

FSB

PCI-X
P64H2
Hub Link 2 DDR SDRAM
Memory Controller Hub
P64H2 (Intel 7500 MCH)

d
Hub Link 2 DDR SDRAM

P64H2

re
64-bit,
66MHz or 100MHz or 133MHz
Hub Link 1
IDE
te Slots
USB IO Controller Hub PCI-33MHz
(ICH3)
LPC
is
IEEE
SCSI
AC97 1394
Link
eg

Boot
Ethernet ROM
nR

-
- - -
-
U

- -- - --
- - - -
- - -
- -- - --

-- - - - - - -
- - - - -
- - - - -- -
-
- - - - -

- - -
- - - - -

- --

- - - - --
-- --

- - - - - - -
- -- - - -- -
- - - - - -- -
- -

d
- -

- -

re
te
-

-- --

- - - - - - -

is

CLK
eg

FRAME#

AD[31:0] --
nR

C/BE#[3:0]

IRDY#

TRDY#
U


DEVSEL#

- - -
- - - -
- - - - - -
- - - -
- - -
- - - -- -


-- -

- -- - --
- - - - - -
- - -- - -
- - - -
- -
- - - - - - -
- - - -
- - - -

- - - -
- -- -
- - -- - - -
- - -- - - -

d
-

re
-- - - -

-
te
2. Completer unable to
return data immediately
is
1. Requester initiates 3. Completer memorizes
read transaction transaction
eg

4. Completer issues
Requester split response Completer
nR

5. Completer initiates split completion


U

bus cycle to return read data

- - - - -
- - -

- - - --
-
- - -

- - - -
- --
- - -
- - -
- -
- -
- -

-- - -
- --

-- - --

d
- - --
-- --

re
--

- -- --
- -- -
te
-- - - --
- - - -- -
- ---
is
- --
-
eg

- - -- -
- - --

nR

- - - - -
- - - - -

- - -
U

-- -- - - -
- -- - -- -
- - -
- - - - - --
- -
-- - - --
-


-- -

- -

Processor Processor

FSB
SCSI
RAID
Disk array Slots
PCI-X 1.0

DDR/QDR
Host Bridge SDRAM
PCI-X 1.0
Graphics Bridge
Slots

d
PCI-33MHz
PCI-X PCI-X PCI-X
DDR/QDR DDR/QDR DDR/QDR

re
S
IO
PCI-X 2.0 PCI-X 2.0
COM1 Infiniband
COM2
Bridge Bridge
PCI-X PCI-X
DDR/QDR
Slot
te Slot
DDR/QDR

10Gb 10Gb 10Gb 10Gb


Ethernet Ethernet Ethernet Ethernet
is
N.B. PCI-X DDR/QDR buses are point-to-point parallel buses
eg

- - -
-
- --
nR

- - - - - -

- - - - -
- - -
U

- - --- - -
- - - - -

- - - -
-- - - - -
- -- -
- - -- --

- -- -- -
- - -- - -

--
-- - - -
- - - -
- -- - --


- - -- ---
-- - -
- --- - -
--- -

d
-- --- - - -
-- -- -

re
- -
-
- - -
te

is
--
eg

Packet
PCI-XP PCI-XP
Device Link (x1, x2, x4, x8, x12 x16 or x32) Device
nR

A B
Packet
U


-- - - -
-- -- -- - -
- -
-
- -
- - - -


-- -

-- - -
- -
- -
- -
- -
- - - -
- -
-

--

d
D-

Vcm

re
V Diffp
D+
te
- - -
is
- --- -
eg

-
- -- - -
- - -
- -
nR


- -- --- - - - -
--

-
U

- - -
-- - -- - - -
- - - -- -
- - - -
- - -
- - - -- - -
- - - -- --
-- -- -- -


- -
-- - - -
-- - -- -- -

- -- -
--- - - -
-- -- --
-- -

--

d
-- -- - -- -- -
-- -- -- -

re
- - - -
- -
-- - - -- - -- - -
-- - --- -- -
te
--- - -
- --- ---
is
-- --
eg

-- -- - - - -
-
-- --
- -- -- - --
nR

- - -- -

-- -
-- -- - - --
U

- - - - -- - -
- - - -
- - - --
- -
- - - -
- - - - -- -
-
-


-- -

--- -
- - -
--
- - - -
- -
- - -
- -

-
-

d
-- - -
- - - -

re
- -- --
- --
-
te
--- -
- -
is
-- -
- -
eg

- - - -
- -- - - - -

- - -
nR

-- - -- -
-- - - -
-
- - -
U

- -- - -

-- -
- - -
- - - -
- -
- -
- - - -
-- - - --
- -- - --

-- --
- - -

- - - - -
--


- -
- - -
- -
- - -
- - - -

d
- -- - -
- - - -

re
- -
- - - -- - - -
-- -
-
te


is
- -
eg

-- - -
- - --
- -
-- - --
nR

- -- - -- -
- - - - -
-- - -

-- -- -- - ---
-- - - -- - - -
-- -
- -
- - -
- - - -
- -
- - - - - -


-- -

- - -- -
- -
- - -

-- -- --
- - - - -

-- - -- -- -
- - - -


-- -- -- - -

d
-- ---
-

re
- -- -
- - --
- -
--
te
- - - -


is
-- - - - ---
eg

- - -- - -
- - - - - --
- - - -- - -
- - - -- --
nR

-- - -- -
- -
-- - -- -

-- -- --
U

- -
- - -
---
-- - - --
- - -
-

-
-- -- - - -
- --
- - -
- - - --


- -- - -
- -- - -
- - - -- -
-- -

d
-- --

re
- -- -- - - --
- - - -
- - --
te
- -- -- -- --
- -- -- -
-- - - -
is
- -
eg

- -- - -
- - - -

-
nR

- - - - -
- -
-- -- --
- -- - - - -
- - --
U

- - --
- -

- -
- - -
- -- - -
-- --- - -
- - - -
- - -


-- -

--
- -- -- -
-- -

--

CPU

d
Root Complex

re
Bus 0 (Internal) Memory

PCI-XP 1 PCI-XP 6 PCI-XP 7


te
PCI-XP PCI-XP Switch PCI-XP Virtual
PCI
Endpoint 3 Endpoint PCI-XP Bridge
Bus 2
Bridge To
is
PCI-XP 4 PCI-XP 5 PCI/PCI-X Virtual
PCI
Virtual
PCI
Virtual
PCI
Bridge Bridge Bridge

PCI-XP Legacy
PCI/PCI-X
eg

Endpoint Endpoint
Bus 8

Legend
PCI Express Device Downstream Port
nR

PCI Express Device Upstream Port

- - -
-- -- - -- -
U

- -- - -
- - -
- - -- -
- -- -
-- - - - - --
- - -
-- -- - - - -
- - - -
- - -
- -

- -- - -

- -
- -
- - -

- - - --
- -
-- -
-- -- -

- - - --

d
-

re
- - -- --
- -- -- - - -
- - - -- - -
- -- - - - -
te
-- - - - -
-- - - -- -
- - - - -
is
- -- -- - -
- -- -
eg

- -- -- - -
- - -- - - -
-- - - - --
-- -
nR

-- - -
- - -
- -- - - -
- --- -
- -
U

- - -- - -
- -
-- --

-- - --


-- -

- - - - --
- - -

- -- - - -
-
- -

- --
--- -- - - -
- - -
- - -
- - - -- -
- -- - --

d
- --

re
- -- - -
-- -
-- -
- --- - - -
te
- -
- - -
- -
is
- - - - - -
eg

-- - - - -
-- -- -- - -
- - -- --
- -
nR

- -
-- -- - - - - -
- - -- - -- - -

U

- --
-
-- - -- - - - --

-
-
-- -- - -
- - - - -
-- -

- - - -- - -
- -- - --
- -- --
- - - - - -
- -- - - -
- - -- -
-- - - --

- - -
- - -- --
- - - --
-- --

d
-- -
- -- -

re
te
- - -- - --
- - -- -
-- -- --
is
- -- - - - - -
-- - - - - -
- -- - -
eg

-- - -
-- - --
-- -- - - -
- -
nR

- - -

-- - -- -
- -- - -- -
-- - --
U

- - -- - -
- - --
-- - - - -
- -- -- -
-- - -
- -
- --


-- -

- - - - -- --
- - - -
-

- -- -

Processor

FSB
PCI Express

d
GFX
GFX Root Complex

re
DDR
SDRAM
PCI Express Slots
Serial ATA PCI
HDD
te
USB 2.0 IO Controller Hub
(ICH) IEEE
LPC 1394
is
Slot
S
IO
eg

COM1 GB
COM2 Add-In Add-In Add-In
Ethernet

PCI Express PCI Express


nR

Link

- -- -
U

- - -- --
- - -
- - - -- --
- -- - --
- - - - -
-- -
-- - - - --

- -- -

Processor

FSB
PCI Express
GFX

Root Complex
PCI Express DDR

d
Links SDRAM

re
Hub Link Slots
IDE
CD HDD
te
Existing
USB 2.0 PCI-33MHz
IO Controller Hub
LPC (ICH4)
is
IEEE
AC97 1394
S
IO Link
eg

COM1
COM2

Modem Audio Boot


Codec Codec Ethernet ROM
nR

-
U

-- -- -
-- -- -
- - - -- --
- - -- -
- - -
- -


-- -

-- -

Processor Processor

FSB

PCI Express
GFX
GFX Root Complex
DDR
Endpoint SDRAM

d
10Gb
InfiniBand
InfiniBand Switch Ethernet Switch Fiber
Switch
Endpoint Channel

re
Out-of-Box
Endpoint
RAID Disk array
10Gb PCI-XP-
Add-In Switch SCSI
Ethernet to-PCI
te
Endpoint Endpoint Endpoint
PCI
PCI Express
Link Gb Slots
is
Add-In IEEE
Ethernet S
IO 1394
Endpoint COM1
COM2
eg

-- -
nR

- - --
-

-- - -
U

-- -
-- - -
-- -
-- -

- -- - --
- - -
- -- -
-



-
- - - -
-- - -

d
- -- - -- -- - -
-- --- --

re
- -- -- - -
- -- -- -
-- -- - - -
te
- -- -- -

-
is
- - -- -
-- -- - -
eg

- -
-- - - -
- -- - - - -
--
nR


-- - --
U

-- -- - - --
--

-- --
-- - - - -- -


- --- -
- - -


-- -

-- -- -

-- --
-- - -
-- - - -- -- -
-- ----
- - -
- -- - -- - -
- - --

-- - - --

- - -

d
-

re
-

-
te
-

-
is
-
eg

-
-- -
nR

- -- - -- -
-
- - -- - - -- -
- - -
- - -
U

- - - --
- --
-

- -- - -- -
-
- - -- -
- - - ---
- - --
-

-- -
-- - - - -
- -- - - -
- - - - -- --
- --
- -

-- -

d
-

re
- --

-
te


is

eg



nR

-- - -

-- - -

--
--

--
--


-- -

- --
-- - - -
- - - - - -
- - - -
- - - -
- -
- -- - -
--

- - -- -
- -
-- - -

d
- - - - -

re
- - --
- - -
-- -
-
te
- --
- - - -
is
-- - -
eg

-- -- -- -
- - - -
- - - - --

- - - - -
nR

--
- - -
U

- -

MRd, IORd,
CfgRd0, CfgRd1

Requester Completer

d
CplD or Cpl

re
te
Legend:
is
MRd = Memory Read Request
IORd = IO Read Request
CfgRd0 = Type 0 Configuration Read Request
eg

CfgRd1 = Type 1 Configuration Read Request


CplD = Completion with data for normal completion of MRd, IORd, CfgRd0, CfgRd1
Cpl = Completion without data for error completion of MRd, IORd, CfgRd0, CfgRd1
nR

- - --
-- - - -
U

- - - -
- -- - -
- -
- --

- - -
-- -
- -
-
- -- -- --


-- -

- -

MRdLk

Requester Completer

d
CplDLk or CplLk

Legend:
MRdLk = Memory Read Lock Request
re
te
CplDLk = Locked normal Completion with data for normal completion of MRdLk
CplLk = Locked error Completion without data for error completion of MRdLk
is
- - - - -
- - --
eg

-
-- - - -
-- - -
nR

- --
- -- -- --
- - - -
- - - -
- --
U

- - - -
- --
- -
- -- -
- -

- - -
-- -- --
-- - - -- ---

- --
-- - - -
- - - -
- -- - - -
- - - -
- -
- -- -- - -- --
--

- -

d
re
IOWr, CfgWr0, CfgWr1
te
Requester Completer
is
eg

Cpl
nR

Legend:
IOWr = IO Write Request
CfgWr0 = Type 0 Configuration Write Request
CfgWr1 = Type 1 Configuration Write Request
U

Cpl = Completion without data for normal or error completion of IOWr, CfgWr0, CfgWr1

- - -- -
- -

- - - - -
- -
- - - -


-- -

- --
- -
- -- -
- - - -
- - ---

- --- -
- - -
- --
- -
- -

- --

d
-- - - -- -

re
- -
- - - - - -
-- - - - -
- - --
te
- - -
-- -
is
- - - -
-
eg

- - -
- - -
-
nR

-- -
-
U

- -

MWr

Requester Completer

d
re
te
Legend:
is
MWr = Memory Write Request. No completions for this transaction
eg

- -- --
-- -- - - -- -
nR

- -- - - - -
-- -- - - -
-- - - -
-- - -
U

- --- -- -- -
-

-
- - - - - --

-- - - - - --
-- -- - - -
- --
- - --


-- -

- -- -

Msg, MsgD

Requester Completer

d
re
te
is
Legend:
Msg = Message Request without data
eg

MsgD = Message Request with data


nR

- --
- - -- - - - - -
- - - -
U

--


-- --
- -
- -
-- - - - --
- -
- - - - -

- - -
- - -
- -- -- -
- - -- - -
- -- -- -
- - -
- -- - -
- - - --
- -- - -
- -

d
-

Processor

re
Processor
te
FSB
MRd
-
-Step 1: Root Complex (requester)
initiates Memory Read Request (MRd)
is
Root Complex
-Step 4: Root Complex receives CplD DDR
SDRAM
MRd CplD
eg

Switch A Switch C
MRd

CplD
nR

Switch B Endpoint Endpoint Endpoint

MRd CplD

U

Endpoint Endpoint -Step 2: Endpoint (completer)


receives MRd
-Step 3: Endpoint returns
Completion with data (CplD)

- -
- - -
- -
- - - -


-- -

- - -
- - - -
-- -
- - - -
- -
- - -
-- --- - -
- -- - -

-

- -

d
- - - - - -
- - --

re
- - -
-- - - --
-- - - -
te
- -- -

is
- - -- -
- -
- - --
eg

- -
-
nR

- - - - --
- - - -
- -
-- - -- -
- -
U

Processor Processor

FSB

-Step 2: Root Complex (completer)
receives MRd Root Complex
-Step 3: Root Complex returns DDR
Completion with data (CplD) SDRAM
CplD MRd

Switch A Switch C
CplD

d
MRd

re
Switch B Endpoint Endpoint Endpoint

CplD MRd
-
te
Endpoint Endpoint -Step 1: Endpoint (requester)
initiates Memory Read Request (MRd)
-Step 4: Endpoint receives CplD
is

eg

--
-- - -- --
- -- -
- - -- -- -
nR

-- -- -

-- -- - --
- - - --
U

- -- --
- -- -

-- - --
- - -
- -- -
- - - --
- -- - - - -
- -
-- ---
-


-- -

Processor Processor

FSB
-:
-Step 1: Root Complex (requester)
initiates IO Write Request (IOWr) Root Complex
-Step 4: Root Complex receives Cpl DDR
SDRAM
IOWr Cpl

d
Switch A Switch C

re
IOWr

Cpl

Switch B Endpoint
te Endpoint Endpoint

IOWr Cpl
:
is
Legacy
Endpoint -Step 2: Endpoint (completer)
Endpoint
receives IOWr
-Step 3: Endpoint returns
eg

Completion without data (Cpl)

-
nR


-- -- -- - - -
-- - - -
- -- -- -
U

- - -- -
-

-- -
- - --
- - - -
- - -

Processor Processor

FSB
-
-Step 1: Root Complex (requester)
initiates Memory Write Request (MWr) Root Complex
DDR
SDRAM
MWr

d
Switch A Switch C

re
MWr

Endpoint Endpoint Endpoint


Switch B
te
MWr
is
Endpoint Endpoint

- Step 2: Endpoint (completer) receives MWr
eg

-- -
nR

-- - - - -
- - -- -
- -
- ---
--- - -
- -
- - -


-- -

-- -

PCI Express Device A PCI Express Device B

Device Core Device Core

PCI Express Core PCI Express Core

d
Logic Interface Logic Interface

re
TX RX TX RX
Transaction Layer Transaction Layer
te
Data Link Layer Data Link Layer
is
eg

Physical Layer Physical Layer


nR

Link
U

- - - - -
- - - -
-

- -
- - -
-
- - - --- -
- - - - -
- - -

- - -
- - - -
- - -

d
- - -

re
- - - -
- - - -
- - -
te
- - -
--
is
- -- -
eg

- - - --
- -- - - -
-- -
-- - - -
nR

- -

- - -
-- -- - -
U

- -
- -- - -
- - -- - -
- -
- -
- ---


-- -

PCI Express Device A PCI Express Device B

Device Core Device Core

PCI Express Core PCI Express Core


Logic Interface Logic Interface
TX RX TX RX

TLP Transaction Layer Transaction Layer TLP

d
Transmitted Received
Data Link Layer Data Link Layer

Physical Layer

re Physical Layer
te
Link
is
eg

-- - - - -
-

- -- -
nR

-- - -
- -
-
- - -
-
U

- -
- - - -
-
- - - - -
- -
-
- - -

--

Information in core section of TLP comes


from Software Layer / Device Core

Bit transmit direction

Sequence

d
Start Header Data ECRC LCRC End
Number

re
Created by Transaction Layer
te
Appended by Data Link Layer
is
eg

Appended by PHY Layer


nR

--- -
- - -
- - -
- - - - - -
- -- - --
U

- - -
- - -
- -- - --
- -
- - - -
-
- -


-- -

- - -
- -
- - -

---

Information in core section of TLP is


sent to Software Layer / Device Core

Bit receive direction

d
re
Sequence
Start Header Data ECRC LCRC End
Number
te
Stripped by Transaction Layer
is
eg

Stripped by Data Link Layer


nR

Stripped by PHY Layer

- -
U

-- -
- -
- -- - - - -
- -- --- - -
--

- - -
--

- - -
- - -- -- -
-- -
- - - - - -
-

PCI Express Device A PCI Express Device B

Device Core Device Core

PCI Express Core PCI Express Core

d
Logic Interface Logic Interface

re
TX RX TX RX
Transaction Layer Transaction Layer
te
DLLP Data Link Layer Data Link Layer DLLP
Transmitted Received
Physical Layer Physical Layer
is
Link
eg
nR

-- - -
- - - -
- -
- -
- - - -
U

- - -

- -
-
- - -
-


-- -

--

Bit transmit direction

Start DLLP CRC End

Data Link Layer

d
Appended by PHY Layer

re
te
--- - -
- - -
is
- - - - -
- - - --
- - - -
eg

---
nR

Bit receive direction

Start DLLP CRC End


U

Stripped by Data Link Layer

Stripped by PHY Layer

- - -
-- - -
- - -
- -- - - - -
--
- - -
- - - - -
- - - - -

-

- - -- -

d
- -
- - - - -

re
- -
-

-
te
PCI Express Device A PCI Express Device B
is
Device Core Device Core
eg

PCI Express Core PCI Express Core


Logic Interface Logic Interface
TX RX TX RX
nR

Transaction Layer Transaction Layer

Data Link Layer Data Link Layer


U

PLP PLP
Physical Layer Physical Layer
Transmitted Received

Link


-- -

COM Identifier Identifier Identifier

d
--

re
- --
- - - - - -
- -
te
-- - --
- -
is

eg

---
- -
- -- - -
-
nR

-- - - - -

- -
- -- --
- - - - - -
U

- -
- - -
-- - -- --

- - --
- - -
- - --
-- -- -

-
- - - --
-
-- - - - --
- - ---
- - -
-

-- - -

d
Memory, I/O, Configuration R/W Requests or Message Requests or Completions

re
(Software layer sends / receives address/transaction type/data/message index)
Software layer
Transmit Receive

Transaction Layer Packet (TLP)


te Transaction Layer Packet (TLP)
Header Data Payload ECRC Header Data Payload ECRC

Transaction layer
is
Flow Control
Transmit Receive
Virtual Channel
Buffers Buffers
Management
per VC per VC
eg

Ordering

Link Packet DLLPs e.g. DLLPs Link Packet


Sequence TLP LCRC ACK/NAK CRC ACK/NAK CRC Sequence TLP LCRC

Data Link layer


nR

TLP Replay De-mux


Buffer
TLP Error
Mux Check
U

Physical Packet Physical Packet


Start Link Packet End Start Link Packet End

Physical layer Encode Decode

Parallel-to-Serial Serial-to-Parallel
Link
Differential Driver Training Differential Receiver

Port
Link


-- -

- - - - -
- --- - - -
-- -
- -- - - - -
- - -
- - - - --- - -
--

- -- -- -- -- --
-- -- - -- - --

- - -
- - - --

d
- - --- - - -
-

re
- - -- - - -

-
te
Transaction Layer Packet (TLP)
is
Header Data Payload ECRC
eg

- - - -
- - -- - - -
nR

-- - - -
- - -

-- - -- --
U

-- - -- -- --
-- - -- -
- - -- -
- -- - -
- -- -- -- - - -
- -- -
-- - -- --
- -
-

- - - -
- - -
- - -
- -
- - -
- - -
- - -- -

- - - -
- - - -
- - -

- - - -

d
- - - - - - -
- -

re
- -
- -
- - - -
- - --
te
- - -
- - -

is
- - --
eg

- - - -
- - -
- - - -
- -
nR

- -- - -
-- -
- - --
- - - -
U

- - - - - -
-
- - - -
- -
- - - -
-
-- -
- --
-- - -


-- -

--
-- - - -
- -- -
- -
- - - -
- - - - -
- - - -

--

Buffer space

d
available

re
TLP
VC Buffer
te
Transmitter Receiver
is
eg

Flow Control DLLP (FCx)


nR

-
- - - -
-- - -- -
U

- -
- - -- -
-- - -
- --
- -- - -
- -
- - --- -

- - -

--- - --
-- - -
- -- --
- - -
-

--

Processor Processor

FSB

PCI Express

d
GFX
GFX Root Complex
DDR

re
Endpoint SDRAM

10Gb
InfiniBand
InfiniBand Switch Ethernet Switch Fiber
Switch
te
Endpoint Channel
Out-of-Box Endpoint
RAID Disk array
is
10Gb PCI Express
Add-In Switch SCSI
Ethernet to-PCI
Endpoint Endpoint Endpoint
eg

Slot PCI
Video Slots
SCSI S IEEE
PCI Express Camera IO 1394
Link Endpoint COM1
nR

COM2

- - - - -
-- - - -
U

- - - -- -
- -
-- --
-
- - - -
-
-

-- - -


-- -

- - - -
- - - --
- - -
- - -
-

- --
-- - - - - --
- - - -
-- - -

--- - - - -
-

d
- -- - -
- - -- - - -

re
- - -
- - - -

-- - -
te
- - ---
- - - -
- - - -- -
is
- - --
- - -
eg

- --
- -
nR

-- - -
- - - -
- - -- -
-- - -
- - -
U

- -- --

- -
-- -
- --
- - - -
- -

- -
- - -
- - --
- -
- -

- -
- - -- -

-
-

d
- -

Transmitter Device A

re
Receiver Device B
TC[2:0] Link
te
maps to
VC0 VC0
VC0
VC0
is
TC[7:0] Buffers Buffers TC[7:0]
VC1
TC[7:3]
eg

maps to VC1
VC1
VC1 One physical Link,
multiple virtual paths
nR

- -
-
U

-- -
- --
-

- - --
- -- -
-- - - -- -
--


-- -

- - --
-

- - --
- -
-- -
-
-- - --

- -- -
- - - --
-- - -
- - -

d
-- -
--

re
- - -
- -
-
te
-
is
Link
eg

TC[2:0] to VC0 VC0


TC[7:3] to VC1 VC1 Link
VC0
VC0
nR

Port
Arb
VC VC0
VC1
Arb 0
Port VC1
VC1
Link Arb

VC0
U

TC[2:0] to VC0

TC[7:3] to VC1 VC1

- -
- -

- -- -
- -
- - - -
- -- -- -

- -- -
- -
-- - -

- -- -
- - -
- ---

d
- --
- -- - -

re
- -
-- - - -
- -
te
- -- - - --
-- - -

is
-- - -- --
- --
eg

- - - --
- -- -
- - - -- -

nR


-
- -
U

--- -
--
- - - -
- -
- -
-- -- -
- - - - -
-- --- - - --


-- -

- - - -
- - -
- - - - --
- ---

- -- --
- - --
-
- -
- - -
-- --
- -
-

d
-

From
Transaction Layer
re To
Transaction Layer
te
Tx Rx
Data Link Layer
is
Link Packet DLLP DLLP Link Packet
ACK / ACK /
Sequence TLP LCRC NAK NAK Sequence TLP LCRC
Device A Replay
eg

Buffer De-mux

Error
Mux Check

Tx Rx
nR

Link
Rx Tx

Check
U

Mux
Error

De-mux Buffer
Replay

Remote Sequence TLP LCRC NAK NAK Sequence TLP LCRC


ACK / ACK /
Device B Link Packet DLLP DLLP Link Packet
Data Link Layer
Rx Tx
Transaction Layer Transaction Layer
To From

- -
- - -
-- - --- - -
-- -

-
- -
- --- -
- -- - -
- --

- - -- -
- -- - -

d
- - -
- - -- -

re
- -
- - - - -
- - -
te
- - --
- - -
is
- --- -
-- -
eg

- -- -
-

- - - - -
nR

- -
- - - --
- - -- - -
-- -
U

- - - -- -
- -

- -
- -
- - - - -
- - - --
-
-


-- -

- - -
-

- -
- - - - -
-
- -
-

- - - -
- -- -
- - - --- --
- - - - - -

d
- --
-

re

te
Transaction Layer Packet (TLP)
is
Sequence ID Header Data Payload ECRC LCRC
eg

AND
DLLP
DLLP Type Misc. CRC
nR

- -
-- - -
U

- -
-- - -

- -- -
- - -

- - - - -
- -

- -- -
-- - -
- -

- - -
- -

- -
-- -
- - -

d
- -

- - -

re
- -

- - -
te
-- - - - -
- -
is
- - - --
- - - -
- --
eg

- - --
-- --
- - -
- - -
nR

- -

1a. Request 2a. Request


U

4b. ACK 3b. ACK

Requester Switch Completer

1b. ACK 2b. ACK


4a. Completion 3a. Completion

ACK returned for good reception of Request or Completion


NAK returned for error reception of Request or Completion


-- -

- -
-- - -
- --
- -

- -- -
- -

- - - - -
- -

- -- -
-- - -

d
- -

- - -

re
- - -
- - --
- - -- - -
te
- -
is
1a Request 2a Request
eg

Requester Switch Completer

1b ACK 2b ACK
nR

ACK returned for good reception of Request or Completion


NAK returned for error reception of Request or Completion
U

-
- - - -
- -- - -
- -

- -
- -
-- - -
-

-
- -
- - -
--- - -
- -

- - - -
- - -
-- -- - --- --
- -
- - -
- --- - -

d
- - -

re
- - -
- -
-- -
te
- -
-- -

- - -
is
--- - -
-- -
eg

- -
- - - - -
- -
nR

- -
- - -- - -
- - -

U

- - - - - -
--

- - - -
-- --

- -
- - - -
- - -
- - - -


-- -

- - -
- - -
- -
- - - -
- -

Transaction Layer Packet (TLP)


Start Sequence Header Data Payload ECRC LCRC End
1B 2B 3-4 DW 0-1024 DW 1DW 1DW 1B

d
re
DLLP
Start DLLP Type Misc. CRC End
1B 1DW 2B 1B
te
is
-
eg

- -
- -- - -
- -- - - -
--
nR



-
-
U

- -
- -
- - - --

- - - - -

- -- - -
- - - -
- - - - -
- - --
- -

- - -
- -
--

- -
- - - -
-- - - -

d
- - - - -

re
- -
-- --
- - -
- - - - -
te
- -

-
is
- -- -
- - -- - -
eg

- -
- - - -
- -- -- -
- - - -
nR

- - - -
- - - -
U

- -
-
- -- - - -
- --- - - - -
- - -

- - -
-- - - - - --


-- -

- - -
- - -
- -
- --
- -
- - - - -

- -

CTX ZTX

d
+
ZTX ZRX

re
Transmitter Link Receiver
CTX ZTX ZRX
-
te
ZTX
Vtt
Zvtt
is
Transmitter is AC coupled to receiver
DC common mode impedance is 50 Ohms
eg

Differential impedance is 100 Ohms


Coupling capacitor is between 75-200 nF
nR

- -
U

- - - - -
- - - -
- - - -
- - -- -- - -
- --- - -
- - -

- -
- --
-

-- - -
- --
- - -
- - -

- -

d
re
Requester Completer
Send Memory Read Request
Software layer
te Receive Memory Read Request

Transaction Layer Packet (TLP) Transaction Layer Packet (TLP)


Header Data Payload ECRC Header Data Payload ECRC

Flow Control Transaction layer Flow Control


is
Transmit Receive
Virtual Channel Virtual Channel
Buffers Buffers
Management Management
per VC per VC
Ordering Ordering
eg

Link Packet DLLP


Link Packet
Sequence TLP LCRC NAK
Sequence TLP LCRC
Data Link layer
Replay Buffer DLLP. Error
ACK/NAK CRC Check
nR

Physical Packet Physical Packet


Start Link Packet End Start Link Packet End

Encode Decode
Physical layer
Parallel-to-Serial Serial-to-Parallel
Differential Driver Differential Receiver
U

Port Port
ACK or NAK

MRd TLP

- -- -
- - -
-- - -
- - - -
-- - - -


-- -

- -
-
--- - -
-
-- -- -

- - -
- - -
- - -
-

- - - - -
- - - --

d
- - - -
- - - --

re

- - - --
-- - --
te
- - - - -
-- - - -

is
- -
eg

- -- - - --
- - - -
- - -
- - -
nR

-- -

- - - --
- - - -
- - - --
U

- - -
- - - -
-

-- -
- -
-

- - -
-- -
- - - --

- - -
--

-
--- -
- --
-

- - -
-
-- -
- - - - - -

d
- -- ---
- -

re
-
te
Requester Completer
Software layer
is
Receive Completion with Data) Send Completion with Data
eg

Transaction Layer Packet (TLP) Transaction Layer Packet (TLP)


Header Data Payload ECRC Header Data Payload ECRC

Flow Control Transaction layer Flow Control


Receive Transmit
Virtual Channel Virtual Channel
Buffers Buffers
Management Management
per VC per VC
nR

Ordering Ordering

Link Packet DLLP


Link Packet
Sequence TLP LCRC NAK
Sequence TLP LCRC
Data Link layer
DLLP Replay Buffer
Error
ACK/NAK CRC Check
U

Physical Packet Physical Packet


Start Link Packet End Start Link Packet End

Decode Encode
Physical layer
Serial-to-Parallel Parallel-to-Serial
Differential Receiver Differential Driver

Port Port
CplD TLP

ACK or NAK


-- -

- -- -
- - -
- - -
- - - - -
- -
- - -
- -- --
-

- -
- - - -
- - -

d
- - - - -

re
- - - --
- - -
- - - - --
-
te
- - - - --
-- - --
is
- - - - -
-- - - -
eg

- -
- -- - - --
nR

- - - -
- -
- - - --

U

- - --
- - -
- - - --
- - -
- - -

- - -
-
-- --
- - - -

- -
- -


-- -- - -
- -- --

- - - -
- -
- -- -

d

- -

re
- -
- - - -
- - - - -

te
- --

- - -
is
- - -
-
eg

-- -
- - -
nR

-- - -
-

-- - -
U

--


--

- - -
- - - - - -


-- -

- -
- - -- --
- -
- - -
- - - - - - -
- - - -

- - -

- -
- -- - -- -

d
- -
- -

re
- -- - - -
-- - -
- -
te
- - --

is
- - - -
-- --- -
eg


- - -
-- -
nR
U

d
re
te
is
eg
nR
U
U
nR
eg
is
te
re
d
-- -
-
-
- -- -

d
- -- - -
- -

re
-- - - -
-- - - - -
--
te
-
is
- -- - -- -
-- -
-- - -
eg

- - -
-- - - -
- -- --
- - - - -- -
nR

-- --
- - - - -- -
--

- --- - -
- - - - -
- -
-


-- -

-- - - - - -
- - -- -

-- - ---

d
re
te
is
eg
nR
U

-- - -

- - -- ---
-
- - - -
-- - - - --

-
--
- -
- --

- -

d
-- - -
-

re
- - - - -
-- -
-- - -
te
- - - -
- - -
- - - -
is
- - -
-
eg

- --
- -
nR

-- - -- - -
-- - -- - -
- - - -- -
- -- -
U

- -

- ---
- - -
- -
- - - - - --- -
- -- - - -
-- - ---


-- -

- -
-- -

- -
-- -
- - -
-- - - - -
-- -- ---
- -- - -
-- -- -- -
- --

d
- - - --
-

re
-- - -- te
-
- -
is
- - - -
- - -
- -- - - -
eg

- - - -
- -
nR

-
- - - - -
- -
U

- - -
- -

- - - --
- - -- - -
- - - -
- - - -
-

-- - -

-- --- -
- - - -- -
- - - -
- - - - -

---
-

- -

d
- - -
- -

re
-
- -
- -
te
-


is

- -
eg

- -

- -
-
nR
U


-- -

-- -

d
re
te
is
eg
nR
U

-- - -

- -
- -
- -
- - - - -
- -
-
--- --

d
--

re
-
- - - -

--
te
- -
-- -
-
is
- - --
eg

- -
-- -

- - --

nR

- - - -

- - --
U


- -
-


- -
-

-
-
-


-- -

- - -
- - -
- - -
- - -

- -

-- -

d
re
te
is
eg
nR
U

-- - -

- - - -
-
- -
-- -
- -

- ---
-

- --
-- - -

d
- - - -
- - - -- -

re
-- - - --
- - - -- -

te
- - - - -
- - - - -
- -
is
- -- -
eg

- - -- -- -
- -- -- -- -
- -- -- - -
nR

- - - -- - - -

-- -- - -
U

-- - - -

-
--

-
--
-
-


-- -

-- -- - -

-- - - -

-- - --
- -
-- --

- - -
--- -- -- -- - -
-- -- -

d
--

re
- - - - -
- - - -- --
te
- - -- - --
- - -
-- - -
is
- - - - - -
-
- -
eg

- -- -- - -
- - - - -

nR

-- - --
-- - - - -- --

U

-- - -

-- - - -

d
re
te
is
eg
nR

- - -
U

- --- -
-- -- - -
- - - - -- - -
- - - - - -- -- -
- -
- -
- - - -- --
- ---


-- -

-- - - -
-
- - -
- - --

-- -- - - --

-- - - --

- - -

d
-- - -
-



re
-- -

te
- --

-- -
is
--

eg

-- -
-
--
nR

-- -

-- -

-- -
U


- --

-- - -- --
-- - - -
- - --

-- - -

-
- -- --
- -- -- --
-- --
- - - - -
--

-- - -

d
-

re
--

--
te


is

-- - -- - --
eg



nR

-- -
- --
U

-- - -- --
- - -
- - - -
- -
-- --
- - -
-- -- - - -
-


-- -

-- - ---
-- - -
- --- --
- - -
- - - -

-- - --
--- --- - --
-
--- --
- - - --

d
-

re
- - - -- -
-
- - -
- - -- - -
te
- - - - -- --
- - - ---
-
is
-- - -- - -- -
-- - --- - -
eg

- -- -- -
- -- -
- --- -- -
- --
nR

-- - --
- - --
-
-- - - - --
U

- - - -
- - - - - - -
- --- - -
--- - -- -
-- --
- - -- -
-- - - --
-
--

-- - -

- -- - -
- - - --
- -
- - -- -

- - --
- --- -- -- -
- -

-
- - -

d

-

re
- -
- - --
te
- -
is
eg
nR
U


-- -

-

- - -- - -
- - -- -
- - --

- -
-
--
- - -

d
- -
-- - -

re
--
-
- - -
te
-
is
-- - -
- - - -

eg

-
nR

-

U

-

-

-- - -

-- - -
- -

d
-- - -
- -

re


te

is

eg

--
-- - - --
-- - - -
nR

- - - - -- -- -
-- - -- --
- - -
- - -
U

- - -
-- -- - - -
- - -
-- - -
-- -- -
-- - - -
- -- -


-- -

--
-- -- - -- - --
- -- -- -
- - -
- -- --- -
--- -
- -- - - -- -
- -

-- -

d
- -- -
- -- - ---

re
- -- - -
-- - --
- -- - - --
te
- - -

- -- -
is
eg
nR
U

-- - -

- --
- -- - -
-- - -
-- --- ---

- -- --
- -- -
- - - --
- - -

-- -

d
re
te
is
eg
nR
U


-- -

- -- -- -
-- - - -
- -- -
-

-- -

d
re
te
is
eg
nR
U

-- - -

- --
- -- - -
- - -- -
- - - - - -

-- - -

- - --

d
re
te
is
eg
nR
U

- -- -
- -- -
- - - - - -
- -- - --- -
- -- - -- -


-- -

- - --
- -
- - -
- --
- - - -- -
- -- - - -

- - --

d
re
te
is
eg
nR
U

-- - -

- -- -
- - --

-- -- - - -
- - --
-
-- - - -
- -
- -- - - -

- -- - -
-
-

d
re

- - - -
te
- -
- - -
-- -- -
is
- - - - -- -

- -
eg

-- -- - - - -

---- -- - - ---
nR

- - - -
- - - -
- - - -
-- - -
- - -
U

- -- - -
- -
-
- -- -


-- -

-
- - -
- - --

-- -

d
re
te
is
eg
nR
U

-- - -

-- -

d
re
te
is
eg
nR
U


-- -

-
- - -
- - - -
- - --
- - - -
- -
- - - - --
- - --
- - -
-- - -
- - -
-

d
- -

re
-- - -

- -
te
- - -
- - - - - -
- - - -
is
- - - -
- - - -
eg

- -
- - -- -
- - - --
- - - -
nR

-
- - -
U

--
-
- - -
- -
- - -
- - - -
-

-- - -

- -

d
re
te
is
eg
nR


- - - -- -
U

- - -
- -- --
- -- - - --
--- -- - -
- - - -
-- - - - --
---


-- -

--- -
- -- --
- - -- -
- - - - --
--- - - - - -
- - - -- -


-
-
- -

d
-
- ---

re
---

--- - - --
te
--- - - - --
- --
- -- -
is
- -- -- - -
- - - -
eg

-
- -- - -- - -
nR

- -- - -
--

-
U

-- - -
- - - - - -
- - -
-- -- -

-- - -

-- -

d
re
te
is
eg
nR
U

--
-- -
-- - - - - -
- -- - -
- - -
- -- - -- -


-- -

-- - -

- -

- -
-- -

-- - - --

- --
-
- - --
-- ---

d
-
-

re
te
-- - -
- - - - -
- --
is
-- - ---

eg

-
-- - -
- - - -- --
nR

- - -

- - -
-- -
- - - -
U

- -- - --
- -
- ---
- - - - -
- - - -
---

-- - -

-- - - -
-- - - - -
-
--- - -- - - -
-- -

-
- -- -
--
- -- - -

d
-

re
-- -- - -
- -
te
- - - - -
- -
- - -
is
-
eg

-- - - - -- -
- -
-
-- -- -
nR

- -

--
U

- -- -- - -
- - -- -
-- -- -

- -- -- - -
-- - - - -
- -
- -- - - -

-- --
- --


-- -

-- - -

d
re
te
- -- -- - -
is

eg

- - -- -
-- -- - -
- --
nR

--- - -
- - - - -
- - -
- - -

U

- - - -- - -
- -- --- -
- - - - -

- -- -
---
-- -
- -

-- - -

- -
- - -
--

-- -

re
te
is
eg

-
nR
U


-- -

- - -
-- - - --
- -- - - -
- - --

-
- - -- - - -
--- - --
- - -
--

- - - -

d
- - - - -
- -

re
- - - - -
- - - - -
- -

te
- - - - -
- - - -
- -
is
-- -- -
eg

- - - -
- -
- -- -
- -- - - -
nR

- -

- - - -
-- -
--
U

-- - -

d
re
te
is
eg
nR
U


-- -

-- -

- -

- -- --

- - -
- - - - -
-

d
- - - -
- - -- -

re
- - - - -
- - -
te
-
- - -- - -
is
- --- -
-- - -
eg

- --

- - -
- - - -
- - - -
nR

- - - - - -
-
- - -- -
- - -
U

- - - -
-- -- -
- -
- - -
- - -- -
- -- - -
-- -
- - -

-- - -

- - -
- -- -
--

d
re
te
is
eg
nR
U


-- -

-- -

- -

- -- --
- -

- - -

- - -

d
- - -

re
- - - -
- - --
- - - -
te
- - - - -

is
- - - - - -
- -- -- -
eg

-
- - -- - -
- --- --
nR

- -- - -
- --

- - - -
- - - - - - -
U

- -
- - - - -
- - -
- - -
-- -- -
- - - -
- -
- -- -
- -- - - -
- -

-- - -

- - -
- -- -
--

d
re
te
is
eg
nR
U


-- -

-- -

- -

- -

- - - - -
-

- - - -
- - -- - -
- - - -

d
- - - -

- --
re
te

- - -- -
is
- - -- -
- -- -
eg

-- -
-- - - - -- -
-- - --
-
nR

-- - - -
--- - -- - -
- - -- -
-- - --
U

- --
- -
- --

- --
- --
- --
- -- - -
-- - - --

-- - -

-- - -- -
- - -
-- -- - -
- --
- -- -
- - -

- - - -

- -

d
re
te
is
eg
nR
U


-- -

- -

- -

- - -
- - -
- --
- -
- -- --
- -
- - -
-- - -
- --

d
- -

re
- -
- - -
--
te
- -
- -- --
- -
is
- - -
-- - -
- --
eg

- -

- - - --
- -
nR

-
- --
- -
-
U

- --
- - -- -
- -
- -- -
- -

- - - -

-- - -

- -

d
re
te
is
eg
nR
U


-- -

- -

- -

- - -
- - -
- --
- -
- -- --

- - - -
- - -
-

d
- -

re
- - -
--
- -
te
- -- --
- -
- - - -
is
- -

- --
eg

- - -- -
-- - - - -
- - -- - -
nR

-- - - -
- - - - -

U

- - - -

-- - -

- -

d
re
te
is
eg
nR
U


-- -

- -

- -

- -- - -
-
-- -
-
--
- - -
- -
- - - --
-

d
-- - -

re

-- -
-
te
--
- - -
- -
is
- - - --
-
eg

- - - - --
- -

- - --
- -
nR

- --
U

- -- -
- - -
--- - -
- - -- -
- - -
-- - -

-- - -

-
- - - -
- - - - -- -
- - --

-
- - - -
- - - -

d
- - - - -
- - -

re
- -- - -- -
- - -

-
te
- - - - -
- -- - - -
is
-- -- -
- -- - - -
eg

-
- -- - -- - --
-- - -- -
- - - -
nR

- - -
- -
U


-- -

- --

d
re
te
is
eg
nR
U

-
--
-
- - - -- -

d
-- -
-- -

re
- - - -
-- - - -
- -- --
te
- - - -
-- - -- --
- - - - --
is
- --

-
eg

- -- - -
--- - - - -
nR

- - - -
- -

---- -
- - -
- - - - -
--- -


-- -

-
-- - - - ---
- -- - -
- -- -
- -- - ---

- -
- -- -- -
- - --
--- - -- -
- - -

d
- - - - -
- -

re
-- - --- -
- - - -
- --
te
- - -
is
- - - - - -
- -- --
eg

---

-
nR

- - --
- - --
- - -
-
U

- - - -- - -
- -
- -- - -
- - -

- -- - -
-
- - - -
- -
- - -
- - - -

- --

- -- -
- - --
- -

d
re
te
is
eg
nR
U


-- -

- -
- - -
-
-- - -
- - - - --
-- - -
- -
-- - -- - - -
-- - -
-
-- - -

d
-

re
- -- - - --
- - --
- --
te
- - -
- - - - -
- - -
is
- -
- - -- -
- -- -
eg

- - -
- - -

nR

- -
-- --
U

-
- - - -- -
- - --- -
-
-- --- - -

- --

- -- ---
- -- -
- --- -- -
- - - -

- --- - - --
- - --
- - -

--

d
-- -- -
-

re
- -
--
- - - -
te
- - -
- - -
- - -
is
- -
-- - -
- -- -
eg

- - - -
-
- - - -
- - -
nR

- -
- -
-
- - -
U

- -
- - --- -
- --
- -
--- -- -
- -
- - -


-- -

-- -----

d
re
te
is
eg
nR
U

- --

-- -- -
-- -- -- -
- - -- -- --

-- -- - -

-- - - -

-
--

d
- --
-

re
-
-- --
-- -- -
te
-- -
-- -
is
-
-
eg

-- -
- - -
-
- -- -
nR

-- -
-- - - --
- -
-- --
U

- - - -
--


-- -

- -
-- -- -- -- - -
- - -
- --
--

- -

d
-

re
-

-
te
-
-
is
-
eg

-
-

-
nR

-- - -

-- - -
U

- --


- - - -

- -

- - - -
- -

d
-
-

re
--
- - -

te

--

-
is
-
-- - - -
eg

- - - - - -
-
nR


-- -
- - - -- -
-- - -- -
U

- -


-- -

d
re
te
is
eg


nR

-- - -
- -
- - -
U

- --

- -
- - - -



re


te
- - -
- - - - -

is
- - - -
--- - - -
- - - --
eg

- -
- -

- - -
nR

- - - -

- - -
- - -
U

-
- - - -
- - -
- -
-
--
-
- -
-
- -


-- -

- - - --
- --
--
--


--
- -- -

d
-- ---
-

re

- - - -
- - -
te
- - -
- -
-
is

- - -
eg





nR



-
U

- - -
- - -
- - -
- - -
- - -
- - -
- -

- --

- - -
- - -
- - -
- - -
- - -
- - -
- -

d
re
-
-- - -
-
te
-
is

eg

-

nR

-
U


-- -

-- - - -
-
-- - - -
-

re
te
-
- - - - -
is
- - -
- - - -
- - - - -
eg

- -
-- - -
nR

- - - - --
- -
- - -

U

- - - -
- -
-- -- - -
- - - -
- -

- - - - --
-- -
- - - -

- --

- -
-
-- -
- - -
- - -
- -

- - -- -

- -- - - - -
- - -

d
- -
- --

re
- -
- --

te
- -- - -
- - --
- - - - --
is
-- - -

- -
eg

- -- - - -
-- -- - -
nR

- -- - - --- -
-- - - -

- - -
U

- - - - - -
- - - - --
- - --- -

-
- - -
-
- -
- - -


-- -

- -
- - - -
- -
- - -
- -
- - - - -- -
- - - -- - -
-- - -
- -
-- - -
- - -
-
- - - - -

d
-
- - - -

re
- - - - -
- - - - -
- - - -
te
- - - - -
- - -
is
- - - -
- - - - -
-- -- -
eg

- - - -
nR
U

- --

- - -
- -- - -
- - - --
- - - - -
- - - - - -

- - -

d
re
te
is
eg

- - - -
- - -
nR

- - - - -
-

-- -- - - -
-
U

-- - -

- - - --
- - - - -


-- -

- - -
- -

- - - -

- -
- -- - - --
- -- -
- - - - -
-
-- - -- --
-- - -

d
- -
-- - - -

re
- - - --
- - - --
-

te
- - - -- - - -
- - - --
-
is
-- -- - - -
-
- -- -
eg

- - - - - -
- - -
- -
- - - --
nR

-
- - - -
-- - - - -- -
- - -- --
- - - - - -
U

- --

-- -- -
- - - - - -
- - - - - -
-- - -
- -

--
-- - -- - --
- - -
- --

d
-- -- --
- - - -- - -

re
- -- --
- -- -
-- -- -
te
-- --
is
-
eg
nR
U


-- -

- -
- - - -
-

d
re
te
is
eg
nR
U

- --

- - -
-- - -

- -

- -
-- - - -
- -
-

d
- - -
--

re
-
- - -
te
- -
-
is

- -- - - --
eg

- --

- -
--
nR

--

- - -
U

- - -
--
-

- - -
- - - -
- -- - -
-


-- -

- -

- - -
- - --
- - - --
- - -
--
- -
- --
--
- - -

d
- - -

re
- - - -

-

te

-- - -
is
-- -
-
-- -
eg

- --

--
nR

-- -- --- -
- - --
- - -
- - --
U

-- -

- --

- -

d
re
te
is
eg
nR
U


-- -

- - -
- - - -

-
- - --

-- -- - -
-
-- -- - -
-- - -

- - -

d
re
- -


te
- -
- - - -
is


eg





nR


- -
- - -
U

- - -

- - -
- ---
- - - -
- -
-- -
- -
-

- --

- -

- -
- - -
- -

-
- - - -
- -
- - -

d
- - -

re
-
- -

--
te
-

- -
is

- -
eg

- - -
-- -- -
--
nR


--


U

--
- --
-
-- ---
-


-- -

- -




- -
- -
- -
-

re


- - -
te
- - -

is
- - -
- - - -
-
eg

- - -
- - --
- - - --
nR

- - -
--
- -
- --
--
U

- - -
- - -
- - - -

-

- --

- -

-- - -
-- -
-
-- -
- --

-- - -
-- -

re
- - - --
-- --
- - -
te

-- - -
- --- -- -
is
- -- - -

eg

-- - -
--- -
- --
- -- -
nR

-- -- -
-
- - -
- - -
-- - - -
U

--
-- --
- - - -
- - --
- - -
- - -
- - - -- - -


-- -

- - --
- --- - --

-- -
- - -

-- - -
- -
-- -

d
re
te
is
eg
nR
U

- --

- - -
-- -
- -

- -

- -
-- - -
- - -

d
-
-

re
-

- - -
te
--

-
is
- - -

- -
eg

-

- -- - - --
-
nR

--


-
U

-


- - -
- - -
--
-


-- -

- -

- - -
- - - - -
-- - -
-

- - -
- - --
- - - --
- - -

d
--
- -

re
- --
--
- - -
- - -
te
- - - -

is
-


eg

- - - -
- -
- - -
nR

-
- -
--
-
U

- - - -
- - -
- - -
-
- -
--
-
- -
- -
-

- --

- -

- --
- -
- -


-

d
- - -- - -
-

re
- -
-
te
- -

-
is
- - -
eg

- -
- -
- -
- -
nR

- -

- - - - - --
- -- - -
- - -
U

- - - -
-


-- -

d
re
te
is
eg
nR
U

- --

- -
-- -

- -
- - - -
-- -

d

-

re

- -
- - - - -
te
- -
-
is
- -
-
eg

- -- - - --
- - -
- -
nR

- -

-
U

- -
- - -- -
-

-- -
-- - -


-- -

-
- -
- - - -

-

- -

d
- --- -
--

re
- -
-

- -
te
- -

-
is
-
-
-
eg

-


nR

-- - -- -

-
- - -

U

--

- - -
- -
-- --
- -

- --

- - -
-
-
- -
-
-

- - -

re
-- - -

- - - -
te
- - -- -
-- - - - -
- - -
is
- - - -
-
-
eg

- -

-
nR

-- -
-- -- - -
- --
- -
- - - --
U

-
- - -- - - - --

- - - -
- - - -- - - --
- - -
- - - - -- - -
--


-- -

- - -
- - - - -- - -
--
- - -
- - - - -- - - --

- --
- -- -
- -
- -- - - -
- - - -- - -

d
-
- - -

re
-- - - -
--

- - - -
te
-
- - - -- - -
- - -
is
- -
-- -
eg

- -- - -
- - -- -
--
- - --
nR

-- - - - -
- -
-- - - -
-- -

U

--
- -- -
- - - -
- --
- - - - --
-
- ---
- -

- --

- -
- - - - -
- - -
-
- - - -
- -
- -- -
-
- - - - -
--

d
- - -
-

re
- -- --
- - -
- -- -

te
- --
- - -
- -
is
- - - -

- -- - - -
eg

--
- -- --
- -

nR

- -
-- -- -
- -
-

U

-- - -
- - - - - -
- - -
--


-- -

-- --
-- --
- -- - - - -- -- -
- - -
-- --- - --
- -
-- - -- --
- -- -

-- -

d
re
te
is
eg
nR
U

- --

- -- - -
-- - -- -

-- - -

- -
-- -- - - -

d
-

re
- - -
-- --


te -
- - -

- -
is
-

eg

- -- - - --
- -- --


nR


-
--

U

--

- -


- -

-
-- -
-- -


-- -

-- - -

-- - -
-- -
--
--
--
--
--
--
--

d
--

re
- -- -- -
- -- - -
-
te
- - - -
--
- -
is
-
-
eg

-- -- - -
-- -
- -
- --
nR

- - - -

-- -- - -
-- -
- -
U

- - --
- - - -

- --

-- - - - -- -
- -- - - - -- -
-




-

---

- -

d
-- - -
- - -- -

re
- - -- --
-- - - --- - -- - -
- - -- -
te
- -- - --
- - - -- -
- -- --
is

--
eg

-- --

--
nR

--

--

--
U

--

--

--

--


-- -

-- - -
-
-- -- -- - -
- - - -
-
- --- - -- -
- - - -
- - - -
- - - -
- - - --
- -

d
- - - -
- - - - - - - -

re
-- - - -
- - - -- -
-

te
- - - --
- -- -
- - -
is
-- - ---
- -- - --
- - -
eg

--- -- -
- --
nR

-
- --
-- -

--
U

-- --

- --

-- -

-- -
- -
- --- - -- -
- - - -
- - - -
- - -
- - - - -
- - - -- -
- - - - -

d
--- --- - - -
-

re
- - --
-- -- -
te
--
is
-- --


eg


nR

-- -

- --- - -- -
- - - -
U

- -- - -
-
- --- --- -


-- -

-- -- - - -
- -- - -
-- - --

--

-- --

-- -

- --- - -- -

d
- - - -
- -- - -

re
-

-- - -- - - -
te
- -
- - - -
- - - - --
is
- --

--
eg

-- --


nR

-- -

- --- - -- -
- - - -
U

- -- - - -
- - - -
- - - -
- -- - - --
-- - - -
- --
- -- -- -
--

- --

-- - --- --
- - -- - - -
-- -- -

--

-- --

re

te

--
is
-- -
eg

--- -

-- - - -
- -
nR
U


-- -

-
-- -- - --
- - - - -
---
- -- --- -- -
-

- - -
- - - -
-
- - -

d
---

re
-
te
is
eg
nR
U

- --

- -
- - -

-
-
-

- - -

d
- - -

re
- - - -
te
-
- - - -
is
- - --
eg


- - - - -
- -
- -
nR

- - - -
-
- - -
- -- -
- - -
U

-- - - --
- - -
-- - - - --

- --

- -- - - -

- - -
- - -


-- -


- -- - - ---
- - - --
- -- - -
- -

d
re
te
is
eg
nR
U

- --

-
- -- -

- --
- - -
- - -

- - -- -
- -
--- - - -
-- ---
- -

d
- -

re
te
- - -
-- - -
is
-
eg


-

nR

---

---

U


-- -

re


te
- - -
is

eg

-
- -
nR

- --

- - --
-


-

-

d
-

re

-

te

--
-
is


eg


-
-
-
nR

- -

-
-

U


- -
- - -


-- -


-- - - - -- --
- - -
- -

d
re
te
is
- -
-- -
eg


nR

- -
-

U


-
-

- - -
- - --
- -

- --


-- - - - -
- - - - -
-
- - - -
- - -
- - -

- - -

re
te
is
eg
nR
U


-- -

- -
-- -

- - - --
- - - -

d
-

re
- - - --
- - -
-
te


-
is
- -
-
eg

- -

- --
nR

- --
-
- --
- --
-
U

- --
- --
-
- - -
- - --
- -

- --


-- -- - - -
- -

d
re
te
is
- -
-- -
eg


nR

- -
-
-
U

- - -
- - --
- -


U
nR
eg
is
te
re
d


-
- -- - -

d
--- - - - -
- - -

re
- -

-
te
- -- -
- -- -
is
- - - -
- - -- -
eg

- -


nR

---- --- -
- - -- -
-- -
-- -
-- - -- - - -
U

- - -- -- - --
- - - -
- - - -
- --

209
PCI Express System Architecture

- - --
- -

- - --

- - - - -
- - - - -
- - -

re
Memory, I/O, Configuration R/W Requests or Message Requests or Completions
te
(Software layer sends / receives address/transaction type/data/message index)
Software layer
Transmit Receive
is
Transaction Layer Packet (TLP) Transaction Layer Packet (TLP)
Header Data Payload ECRC Header Data Payload ECRC

Transaction layer
Flow Control
eg

Transmit Receive
Virtual Channel
Buffers Buffers
Management
per VC per VC
Ordering

Link Packet DLLPs e.g. DLLPs Link Packet


nR

Sequence TLP LCRC ACK/NAK CRC ACK/NAK CRC Sequence TLP LCRC

Data Link layer De-mux


TLP Replay
Buffer
TLP Error
Mux Check
U

Physical Packet Physical Packet


Start Link Packet End Start Link Packet End

Physical layer Encode Decode

Parallel-to-Serial Serial-to-Parallel
Link
Differential Driver Training Differential Receiver

Port
Link

210
Chapter 5: ACK/NAK Protocol

-- - -
-- --
- -
-- - - - -
- -
-
- - - -
--- - -
- - -
-- -- -
---
--

d
- - - -
- -

re
- - - - -
-- -
te
- - - -
- -


is
eg

Transmit Receiver
Device A Device B
From To
Transaction Layer Transaction Layer
nR

Tx Rx

TLP DLLP DLLP TLP
ACK / ACK /
Sequence TLP LCRC NAK NAK Sequence TLP LCRC
U

Replay
Buffer De-mux De-mux

Error
Mux Mux Check

Tx Rx Tx Rx
DLLP
ACK /
NAK

Link

TLP
Sequence TLP LCRC

211
PCI Express System Architecture

-
- -
-- - --
- -- -
- - - --
- -

d
To Transaction Layer

re
From Transaction Layer
Transmitter Device A
Yes - Block TLP, report DL Receiver Device B
Layer protocol error

Increment
Good TLPs
TLPs (NTS-AS) mod 4k >= 2048 ?
te
Assign NEXT_RCV_SEQ (NRS)
TLP = NRS
NEXT_TRANSMIT_SEQ (NTS)
Seq. Num.
Increment TLP < NRS (Duplicate TLP) Seq. Num. Check
is
TLP Seq. Num (>, <, =)
TLP > NRS (Lost TLPs)
NEXT_RCV_SEQ (NRS) ?
LCRC Generator REPLAY_TIMER
NAK
REPLAY_NUM Pass
Increment
eg

Reset Fail LCRC Check ?


Replay Buffer Purge Older TLPs Schedule
Schedule
ACK
Update ACK_SEQ (AS) NAK
Yes Receive Buffer
No (Forward Progress) NAK_SCHEDULED
Replay
AckNak_Seq_Num Check
NAK
nR

AckNak_Seq_Num =
Yes
ACK_SEQ (AS) ? ACK/NAK ACKNAK_LAT
Pass Generator _TIMER
Fail
Discard ACK/NAK CRC Check ? ACK/NAK
DLLP
U

Link

TLP TLP TLP

212
Chapter 5: ACK/NAK Protocol

- -
-- - -
-- -- - -


-- - -
- - -
- ---
- -
- -

d
- - -

re
--- - -- -
- -
- -- -
te

- - -- -
is
- - -
- - - -
eg

- -


nR

- -
- -
-- -

U


- -- -

- - -
- - -
- - -
- -
- - - - -
-- - - -

213
PCI Express System Architecture


- - - - -
-- - -
- - - -
- -- - -
- - -
-- - - -
- -
- - -
-

d
- - - -- -

re
- - -
- - - -
-
te


- -
is
- -
- - - -
eg

- -
- -
- -

nR

- - - --
- - -- -
-
U


- - - -
- -- - - -
-

- - -
- - -
- - - -
- - -

214
Chapter 5: ACK/NAK Protocol

-- -
- -
- - -
- - - -
- -

- - --

From Transaction Layer


Yes - Block TLP, report DL
Transmitter Device A Layer protocol error

d
re
TLPs (NTS-AS) mod 4k >= 2048 ?

Assign
NEXT_TRANSMIT_SEQ (NTS)
Seq. Num.
te
Increment
is
LCRC Generator REPLAY_TIMER
NAK
REPLAY_NUM
Increment
eg

Reset
Replay Buffer Purge Older TLPs

Update ACK_SEQ (AS)


Yes
No (Forward Progress)
nR

Replay
AckNak_Seq_Num Check
AckNak_Seq_Num =
Yes
ACK_SEQ (AS) ?
U

Pass
Fail
Discard ACK/NAK CRC Check ? ACK/NAK
DLLP

Link

TLP TLP TLP

215
PCI Express System Architecture

-
-- - --
-- - -


-- -
- - -
-- - - - -
-- - - -
- - - -

d
- - - - -
- - - - -

re


te
- - - - -

is

eg

- -
- - -
- - -
- - -
nR

- -
- -

- - -
-

- -
-- -
- - --
- -
- - - -
- -
-

216
Chapter 5: ACK/NAK Protocol

- - -
- - -
- -
-
- - - -
- -


- - --
- - -- -
-- - - -
- -

d
- - - - -
- -

re
- -- -
- -

te
- - - -
- - -
is
-- - - --- -
- - - - -
eg

- - - - -


nR

- -
-

-
U

217
PCI Express System Architecture

- --

To Transaction Layer
Receiver Device B

Increment
Good TLPs

NEXT_RCV_SEQ (NRS)
TLP = NRS

d
TLP < NRS (Duplicate TLP) Seq. Num. Check
TLP Seq. Num (>, <, =)

re
TLP > NRS (Lost TLPs)
NEXT_RCV_SEQ (NRS) ?

Pass
te
Fail LCRC Check ?
Schedule
Schedule
ACK
is
NAK
Receive Buffer
NAK_SCHEDULED
eg

NAK

ACK/NAK ACKNAK_LAT
nR

Generator _TIMER
ACK/NAK
DLLP
U

Link

TLP TLP TLP

218
Chapter 5: ACK/NAK Protocol


- -
-- -

+0 +1 +2 +3
7 6 5 4 3 2 1 0 7 6 5 4 3 2 1 0 7 6 5 4 3 2 1 0 7 6 5 4 3 2 1 0

d
0000 0000 - Ack
Byte 0 0001 0000 - Nak Reserved AckNak_Seq_Num

re
Byte 4 16 Bit CRC te
-
is


eg

-

-

nR

-


-
U



-- -
-


-
-
-
- -

219
PCI Express System Architecture

-
-

- -
- - -

d
-

re
- - -- - --
- - - - -
te
- - - -
--
is
- -
eg

- - - - -
- - -


nR

- -- - -
- -
-
U

- - -
- - - - - -
- - -
-

- --
- - -

220
Chapter 5: ACK/NAK Protocol


- - - -
-


-- --
-- -
- -- --
- - -
-

d
- - -
- - - - -

re
- - -
- te
- - -
- -
-
is
- - - -
- -
eg

- - -- -
- - - -
- -
-
nR

- - -
- ---

- -
- ----
U

-
- -


- - - -
-
- -
- - - -

221
PCI Express System Architecture

-- --
- - - -
- - - ---
- ---
-

- -
- - -- -
- -
- - -
- - -
- -- -

d
- - - -

re
-- --

-
-
te
- -


is
-
-
eg

- - -
- -
-
- - - -
nR

- -

- - --
- --
U

-- - -
- - - - - -
- - -
-
- - -
-

-

222
Chapter 5: ACK/NAK Protocol

-
- --
- - -
- -

From Transaction Layer To Transaction Layer


Transmitter Device A Receiver Device B

Replay Buffer Receive Buffer


3 Earlier TLP
4

d
ACK/NAK 5 Later TLP
Generator

re
Later TLP 7
6 ACK
5 5
4
te
Earlier TLP 3
is
Link
eg

7 6
nR

- -- -

-- - -
U

- - - - - -
- - -
- -
- - -
-

-
-
- --

223
PCI Express System Architecture

- -

From Transaction Layer To Transaction Layer


Transmitter Device A Receiver Device B

Replay Buffer Receive Buffer


4094 Earlier TLP
4095
ACK/NAK 0
ACK Generator 1 Later TLP
Later TLP 2

d
1 1
0

re
4095
Earlier TLP 4094 te
Link
is
2
eg

-- --
- - -
nR

- - - -
-
- - -
- -
-
U

-- --

- -
-
-- - - -
-

224
Chapter 5: ACK/NAK Protocol


- -- - -
- - - -- - -
- - -
-
-
- - - - -
- -


- - - -- -

d
- - - -- - - -
- - - -

re
- - - --

- -- -
- - - -
te
- - - --
- - -

is
-
eg

- - - -
- -
-
-
nR

- --
- - -
U

-- -
- - - - - -
- - -

-
-
-
--

225
PCI Express System Architecture

- - - -
- -
- - - -
- - -

- -

From Transaction Layer To Transaction Layer


Transmitter Device A Receiver Device B

Replay Buffer Receive Buffer


ACK/NAK 4094 Good TLP

d
4095 Bad TLP
Generator
0 Good TLP

re
Later TLP 2
1
0
4095 NAK
te
Earlier TLP 4094 4094
is
Link
eg

2 1 0 4095 2 1
Replayed TLPs TLPs still in route
nR

- - -
- - - --
-
- -
U

- - -
- - - - -
-
- - -- - - -
-- -
-- - - - -
- - -
-- --- -
- - -

226
Chapter 5: ACK/NAK Protocol

- --
- - -
- -
-
- -
--
- - -
-- - --
- - -- - --
- - --- -

- - -- -
- -

d
- -
- -

re
-- te
- - -
- - - - --
- -
is
- -
- -
- - - -
eg

-- - - - -
-
nR

- - -
- - - - -
- -
-
- -
U

- - -
- -- -
-
-
-

-
- -- -
-

227
PCI Express System Architecture

-- - -

- - -

-
- - -

d
- -
- --

re
- - - - --
- --
- - -
te
- - - -
- -
-- - -
is
- - - - -
-

eg

- -
- -
--
- - - - - - -
nR

-- - -
- -- - -

- -
-- -- - - -
U

228
Chapter 5: ACK/NAK Protocol

Max_Payload X1 X2 X4 X8 X12 x16 X32


Size Link Link Link Link Link Link Link
128 Bytes 711 384 219 201 174 144 99
256 Bytes 1248 651 354 321 270 216 135
512 Bytes 1677 867 462 258 327 258 156
1024 Bytes 3213 1635 846 450 582 450 252
2048 Bytes 6285 3171 1614 834 1095 834 444

d
4096 Bytes 12,429 6243 3150 1602 2118 1602 828
The table summarizes values calculated using the equation, minus the

re
Rx_L0s_Adjustment term
Example: Assume a 2-lane link with a Max_Payload of 2048 bytes.
te
(Max_Payload_Size + TLP Overhead) * AckFactor + Internal Delay *3
LinkWidth
is
(2048 + 28) * 1.0 + 19 *3 = 3171 (about a 12.7uS timeout period)
2
eg

-
- -
nR

- - - -
- -
-- - - -
- - -
U

-- -
-

- - - --
- -- - - - -
- - - -- -
-
-- - -
- -

229
PCI Express System Architecture

-
- - - -

-
- -
- - - - - - - -
- - -- -
- - - - -
- - - -

d
-

re

- - -
te
- - -
- -
- - -
is
- --
- - - -
- - - - -
eg

-
- -
nR

- - -
- - - -
-
- -
U

--
- -
- -
- - - - -
- - - - -
- -
-
- - - - -
- -

230
Chapter 5: ACK/NAK Protocol

- -- -
-
--
- - - -
-
- -
-


- - -

d
- -

re
- -
-- -
-- - -
- -
te
-
- -
- - -
is
-
eg

- - --
-
- -
- - - --
nR


- - -
- - -
- -
- - - - -
U

- -
-

231
PCI Express System Architecture

-- -
- - - -
- - - -
- -
- -
- - -
-

- - - -
- - - - -
-
- - -
-

d
- - - -
- - -

re

- -
te
-- - -
- - - - - -
is
- - -
- - -
eg

- - --- -
-

- - - -
nR

- --

U

232
Chapter 5: ACK/NAK Protocol

From Transaction Layer To Transaction Layer


Transmitter Device A Receiver Device B

Replay Buffer Receive Buffer


4094 Earlier TLP
4095
ACK/NAK 0
ACK Generator 1 Later TLP
Later TLP 2
1 1

d
0
4095

re
Earlier TLP 4094
te
Link
is
2
eg


- -
nR

-
- - --
- - -
- -
U

-
- -
-
-- - --
- -
- -- -

-- -
- - - - - -

233
PCI Express System Architecture

- --- -
- -
-- - - -
- -

-
- - -
-- - -
- - - - - -
- - -
-- - - -

- -

d
- - -
- - -

re
-
- -
- -
te
- - - -- -
- -

is
- -
- -
eg

-
-- -

- - - - -
nR

- - --
- -

--- -
- -
---

- -
-- - - - -
- -
- -
- - -
-

234
Chapter 5: ACK/NAK Protocol

- --
- - -- -
- - - -
- - - -
- - -
-- -
- --
- - -
- -- -
- - - - - -
- -- --
- - -
-- - -

d
-- - - -
-- - -

re
- -

-

te
-
- - -- -
- -- -
is
- - - -
- -
- - - -
eg

--
nR

-
-- - - - -
- - -

- - - - -
U

--
- -
- - -
- - - -
- -

- -- -
-
- - -
- - - -

235
PCI Express System Architecture

- - - -
- - - -
- - - -- -
-
- - - -
-- - -
-- - -


- --

d
-- - -
- - - - - -

re
- - - -

- - - -
-
te
- -

- - -
is
--
- -- - -
eg

-
- - -
- -
-
nR

- - - -
- -
- - - - -
- - - -
-
U

- -
- - - -
-
- - - - -

236
Chapter 5: ACK/NAK Protocol

- - -

From Transaction Layer To Transaction Layer


Transmitter Device A Receiver Device B

Replay Buffer Receive Buffer


ACK/NAK 4094 Good TLP
4095 Bad TLP
Generator
0 Good TLP
Later TLP 2

d
1
0

re
4095 NAK
Earlier TLP 4094 4094
te
Link
is
2 1 0 4095 2 1
eg

Replayed TLPs TLPs still in route

-
nR

-- -
- - - - -
- -
- --
U

- -
--
-- - -

-- -- - -

-- -

-
- -

237
PCI Express System Architecture

-
- - -- -
-- - --
- - -


-

-- - - - -

d
- - -

re
-
- -
- -
te
- --
- - - - --
- - - - -
is
- -
- - - -
-
eg

-- - - -
- - - -
-

nR

- -
- -
--
- - - - - - -
-- - - -
U

- -- - - -
- -
- - - -

- - -
-


- - -- -- - -
-

238
Chapter 5: ACK/NAK Protocol

Max_Payload X1 X2 X4 X8 X12 x16 X32


Size Link Link Link Link Link Link Link
128 Bytes 237 128 73 67 58 48 33
(AF=1.4) (AF=1.4) (AF=1.4) (AF=2.5) (AF=3.0) (AF=3.0) (AF=3.0)
256 Bytes 416 217 118 107 90 72 45
(AF=1.4) (AF=1.4) (AF=1.4) (AF=2.5) (AF=3.0) (AF=3.0) (AF=3.0)
512 Bytes 559 289 154 86 109 86 52
(AF=1.0) (AF=1.0) (AF=1.0) (AF=1.0) (AF=2.0) (AF=2.0) (AF=2.0)
1024 Bytes 1071 545 282 150 194 150 84

d
(AF=1.0) (AF=1.0) (AF=1.0) (AF=1.0) (AF=2.0) (AF=2.0) (AF=2.0)
2048 Bytes 2095 1057 538 278 365 278 148

re
(AF=1.0) (AF=1.0) (AF=1.0) (AF=1.0) (AF=2.0) (AF=2.0) (AF=2.0)
4096 Bytes 4143 2081 1050 534 706 534 276
(AF=1.0) (AF=1.0) (AF=1.0) (AF=1.0) (AF=2.0) (AF=2.0) (AF=2.0)
te
is
-
- - -- -- -- -
eg

- - --
- - - - -
- - - -
-- -
nR

- --- - --
-- -

- --
U

- - -
- -
- -
- - - -
-
- - --

--
- - -

239
PCI Express System Architecture

- -
- - -
- -
- - -
- -- - - -

- - -- --
-- -
-
- -
- - -- --
-- -
-

d
- - - -
- -

re

-
--
te
- -
- - - -

is
- -
- - -
- - - --
eg

- - -
- -- -- -
- - - -
- - - -
nR


- -

- -
U

240
Chapter 5: ACK/NAK Protocol


--- -
-

-
-
-- - ---
- -

d
- -- -

re
- - - -
- - - -

te
- - - - -
-
-
is
-- - - - --
- -
eg

- - - -
-
-
-
nR

- -
- ---
- - -- --

-- - -
U

- - --
- - -
- - - -
-

241
PCI Express System Architecture

-
-- - - - - --
- -

- -
- -- - -
- - - -
-
- -
- -
- -
-- -

d
-
- -

re
--- - --
- -
-
te
- - - -

- - - --
is
- - - -
- --- -
- - -
eg

- -
- --

- -
nR

-
- -
- - -- -
- - - - -
- - -
- -
- -

242
Chapter 5: ACK/NAK Protocol

- -- - -

-
--- -
-

- - -
- -
-
- -

d
- -
- - -

re
-- - - -
- - - - - -
- - -
te
- - -

is
- -

-
eg

- -
- -
---
---
nR

-
-
-
- -
- -
U

- -
- -
- -
- - -
- - -

243
PCI Express System Architecture

-
- - - - -
- - -
- -

-- -
----



----

d
- -
---- -

-
re
te
-
-
is

-
eg

- --
- -
nR

-- -
- - - -
- - -
- -

U

- - -

- -
- -
- - -

-- --
- -
-
-

244
Chapter 5: ACK/NAK Protocol

From Transaction Layer To Transaction Layer


Transmitter Device A Receiver Device B

Replay Buffer Receive Buffer


ACK/NAK 4094 Good TLP
4095 Good TLP
Generator
0 Good TLP
Replay
Later TLP 2 NEXT_RCV_SEQ
1

d
ACK =1
0 0 2
4095

re
Earlier TLP 4094 0
NAK
te
Link
is
2 1
Replayed TLPs
eg

-
nR

- --
-

-- -
U

- - - -
- - -
- -
- - - -

- -
-
- -- - -
-
- - -

245
PCI Express System Architecture

- -
-
- -

- - - -
- - --
- - - -
- - -
- - - -

d
From Transaction Layer To Transaction Layer

re
Transmitter Device A Receiver Device B

Replay Buffer Receive Buffer


te
ACK/NAK 4094 Good TLP
4095 Good TLP
Generator
0 Good TLP
is
Purge
Later TLP 2 NEXT_RCV_SEQ
1 1 = 1, then
eg

0 2 3

4095
Earlier TLP 4094
ACK ACK
nR

0 2

Link
U

-
- --
-

-- -
- - - -
- - -

246
Chapter 5: ACK/NAK Protocol

-
- - - -

- - -
- - -

- -
- --
-
- -
-
-
- - -

d
-

re
-
-
te
-

From Transaction Layer To Transaction Layer


is
Transmitter Device A Receiver Device B
eg

Replay Buffer Receive Buffer


ACK/NAK 4094 Good TLP
4095 Good TLP
Generator
0 Good TLP
nR

Replay
Later TLP 2
Purge Good TLP 1 NEXT_RCV_SEQ
1 =2
0 Bad TLP 2
4095
U

Earlier TLP 4094


ACK NAK
0 1

Link

2
Replayed TLP

247
PCI Express System Architecture


-- -- - - -
- - - - -
-
- -

d
- - -- -
- --

re
-- - - -
- --
- - - -
te
- - - - -
-- -- - -
- - -
is
--
eg

-
-- -- -
- -- - - - - - -
-
nR

-- - -
- - -
- - - -
--- - -
U

-- - -
-
- -
- - - -
- - - - -
- - -

248
Chapter 5: ACK/NAK Protocol

-- -
- - - -
-
- -
- ---
- --

- - - - -

d
- -

re
--
- --
-
te
--- -
is
-- - - -
- -
eg

- - - - -

- -
- -- - -
nR

- - --
-
- - - -
-
-- - - -
U

- - -
-
- - - -- -

- -
- --
- - -

- - - -

249
PCI Express System Architecture

- -- -- - -
- - - --
- - -
- - - - -
- - - -- -
-- - -
- -
- - -
- - - -
- - - -

d
re
Error occurs te
1) 2) 4)
END TLP STP END TLP STP EDB TLP STP
EDB TLP STP
is
Switch Endpoint
5) Discard Packet
3) NAK 6) No ACK or NAK
eg
nR
U

250
--

-

d
- -
- - -

re
- - - - -
--- -
te
-
- ---- --- -
is
- - -- -
-- -
eg

-- -
-- - -- - - -
- - -- -- - --
- - - -
nR

- - - -
- --

---- --
- - -
-
-- - - - -
- - - -
-- - --
- - -- -
- - - --
- - -

251
PCI Express System Architecture


- -
- --
- - -
- - - -
- -- - -- --
-
-- -- - - --
- -- - - -
--

d
-

re
---



te
-
is
- -- --
-- - -
eg

--- -
- -


nR

-- -- - - - --- --
--
U

-- -- - - - - -
- - - -
-- -- - - --
- -
- - -- --
-- - -
- - -
-- -- -- - -

252
Chapter 6: QoS/TCs/VCs and Arbitration

-- -- - -- -- -
- -
- -
- - --
- - - --
--- -- - -
- - - - - -
--

-- -
-- -- --

d
-- - -- -- --
- -- - - -

re
- -
- - -- -
- - --
te
-

- -- -- --
is
- -- -- --
- - -- - -
eg

-- - --
-- -
-- -
-
nR

- - -- -- -
-- - -- - -- -
- -- -- - - -
- -- - - - -
U

- - k- - -
--- -- - -

-- - --
- -
- -- -
- - -
- - - -

253
PCI Express System Architecture

- -
-- -
-
-

-- -

d
re
te
is
eg
nR
U

254
Chapter 6: QoS/TCs/VCs and Arbitration

-- -
-- - - -
-- -- -
--- - -
- - -
- -- --

- - -- --
- - - - -- -
- -
- - - -

d
-- -- -
- -- - -

re
- -- -
-- -- - -
-
te
-
is
- - -- --
-- -
eg

- - - -- - --
-- - -- - --
- - - - -
- -- - - -
nR

- - - - -
- --

-
U

- - - -
-- -- - - -
- --
- - --
-- - - - -
- - -
- -- -- -- -
--- -

255
PCI Express System Architecture

--- -

- - - - -
- - - -- - -
- -
-- - --

--- -
-- - -
-- - -- -- -
- - - -

d
- - -- --
-- --

re
--



te
- -- - - -
- - - -- - - --
is
-- -- -
- - - - --
eg

-- - - -
-- - - -
nR
U

256
Chapter 6: QoS/TCs/VCs and Arbitration

-- --

d
re
te
is
eg

- -
- - -- -
nR

-- - - --
- - -
-- -
- -
--
U

----

- - - -
-- -- -
-- - -- -
- -- - - - -
- - -

257
PCI Express System Architecture

--
--
--
--
--

--
- - -- -- -
---
- - - -
- -- - - -

d
- - -
--- - -

- -

re
te
- - - -
--- - - -
- - -
is
- - -- - - -
-- -- -
- - - -
eg

- - - -
--- - -- -
-- -- -
nR
U

258
Chapter 6: QoS/TCs/VCs and Arbitration

d
re
te
is
eg

- -- - --
- - - - - -
- - - - -
nR

- - - -
-
U

-- - - -
- - - ---
-- --
- -
-
-

259
PCI Express System Architecture

d
re
te
is
eg

-- - -
nR

- - -- - -
- - - - -
- -- - -
U

- - -- - - - -
- - -
- -- - -
- - --
- -- - -- -
- --

260
Chapter 6: QoS/TCs/VCs and Arbitration

-- -
- -
- -- - - -
- -- - -

--- - -
- - - -
-- - - -
-

- -

d
re
te
is
eg
nR
U

261
PCI Express System Architecture

-- -
-- -- - - - --
- -- - -
--
- --- - --
- - - -
- - --
- ---
- --

re
te
is
eg
nR

- -- -
-- - - -- - - --
U

- - -

- - --
- -

-- -
- - - - --

262
Chapter 6: QoS/TCs/VCs and Arbitration

--

- - --

- -- -
- -- -

- - - -
- -- -
- - -
--

d
- -- -
-

re



te



is
- --
- -
eg

--
- --
-
nR

- - -
- -- --

- -
- - - -
- -- -
-- -- -
-- - --
- -- -
-- - --

263
PCI Express System Architecture

- - - -- -
- - --- -
- - -
----


- - - - -
-- - -- - - -
- - - -- --
- -
- - -- - - -

re
- - -
- - -- -- -

te
- - - -
-- - -- - --
is
- -
- -- -- --
-
eg

-- -
- --- - -
-- - -
nR

--- --
- -- - -
- --- -
- --
U

- -- - -
-- - -- -- -
- - - - -
- -

264
Chapter 6: QoS/TCs/VCs and Arbitration

d
re
te
is
eg

-- -
- - - - -
nR

- -

-
- -
- -- -
U

-- -
- -


- - - -
- - -
- - - - -
- - - -
- -- - -

265
PCI Express System Architecture

- -

- - - - - -
- -

d
re
te
is
eg

- -
- - -
- -- - -
nR

- --- - -- -
- -- -
- - - -
- - -
- -
U

- -

-
- --
- - --
-
- - -

266
Chapter 6: QoS/TCs/VCs and Arbitration

- - -
- - - - -
--- -


--
- - --
-
- - -
- - -
- - - -

re
te
is
eg
nR
U

- - -
- --
- - -
- - -

267
PCI Express System Architecture

- - -
- -
--

- - -
- - -
- -
- -
- - --
- - - -
- --

d
re
te
is
eg
nR
U

268
Chapter 6: QoS/TCs/VCs and Arbitration

d
re
- - -
te
- - - -
- - - - -
- - - - - -
is
- --- -
-- - -
- --
eg


- -
- - - -
nR

-
- - - -
-
-- - - -
U

--
- - - -- --
- - - - -
- -

- - - - -
- -
- - - - - --
- -

269
PCI Express System Architecture

d
re
te
is
-
eg

- - -
- - - - - -
- -
- - - -
nR

- -
- - -

- -
- - -
- - - -

270
Chapter 6: QoS/TCs/VCs and Arbitration

- -

d
re
te
is
eg
nR
U

---
- -
- - - - -
- - -
- - - - - -

271
PCI Express System Architecture

- -
- - -- -
- - -
- -- -
- -- -
- - -
- ---

d
re
te
is
eg
nR
U

272
Chapter 6: QoS/TCs/VCs and Arbitration

-
- - - -
- - - -
- - - -- -
-- - --
- -- - -
- - - -
- -- - -
-

--
-

d
-- - - -
- - -- -

re
- -
- - -
- - - -
te
-- -


- - - - -
is
- - - - - - -
- - -
eg

- - -
- -
- - -
- - -- -
nR

- - --
- -- -
- - --
U

273
PCI Express System Architecture

d
re
te
is
eg


- --
-- - -
nR

--
- --

-- - --
- -- -
U

-- - -- - -

- - -
-- --
- --
- -- - - -
- --
-- -- -
- - - -

274
Chapter 6: QoS/TCs/VCs and Arbitration

- - --
- --
- -
- - -- -
- - -- -

d
re
te
is
eg
nR
U

275
PCI Express System Architecture

d
re
te
is
-- -- - - -
- -- -
eg

- - -- -- -
- -- --
-
nR

-- -- -
- -
-- -
- - --
-- --
U

- -- -
- - - -- -- -
-- - --

- -- -
-

276
Chapter 6: QoS/TCs/VCs and Arbitration

d
re
te
is
eg

--
nR

-- - -
- -

-
--
U

--
--
- --
--

- -
- - - -
-- -- -
- -
- -

277
PCI Express System Architecture

- - - -

d
re
te
is
eg
nR
U

-
- -
- - - - -
- - - -
- - - - --
-- -- --

278
Chapter 6: QoS/TCs/VCs and Arbitration

-- - - - --
- - -- --


- - - -
- - - - -
--
- - - -- --
- -

- - - - --
- - - - -
- -

d
- - - ---
- -

re
- - -
-- - -
-
te
--
--
is
--
--
eg

- -
- - - -- --
- - -- -- --
-- - -
nR

- - -
- - - - -
--
U

-
- - - -
--- - -- --
-- - - -
- -
- - - -
- - -
- -

279
PCI Express System Architecture

- - -- - - - -
- - -

- - - --
-
- - - --
- --
-- -- -
--
-
- - - -
- - -

d
- -

re
te
is
eg

-
nR

- - --

- -
-- -- - -
U

-- --
-- - - - -
- - -
-- - - -- --
- -
- -- -


-
-
-

280
Chapter 6: QoS/TCs/VCs and Arbitration

- - - -
- - - -
- -
-- - - -

d
re
te
01b
is
eg
nR
U

281
PCI Express System Architecture


- - - -
- -- - --
- - - --
- -- -
- - -- -
---

- --
- -- - -
-- -

d
- - -- -
- - -

re
- --
- - -
-- - - -
te
-- - -
- -
-- -
is
-- - - -
- -
- - -- -
eg

- - - -- -
- --
-
- - -
nR

- - -
-- -- - --
- -
-
U

-- --- -
- --
-- --
- -
-- - --- -
- -

282
Chapter 6: QoS/TCs/VCs and Arbitration

d
re
te
is
eg
nR
U

283
U
nR
eg
is
te
re
d

-
- - --- --- -
-- - -- -
-- -

d
-- -
-- - -- - - -

re
- - -- -- - --
- - - -
- - -
te
- - --

is
-
eg

- ---- --
- - -
-
-- - - - -
nR

- - - -
-- - -- -
- -- - -
- - -- -
- -
U


---- - -- -
- - - --
--- -- -
- - - --
- - -
-- - -- -


-- -


- -- -
- - --
- - - - -
- - -
--
- - - -
- - - - - - -
- - - -
-- -

d
- -- -
- - - -

re
--- -- - -
- - -- -
- - --
te
-- - -
- - -- - - -
-
is
- -
- -- --
eg

- -- - - -
- -
- - - -
- -
nR

- - -
- - - -
-

- - -
U

- - --

--

-
- - -
- -
- - - -
- - -
- - - -

- - -
- - - -

- - -
- - -
- - -
- -

- - --
- - - -
- - -
- - -
- - -

d
-

re

te
is
eg
nR
U


-- -

-
- - -
-- - -
- -- -
- - - -
-

d
- - -

re
- -- - ---
- -- - -
- - -
te
- - -

- - - - -
is
- - -
- - - -
eg

-
-
-
nR

-- -- -- -
U

-- -- - - -
- - - -
- - - -
- -
- - -- - -
- - -

d
re
te
is
eg
nR

-
- - - -
U

- -
- -

- - -
- -
- --
- - -

- --
- - - -


-- -


-
- - - -
-

- -

- - - -
- - -

d
-

re
- - - - --- -
-
te
-
is
- - - -
- -- - -
eg

-- - -
- - -
- - -
- -- -
nR

-- - -
- --- -

-
U

- -- - - -
- -- --
- -- - - -
- - - - -- -
- - - -
- - -
- -- - -
- -

- -
- - -- -
-
- - - -- -
- - -
- - -
- - - -
-- - -
-
- -
- - - -

d
- -
- - -

re
-- - --
- ---
- - - -
te
-
- -
is
FieldSize FieldSiz e
CL CC + PTLP mod2 2 2
eg

-
nR

--

- - -
- -
U

- -- -
- - -- --
- --
- -

-
- - -
- -
- -
- - -


-- -

- --
- -
- -
- - - -

- - -
- - - - -
-- -
- - -

-- - -
-- - -

d
- - -
- -

re
-
te

is
eg
nR
U

-
- - - -
- - - - -
-

- - -

- - - -

-
-

d
-

re

- -
- --- - - -
- -
te
- -
is
eg
nR
U


-- -


- - -
- - - -
-- - --
-- -

- --
- - -- -
-- - - -- - - -
--

d
- -- - -- -
- - -

re
- -- - -

- -
te
- - --

- --
is
-
- - - -
eg


-- - - - -
nR

-
- - - --
- - -- -
- -
U

d
re
te
is
eg
nR

- - - -
- - - - -
- - -- -
- - - - --
-
U

- - - -
--
FieldSize FieldSiz e
CL CC + PTLP mod2 2 2

- - -
66h 00h + 01h mod2 8 28 2
66h 01h mod256 80h


-- -

-
-
- - - - --

- -
- -
- - -
- - - -
- - - - -
- - -
- -
- -

d

- - -

re
-
- -
te
- -


is

eg

- -
- - -
- - - --
nR

- -
- -- -
- - - - - --
- -
U



-



-

- - - -
- - - -
- - - -
-
- - --
- - - - --
- -- -
-
- -
-
- - - -

- -

re
-- - -
- - te
- - -
is
eg
nR
U


-- -

-
- -- -
-- - -
- - - -- -
- - -
-- - -

- - -
- - - -
-

d

- - -


-
re
te
-

- --
is
- - - - -
- -
- -
eg

- -
-- - -


nR

-
- -
U

d
re
te
is
eg

-
nR

- - - -
- -
- -
U

-- -
- -

-
- -
- - -
-- -


-- -

d
re
te
is
- - - - - -
- - - - -
eg

- - - -

-

nR

-

U


- -
- - -

- - - -
- - - - -

- - -
- - - -
- - -- -

-- - - -

- - - -

- - --
- - -

d
FieldSize FieldSiz e
CA CR mod2 2 2

re
- - - - -
- -
- - - -
te
- - - - -
-- -
-- - - - -
is
- - - -
- - -
eg

- - -
--

-
nR

-- -
-- - - -
- -
U

-- --
-

-- -
- - - -
- - - -- -
- - - -
-- - -


-- -

- - -- -
- - -- - -
-- - -
- - -
- -
- -- - - -
- - -- -- -
- - -- -
- -
-

- - -
- - -

d
- -
- - - - - -

re
- - - -

- --
te
- - - - -
is
- -
- - - -
- - -
eg

- - - -
-
- -- -
nR

--
- -
U

- - - - -
- - -
- - -

- - -- - -

-
-
- - -

--

- - -

- - - -- -

re

- -
- - --
te

- - -
is

- -
eg

-
-
nR

- -
- -
U

- - -- -
- - -
- -
-
-
- -
- -


-- -


- -- -
- -- - -
- - - --
--
- ---

-
- - - - - ---
- -
-- - -- -

d
- - - - -
-

re
-

- - - -
te
- - -

-
is
eg
nR
U


-- - --
- - - - -
-

- - -

- -
- -

d
- - -

re
- - - -
- - - - -
-- - -
te
- - - -
- - - - - - --
- - -- - -
is
- -- -
- - - - --
- -
eg

-
-- -

-
nR
U


-- -

- --

d
re
te
is
eg

-- - - -
- - - - - - --
- -- - -
nR

- - - - - -
- - --
- - --
- -
- - - - -
U

-
- -
-- - - - -
- -
- - - - - - -
- -
- - - -
- - - - -
- -
-

- -- - -
- - - -
-
- - -
- - -
-
- - - -- - -
- - - -
- - - -
-

- --

d
-- - - - -
- ---

re
- - - -
- - -
- - - -
te
-- - - -

-
is
eg
nR
U


-- -

- - - -
- - -
- - - - - -
- - - -
- --
- --
-
- - - - -
- -
- --
-
- - -

d
---

re
- - - - -
-


te
-
- - - --
- - - -
is
- -
- - - - -
-- -
eg

k-

-
nR


-
-
U

-
- -
- - - -
- --
- - - -
-- - -
- - -
- - - - -
-

- -
-
- --- --

d
re
te
is
eg
nR
U


-
- -
- -
- -
- -
- - -


-- -

d
re
te

is
- - - -- -
- - -
-
eg

- - - -- -
- - --
-- -- -
nR

- - --
- -
- -

- -
U

-
- -
-
-

- - -- - -
- -- -- - --
-
- -

-
- - -
- - -
- -
- - -- -
- - - --
-

--- -

- - - ---
-

d
-
- - -

re
- - -
- - -
---
te
-
--- -
is
- - --- - k-
- - - - -
eg

- k- -
- --- -

-
nR


- -
- - - -- -
- - - - -
U

-
MaxPayloadSize + TLPOverhead UpdateFactor- + InternalDelay
-----------------------------------------------------------------------------------------------------------------------------------------
LinkWidth


-
- -- -


-- -

- -
-
- - -
- - -
-- -



- - - --
-- - - - -

- - -
- - -

d
-- - - ---
- - - -

re
- - -- -
- -

- -
te
- - - - - - - -
-- - - -
--
is
- - - -
- - - -
eg

-
nR

- - - -
- - - -
- -- - - - -
-- -
- - -
U

k- - - k- - -
- - -
--- -- -
- - - - -
- - -
-- -

- - - -
k-

- - -
-
- - -
-

d
re
te
is
eg
nR
U


U
nR
eg
is
te
re
d
-

-
- --- --

d
- -
-

re
- -- - - - -
- - - -
-- - --
te
- - -- -
- - - -
- - - -
is
-
eg

- ---- - -- - -
- - --
--- -- -
nR

- - - --
- - - -
- -

-- - - - - -
- - -
- - - --
- - --
- - - -- -


-- -

- - -- -- - --
- -- -

- -- - -
-
- -
- --

-

re
-- - - - - -
- - - -
- --- --
te
-- - -
- --
is
- - -
- -
-
eg

--- - - - --
--- --
- - - - --- -
- --
nR

-
- -
-- - -
- -
U

-
- -- - - -
- - -
- -
- - -

-
- -
- - - - --
-

- - -
- - -
-

- - --
- -- --

d
- --
- -

re
- -
- - -
- --

te
- - - -
- -
-- - - - - --
is
-- -
-- - - -
- -
eg

-- --
-
- - - -
-- - --
nR

- --
-
- - -- -
- - - -
U

- - -- -
-- - - --
- - -- -
-
-- - -
--

- - -
- -
- --
- - - - --


-- -

-- -
-- - - -
- -
-- - - -- -
- -- -
- -- - - -
-- - --
- - --
- -- --
---

d
- - - --
---

re
-- --
- -- -

te
- - - -- -
- - - -
-- - --
is
- --
- -- - - - --
-- - - ---
eg

- -
nR

- - - -
- -- - - -
-
U

- -- - -
-- -
-- -- -
-- -- - -
-- -- - - -
- - - -- -

-- -
--
- - --

- - -- -- -
- - -
- - - -
- --
-


-- -- -
-- - - - --- -
-- -
-- - -

d
-- - - -

re
- - - -
- -- --
- - - -
te
-- - -
- --
is
- - -
- -
-- - --
eg

-- - - -
- -
nR

- - ---
-- -
-- -- - --
U

-- - - -- - -
- - - -
- - - - --
- -- - -

- -- - -
- - -- -- -
- -- -- - -
- - -- -- - -
- - -
- -- - - -


-- -

- - -
-- - - -
- --
- -- -
- - -
-- - -
- -- --
- --

- --

d
-- -- - - --
--- - - -

re
- -- -
- - -- - -
- -- - - - -
te
- - -

- - - - -
is
- -
-- - - -
- -- -
eg

- - --
- - -
- - - -
-
nR

- - -
- - --
-- - - - - -
- - - -
U

- - -
- - -
-
- - -
- - -

-- --

--

- -- -- - --

- -

-- - -
- -- -

-- - -- -

d
-- -

re
-
-- - - - - --
te
-- -- - -
- - - -
- -- -
is
-- -- - --
- - -
eg

-- - - ---
-

- -- - --
- - - - --
nR

- -- -
-- --- - -
- -- - --
-- -- --
U

- - --
- - -- -- -
- - - ---
- - -

- -
- - - -

- - -
- - - - - -
- -


-- -

- -

d
re
te
- -- - -
is
- - - -- -
- -- - - --
eg

- -

-
nR

- - -- -
- - - -
- --
- -
U

- -
- - --
- -- -- -
- - -
- -

- - - --
-
-


- -
- - - -- -
- - - -- -
- - -
- - - -
- - - - -
- - -
- - - -- -- -

d
- - -
-

re
- - - -
- - - -
te
- - - - - -
-
- - - -
is
- - - --
- -- - - -
- - --
eg

-- --
nR
U


-- -


- --- - - - -
- - - -- -
- - - --
-
-- - - -
- -

- - -
- - - -
- - -

d
- -

re
- - - -
- - - - -
- - - -
te
- - -
- - -
- - -
is
-- - -
- - -
eg

- - - -
-

- - - - -
nR

-- -
- -

U

- -
- - - - -
- - - - -
-- -
- - -
- -
-

-- - - --
- -
-- - -- - -
- --

-
-- - -
-- - -- - -
- - -
-

d
- -
- - - -

re
- - -
- - -
te
- - - - -
- - - -
- -
is
- --
eg

- - -- - - -
- - - - -

nR

- - - -
-
- - -
- -
- - - -
U

-
- -
- -
-- - -


-- -

d
re
te
is
eg

--
- - - -- - --
nR

- - --
- - --
- - -
- -- - --
-- -
U

- --
-- -- -
-- -
- - - - -
- - - -
- - - -- -
- - -- -
-- -

- -

d
re
te
is
- - -
eg

-- -
- -- --
-
-- -
nR

- - -- -
- -
-- - - --
-- --
U

-
- - -
-- -- -- -
-
-- - -- -
- --
-- -- - --
- -


-- -

- -- -- -- -
- -- - -
-
-- --
-- --
--
-- -
-- -
- -
-- - -- -
- -
- -- - --
-

d
- - --
-- -

re
- -- --
--
- -- -
te
- - - -
-- -
- -- - -
is
- - - -
- -
- --
eg

-
-
-- -- -- --
-
nR

-
-
-- -
-
U

- - -- -

-
- - - - -

-- --
- -- -
-- -
-- -
-

-
-
- ---- - -- - -
- - --
--- -- -

d
- - - --
- - - -

re
- -

-
te
-- - - - - -
- -
is
- - - - - -
-- - - --
eg

- - - -- -


nR

- - - -- -
-
---- - ----
-- - -- -
- - --
U

--- - ---
--- -- -
-- - -


-- -

-
- -- -
-- - - -
-- - - -
-- - -
- - - -- -

-- -- -
- -- - -- -
- - -

d
- -- -
-- - -- -

re
--- -- -- -- -
-- -- - - - -
-- --
te
- -- - - --

is
- - -- - -
- -
- - - -
eg

- - - -- - -
-- - --- - -
- - -- -
--- - -
nR

-- - - -

-- - -
U

- - -
--- - - - - -
- - - -
-- - - ---

--

d
re
te
is
eg
nR

-- -
U

-- - -
-- - -
- - - - - - -
- -

--
- --
---


-- -

- - -
- -
-

-
-- - - -
-- -- - - -
- - - -- -
- - -

--

d
-- -
-

re
--
- -
te
-
is
eg
nR

-
U

-- - --


- - - - - -


- - - - -
- - - - - - - - -
-

-- -
- -
-- -

-- -

d
re
te
is
eg

- -- -
nR

- -

- -
U

--
-
- -- -- - -
--
- -
-- -- - -
--


-- -

- -- -

- -

-- -- - -
-- - -
---
- -
- -
--
--
- - - - -

d
- - -

re
--- -



te


is

-
-
eg

-- - - - -
---
- -
nR

-- -
--- - -
--- - -
-
U

--- -






-
-

- -- -

- -

- -
- - -
- - -
- - --- -

- - -
- - - -

d
-- -- -

re
- -- -- -
- -- -- -- -
- - --
te
- -- -- -
-- - - - - - -
is
-- - - - - - -
- - -- -- - --
--
eg

- -- -- - -
-- - -- -- -
-- - - -
nR

- -- -- - -
-- - -- -- - --
- - -
-- -
U

-- - --- - --
- - -
- - -- -
-- -- - -

- - -
- - -- -
-- - -- -
- - - ---
-- -


-- -

-- - --
-- -
-- -

--
- -- -- -
- --

- - -- --
- - -- - -
- - -- - -

d
- - - -
- - --

re
- -- - -- --
- -
--- -- - --
te
-- - - - - -- -
-
- -- - -
is
- - - ---
--
- - --- --
eg

- --

- - - -- - -
- -
nR

- -- - --
- - -
-
U

--

d
re
te
is
eg
nR
U


-- -

-- -
-- - - --
- - -- - -
- - - - --
- - - - --
- -- --
-- --
- - - -- -
---

d
- - - --

re
- - -- - - -- -- -
-- - -
-
te
-
- -
is
- -
-
- - -
eg

- - - -
-- - -- -
--
-
nR

--
U

d
re
te
is
eg
nR

MSI Message Data 0000h


U

---
-- - -- -
- -- -- -
-- - - -


-- -

- --

---
- -- - -- -

-- - - --
-- -

- - -
- - --
-
- -
-- -- -

d
- - --

re


te

is
-- -- - -
-
- - -
eg

- --

-- --
- -
nR

- -- - -
- -- - --

- - - --
U

--

--
- -
-- - - -- - - --
- - - --
- --- -
-

- -
-- -- -

- -
- --
- - --


- -

- -
- - - -
- -
- -- -

d
-- - - -
-

re
- -
- -

- -- -
te
- - -
-
is

eg

- - - --
- - - - -
-- -
nR

--
- - - -- --
U

- - -

-

- -
- -- - ---
-- - -- - --
- --


-- -

- - -
-- -- - - --
- -- - -

- - -- - - -
- - -
-
- -- --
- - - -
-- -
- - -- - -
--- - - - -
- - -- --

d

- -- -- - --

re
--- - -


te
- - - -
- -- - - ---
is
-- -- - -
-
eg


nR

- - - -
-- - - --
-
-- - - -
U

- - -
-- - --
-

-
- --
- - -- -
- - - -
- -

-- - - - -
- -

-- -
- - - -
- -
- -
-- - - - - -
-

d
re
te
is
eg
nR
U

INTD#


-- -


-- - - - -
-- - - -

-- - - - -
- - - -- -
-- -
-
- - -- -
- - -
- - - - -
- - --

d
-

re
te
is
eg
nR
U

--
- --
- - -
- -
- -
- -
-- - -
-- - -
- -- -
- - -
- -

d
- - -
-- - - - -

re
- - -- -
- - - - - -
- - - - - -
te
- - - -
- - -
- - - - - -
is

eg

- -- -
-- -- -
- - - -- --

nR

-- - -- -
- - - -
-- - - - -
- - - -
U

- --

- - - -
- - - -- - - -


-- -

- - -
- -
- -
- - -
- - -- - -
-

- -

d
re
te
is
eg
nR
U

- - --
-- -
- - - -- -
- - -
- - - - --
-- - - - - - -
- - - -

- - -

d
re
te
is

eg

-- -- - - -
- - - - -

nR

-- - - - --
- - - -- -
- - - -- - -
-
- -
U

- -

- --- - -
-- -- -
--- - - -
- - - --
- --
- - - -
- - - -
-


-- -


-- -- --
- --
-- - - - - --
- -
- - - --- -
-- -- - -
- - - - -
---

-- --- - -
-

d
-- --- - -
-

re
- -- -- - -- -
- - --
- -
te
- - --- --
is
eg
nR
U

- -
- - - -
- - -- - -
- - - -
--- -
- - - - -
- -
- -- -
- -- - - -
- --- - - -- - -
- -

d
-- - - - --
- - - - - --- -

re
-- -- --
-- - -- ---
- --- - -- -
te
- -- -- - - --
- - -- -- -
- --- - - - - -- -
is
- - - --
-- --- - --
--- -
eg

- - -- - - ---
- - -
-
nR
U


-- -

-- -- --

d
re
te
is
eg
nR
U

--
- --
- -- - - --- -
- - - - - -
- -
-- - -- -
- --- - -

-- -

d
re
te
is
eg

-- -
nR

--- --

--

--
U

--
--

--

--
--

--


-- -

- -- --- --
-- - - -- --
- -

-- -- -- -
- -
-- - - --- -
- - -
- - -- --- - -
- - -
-- -- -- - -

- - - -

d
--
- - - - -

re
- -- - - - - -
- - -
-

te
- - -
-
- - -
is
- -- -- - -
- - - --
- - -- -
eg

-- -- - -

- -
nR

-- -- ---
- -
- - - --
U

-- - - -
- - -
- - - -
- - - - -
- - - -- - - ---
- -

- - -
- - - ---

- - - -
- - - -
-
- ---

-
-
-
-
-

d
- - - -
-

re
- --- - -
-- - --
te
- - -
-- -- --
is
-
eg

-- -- -- - -
-
- -
- - -
nR

- - - --
- - -

- - - - -
- -- - -- -
U

- --- -
- - - ---
-- -- - - --


-- -

-- - -

d
re
te
is
eg
nR
U



-
-- - - - - -

d
- -
- - - -

re
- - - -
-- - - - -- -
te
-
- - - -- -
is
- -
---- - ----
eg

-- - -- - -
- --
--- - --- --
- -- -
nR

- -


-- - --
U

- --
- --
- -- - - -
- -
- - ---

355
PCI Express System Architecture

- - - -
- - --- - - - -
- --- - -
- --- - -
-
- - -
- -
- - -- - -
- -

d
-- - -
- - -

re
- - -
- - -
-
te
- - -- -
- - -- --
- - - -
is
-- - -- - - -
- -
eg

- - - - - -
-
- - - -
nR

- - --
- - -

--
U

-- - -- - -
- - - -
- -

-- --
-- -- - -- --
-- -
- -- -

356
Chapter 10: Error Detection and Handling

- - - -
- -
-- - - -
- - - -
- -- -
- - --

--

d
re
te
is
eg
nR
U

357
PCI Express System Architecture

- -
- - -
- - -- - -
- -

-

- - --
-
- --
- -

d
- -

re

-
te
- -
- - - - -
-- -
is

eg

-
-
-

nR

- -
U

- - - -
- - --
- -

-
-

358
Chapter 10: Error Detection and Handling

--
-- - -- --
- -- -
- - - -
- - - -

-- - -
- - - -
- - -
-- - --
-- -- - - -

d
- - -- -
- -- -

re
-
-- -- -
- - -- --
te
- -- - -
- - -
is
- - - -
- -
-- -- -- --
eg

-- -
- -- --
-- - - -
- - --
nR
U

359
PCI Express System Architecture

-- --

d
re
te
is
eg
nR

--
- --- - - -
U

- - - - -
- - -

-
- - -
- -- -

360
Chapter 10: Error Detection and Handling

- - --- -
- - -
- - -
- - -- - - --
-- ---
-- - - --
--
- -

- -- -
- - - - -

d
-- - --

re
te
- - -
--- - -
- - -
is
- - - - - -
-
eg

-- - - -
- -
- - - -
- -
nR

- -
-
- - -
- - -
- -
U

-
- - - -
- - -- -
- -
- - -
- -
- - -
- - -
- -

361
PCI Express System Architecture

--
-
- -- -
- - -
- -- -
--

- - - --- - -

d
- - -- -
- - -

re
- - - - --
- -
te
- -
is
eg
nR

- - - -
- - - --
- -

- -- - -
U

- -- -
-
-
- -- -
-
- - - -
- - -
- - - -
- - -
- -

362
Chapter 10: Error Detection and Handling

- -- - - --
- - - - -
- --

- -
- -- -
- - - -
- - -

- -
--

d
-

re
-- - -
-- - -
te
- - - -
- - -- -
- - - - --
is
- - -

-
eg

-- --- -
- - -
- - -
- - --
nR

- -- -
- -
-- -
- -
- -
U

- - -
-- - -

-
--- --
- - - -
- - -

363
PCI Express System Architecture

- -
-- - - -
- -- -
-- - - -
- -

- - -
- - --
- -

- - -

- -

d
- - -
- -

re
- - - - - -
- - - -
- -
- -
te
- - -
- - -

is
-
-
eg

- - -
- - -
-
-
nR

-
- - - - -
-

- - - -
U

-
- - -
- - -
- - - -
-

364
Chapter 10: Error Detection and Handling

- -
- -
-- -- - --

- - - -

- - -
- - -
- - -
-
- - - --
- -
-- - --

d

- - -

re
-- -
-- -
---
---
te
---
---
is
---
- - --

eg

- -
nR

- - - -
- - - - - -
-- -- -- -
-- - - ---
U

--

- -
- - - - - -
- - - - -
- -- - -
- - - --

- -
-- - - --

365
PCI Express System Architecture

- - -- -
- - -- --
- -- - - -
--
- - ---
- -- - -
-
-- - -
- - -
- -
- -
- - -
- - - --

d
-- - -
-- - -

re
- --
-
- - -
te
- - -
- -- -
- -
is
-- - - - --
- - - -
-
eg

- -- --
- -- - -
- - -
- -- -
nR

- - -
-
- - - - -
- -
U


- - --
- -

- - - -
- - - - -
- -- - -
-- - -
-- - -

366
Chapter 10: Error Detection and Handling

-- -- -
- --- - - -
-
-- -- -
- - -- - -
--
-- -- - -- --
- - - -- -

-- - -
- - -- - - -
- - -
- -

d
- -
-- - --

re
- - -
-- - -
te
-- -


is
- - - -- -
- - - -
eg

- -- - -
- - - -
- - - -
- - -- --
nR

- -
- - -

U

-- - -


- --- - -
- - -
- - -
- - - - --
- -

367
PCI Express System Architecture

- - -
- -- - --

- -
- -- - -
- -- -
- -- - -

- - -
- - -
- - k-
- - -

d
-- -
- - -

re
- -
- - -
te
---
- --- - - -
is
- - - - -
- - -
eg

-
- - -
- -- -
nR

- - --- -
- - -
- - -
- - -- - - --
U

-- - - --
-- - - -

368
Chapter 10: Error Detection and Handling

-
- - - - - -
- -
- - - - -
- - -


- --
- -- --- - -
- - -- -

d
re
-
- -- -
te
- - - -
- --
-- -
is
--
-- -- -- - -
eg

- -- - -

-
nR

- -- -
- - -
- - -- -
- -- -
U

- - - -
- - - -
- - - -
-

369
PCI Express System Architecture

-
-- - - -

-- -- - - -
-- - - -

- - -

---

d
- --- - - - --
- -- - -- -- ---

re
- -- - -
- ---
-- - -
te
-

-- --- - -
is
-- - --
- -- - - -- -
- - - --- -
eg

- ---
nR
U

370
Chapter 10: Error Detection and Handling

-- - -

--
-

- -- -

- -

- -

d
re
-
-- - --
te
- - - -
-- -
- - -- - -
is
- ---
eg

-
nR
U

371
PCI Express System Architecture

- -

--

- -
- -

d
-

re
- - - -
-- - -- - -
te
- - -
--
is
-- -
--
eg

--
nR

-- - -- -
-- - - - --
- - - -
- -
- --
U

-- - - -
- --
- -- -- -
--

- -

-

372
Chapter 10: Error Detection and Handling

- - - --
- - -- --
- - - - - -
- - ---

- --
-- -
- - - - -
- - - -

d
re
te
is
eg
nR
U

- -

- -
-- --- ---
- -

373
PCI Express System Architecture

- -

- - - - -
-- - - - - -
--
- -- - -

-- -- -
- - --
- - - -

d
- - -

re
te
is
eg
nR
U

- - - - -

- -
- - -
- - -- -
-- - - -- -

374
Chapter 10: Error Detection and Handling

- - - - -

- - - - -
-- -
- -
- --

- - - -
- - -
-

- - -

d
--

re
- -
- -
te
- - - - -
- -
- -
is
- - -
- - -
eg

-- - -
nR

-- -
- - - - -- --
- -- -
U

- - -

-- -- - - -
-- -

- --
--
-- -

375
PCI Express System Architecture

-- -

d
re
te
is
-
eg

- -- -
--- - --
-
nR

-
-
-
- - -
U

- - -
- - -
- -- -
-- - -- - --
--

376
Chapter 10: Error Detection and Handling

-- -

--

d
- -

re
- - -

-
te
-
is
-

-
eg

-
nR

-
-

-
U

- - -
- -- - - --
-- - -
- - - -
-- - -

377
PCI Express System Architecture

- -

d
re
te
is
- - -
-- - - -- - -- -
eg

- - - - -
- - - -
- - - - -
- -- - -
nR

-- - - - -

U

378
Chapter 10: Error Detection and Handling

- - -

d
re
te
-
is
- - - -
eg

- -
- - -
- - -
- -- - -
nR

- -- - --
- - - -
- - - - -- - -- -
- - -- -
U

- - -
-
- - - -
-
- - -
-- - -
- --

379
PCI Express System Architecture

- -

d
re
te
- -
is
- -
- --- -
-- - - -- -
eg

- - - -
nR
U

380
Chapter 10: Error Detection and Handling

- -- --
-- - -
-- - -- -
- -- - - - -
- - - - -
- - -- --- -
- - -
-

- - -
-- -

d
- --- -
-- - - - -- -

re
--
-

-
te
is
eg
nR
U

381
PCI Express System Architecture

--
-
-- -
- - -
- --- - -- -
-
-
--
- -
- -

d
- -
- - --

re
-
- - -

--
te
is
eg
nR
U

382
Chapter 10: Error Detection and Handling



--
- -
- -

d
re
te
- - - - --
is
- - -
eg

- -- - -
- - -
- - - -
-
nR

- - -
- - -
U

-
-- - -
- - - - -- - - -
-

383
PCI Express System Architecture

- - - -
- - - - - - -
- - - -
-- - - -
- -


- -
- - - - -
-- - - --

d
- - - -
- --

re
- - --
- - - -
-- - - -
te
- -
- - -

is
- --
- - - -

eg

- - -
-- --
- -
-- -- ---
nR

-
- - -
- - - ---
- -
U


- - -
- -
-- - - - - -
-
-- -

- -- -
- -
- - - - -
-

384
Chapter 10: Error Detection and Handling

-
- -
- - - - - -
- -
- - - - -
-- -- - - - -

- -

d
re
te
is

eg

- - - -
- - - -
- - - --
nR

- -
- - -- -
- - - - - -
U

385
PCI Express System Architecture

- -

re
-
- - - -
te
- - - -- - -
--
is
- - -
-
eg

- - -
- - --
- -
- - - -- - -
nR

- -
-
- - - -
-
- - -- -
U

- -
- - -- -
- - -
- -
- - -- -
-
- - - -
- - -
- -

386
Chapter 10: Error Detection and Handling

- - -- - -- -
- - -

- -
-
- - - - - -
- - - -
- -
-- --
-

- - -
- -

d
-

re
- -
- - - - -
- - -
te
- - - - -
-- -- - - - -

is
- -
eg
nR
U

387
PCI Express System Architecture


- - - -
- - - -
- - --
- --
- - - -- - -
-- -- -
-- - -
-- -- -
- - - - - -
-

d
-

re
te
is
eg
nR

- - - -
U

-- - - - - -
-- --
- - - -
-


- - - - - --
- ---
- -
- -

388
Chapter 10: Error Detection and Handling

- -

d

re
te
-- - -
- - - -
is
- - - -
-- --
eg

- -

--
nR

- -
U

- - -
- - - -
- - -
- - - -

389
PCI Express System Architecture


- --- -- -
-- - - --
--
- -

- --
- -- -- -- -
- - - - -
- - - - - -

d
- -
- - --

re
- - - - -
-
te
-

- -
is
--
- --
eg

--
- -

-
nR

- -
--

--
U

--
-
-

- -- -

-- -- - - -
- - - - -
- - -
- -

390
Chapter 10: Error Detection and Handling

- -- - -
- - - --

- -- -
-- - - --
- -- -
- - - - -
- -

- -

d
re
te
is
eg

-
nR

- -- --
---
- -
-- -- - - --
U

- - - -

391
PCI Express System Architecture

-
- - -- -- - -
- - -- -
- - - -
- - -
- -

d
re
te
is
- - -
eg

- -- --
- -
--
nR


- - -
U

-- --
- - --
- - --
-- - - - - -
- - -

392
Chapter 10: Error Detection and Handling

d
re
te
is
eg
nR
U

393
U
nR
eg
is
te
re
d

d
re
te
is
eg
nR
U
U
nR
eg
is
te
re
d
-

-
- --- -

d
-- - ---
-- - -

re
-

-
te
- -- -- -
-- - --
is
- --
- -- -
eg

-- - - - - -

- -


nR

-- -- -
-- -- - -
--
U

-
- - -
- - - -
--- - ---
--- - -- -
-- --- - -
- -

397
PCI Express System Architecture

- - -- --- -
- - -
- - --

- - - -
- -
- - - - - ---
-- --- - --

Memory, I/O, Configuration R/W Requests or Message Requests or Completions


(Software layer sends / receives address/transaction type/data/message index)

d
Software layer
Transmit Receive

re
Transaction Layer Packet (TLP) Transaction Layer Packet (TLP)
Header Data Payload ECRC Header Data Payload ECRC

Transaction layer
te
Flow Control
Transmit Receive
Virtual Channel
Buffers Buffers
Management
per VC per VC
Ordering
is
Link Packet DLLPs e.g. DLLPs Link Packet
Sequence TLP LCRC ACK/NAK CRC ACK/NAK CRC Sequence TLP LCRC
eg

Data Link layer De-mux


TLP Replay
Buffer
TLP Error
Mux Check
nR

Physical Packet Physical Packet


Start Link Packet End Start Link Packet End

Physical layer Encode Decode


U

Parallel-to-Serial Serial-to-Parallel
Link
Differential Driver Training Differential Receiver

Port
Link

- -- --
- - - -
- - - -
- -

398
Chapter 11: Physical Layer Logic

- - - -
- - - -
- - - - -

-- - - -
- - - -
-- - -- -
-- - -
-

- -

d
re
Physical Layer te Physical Layer

Tx Rx Tx Rx

Logical Logical
is
eg

Tx Rx Tx Rx
Electrical Electrical
nR

Link CTX
Tx+ Tx- Rx+ Rx- Tx- Tx+ Rx- Rx+
U

CTX

399
PCI Express System Architecture

-
- -
- - - -- --
- - - -
- - -
- -- -

d
-- - -

re

- -- -

te
--
-
- -
is
- - -
- - -
eg

- - - - --
-- -

- - -
nR

- - - -
- -

-- - -
- -
U

- - - - -
- - - - -
- --
-

- - - --
-- - - -- -
-- -
- - -
- -

400
Chapter 11: Physical Layer Logic

- - -
- - - -
-
- - - - - -
- - -

-- - -
- -- - -
- - - - -
--

- -

d
re
From Data Link Layer To Data Link Layer
Control Control

Transmit Receive
te
Throttle 8 8

Control Rx
Tx
is
Buffer
Buffer START/END/
IDLE/PAD
Code
8 Control
8 Control 8
START / END / IDLE / PAD Character Removal and
eg

Mux Packet Alignment Check


8 D/K#
8 D/K#

Lane 0 Byte Un-StripingLane N (N=0,1,3,7,11,15,31)


Lane 0 Byte Striping Lane N (N=0,1,3,7,11,15,31)

8 D/K# 8 D/K#
nR

8 D/K# 8 D/K#
Lane 1, ..,N-1 De-Scrambler Lane 1, ..,N-1 De-Scrambler
Scrambler Scrambler
8 D/K# 8 D/K#
8 D/K# 8 D/K#
Tx Local Error 8b/10b Error 8b/10b
8b/10b PLL 8b/10b
Detect Decoder Detect Decoder
Encoder Encoder Rx Local
10 PLL 10
10 10
U

Tx Clk
Serial-to-Parallel Serial-to-Parallel
Parallel-to-Serial Parallel-to-Serial and Elastic Buffer and Elastic Buffer
Rx Clk Rx Clk
Tx Tx Rx Rx

Lane 0 Lane 1, ..,N-1 Lane N Lane 0 Lane 1, ..,N-1 Lane N

401
PCI Express System Architecture


-- -


-
-

-
- -- -

re
- - - - -
- -
-- - - - -
te
-
- - -
- --
is
-- - -
-- - - -
eg

- - - - -
- -
- -- - -
-
nR

-- -
-
- - - --
-- --
U

- - -
- - - -
-

- - - - -

402
Chapter 11: Physical Layer Logic

-
- - - -
- - -- - --
-
- - - - - - -
- - - - -
-

- -
- - - -
-

d
- - - --

re
-- - - -- - --
- - - -
--
te
- - - - - -
- - -
-
is
-
-
eg


nR

- - --
-- - -

U

- -
-- - -
- - -- -- -
- -

403
PCI Express System Architecture


- - -
- - - -
- - -
- -- -
- - -

d
- - -

re
--
- --
- - -
te
-

- --
is
- - - -
-
eg

- - - -
- -
- - -
- - -
nR

- - - -
- - - -
- -
- -
-
U

- -

- - -
- -
- -

404
Chapter 11: Physical Layer Logic

- - - --
-- -
- - - - -

- - -
- - -
- -
- -
- -
-

- - - -
-

d
- - - -
-

re
- -
- - -
- - -- -
te
- -- -
- - -
- -
is
- ---
- -

eg

- -
-
- - - -
- -- - -
nR

- - -
- - ---
- - --- -
- - - --
U

- -
- - - -
- - -
- -
- - - -
-

405
PCI Express System Architecture

- - -

From Data Link Layer


Control

Transmit
Throttle 8

Control

d
Tx
Buffer START/END/
IDLE/PAD

re
Code

8 Control 8

Mux
te
8 D/K#

Lane 0 Byte Striping Lane N (N=0,1,3,7,11,15,31)


is
8 D/K# 8 D/K#
Lane 1, ..,N-1
Scrambler Scrambler
eg

8 D/K# 8 D/K#
Tx Local
8b/10b PLL 8b/10b
Encoder Encoder
nR

10 Tx Clk 10

Parallel-to-Serial Parallel-to-Serial

Tx Tx
U

Lane 0 Lane 1, ..,N-1 Lane N

406
Chapter 11: Physical Layer Logic

From Data Link Layer Throttle Control

Control

TLP or
Transmit DLLP
Throttle 8 8

TS1,TS2,SKIP,
Tx Control
Tx Electrical Idle,
Buffer START/END/ Buffer STP, SDP, and FTS Logical Idle
IDLE/PAD Ordered-Set
Code END, EDB Sequence

8 Control 8 8 8 8 8

Mux D K Mux K D

d
8 D/K# 8
D/K# Link Training/
Mux Control
Lane 0 Byte Striping Lane N (N=0,1,3,7,11,15,31)

re
8 D/K# 8 D/K#
Lane 1, ..,N-1
Scrambler Scrambler

8 D/K# 8 D/K#
Tx Local
8b/10b 8b/10b
Encoder
PLL
Encoder
te
10 Tx Clk 10

Parallel-to-Serial Parallel-to-Serial
is
Tx Tx

Lane N
eg

Lane 0 Lane 1, ..,N-1


nR
U

407
PCI Express System Architecture

D Character

Transaction Layer Packet (TLP)


STP Sequence Header Data Payload ECRC LCRC END

D Character
K Character K Character

d
Data Link Layer Packet (DLLP)
SDP DLLP Type Misc. CRC END

K Character

reK Character
te

is
- -
eg

- - --
- - -
- - -
- - -
nR

- - -
--

- - --- -
-
U

- - - -
-
- -
- -
-
- -
- -- -

408
Chapter 11: Physical Layer Logic

- - -
- -
- -
- - -
- -

Packet byte stream from Mux block

d
re
8 te D/K#
Character 7
Character 6
Character 5
is
Character 4
Character 3
eg

Character 2
Character 1
Character 0
nR

8
D/K#
Character 2
U

Character 1
Character 0
8 D/K#

To Scrambler

409
PCI Express System Architecture

Packet byte stream from Mux block


D/K#
8

Character 7
Character 6
Character 5
Character 4

d
Character 3
Character 2

re
Character 1
Character 0

te
Character 8 Character 9 Character 10 Character 11
Character 4 Character 5 Character 6 Character 7
is
Character 0 Character 1 Character 2 Character 3
8 8 8 8
D/K# D/K# D/K# D/K#
eg

To Lane 0 To Lane 1 To Lane 2 To Lane 3


Scrambler Scrambler Scrambler Scrambler
nR
U

410
Chapter 11: Physical Layer Logic

Packet byte stream from Mux block


D/K#
8

Character 7
Character 6
Character 5
Character 4

d
Character 3
Character 2
Character 1

re
Character 0

te
Character 16 Character 17 Character 23
Character 8 Character 9 Character 15
Character 0 Character 1 Character 7
is
8 8 8
D/K# D/K# D/K#
To Lane 7(or 11/15/31)
eg

To Lane 0 To Lane 1
Scrambler Scrambler Scrambler
nR

-
-- -
U

- - -- - - - -- - - -
- - - - -- -

-
-

-
- -
- - -
- - - - -

411
PCI Express System Architecture

-
-
- - -
--- --- -
- --- -
-- - - -
-
- - -

--
- -
- -- - -

re

- --
-
-
te



is
- - - - -
eg

- - -
- -

- - -
- - -
nR

- - - -
- - - -
--
-- - - -
U

-
- - -

--
- - -
- -- - -


- -
-

412
Chapter 11: Physical Layer Logic


- - - - -

Lane
0
STP COM STP STP
SKP
TLP SKP TLP

d
SKP

STP

re
TLP
END END

SDP SDP
te
DLLP TLP DLLP
END
is
IDLE
IDLE
IDLE
END END END IDLE
eg
nR

- -
- -

- - - --
U

- -- - -
- - - -
- -
- - - -
--
- -
---- -- - -
- - - -
- --- - -
- -

413
PCI Express System Architecture

- - - -
- - - -
--
-- - - -
-
- - -

Lane Lane Lane Lane


0 1 2 3

d
STP SequenceSequence

TLP
re
te
LCRC
is
LCRC LCRC LCRC END
eg

COM COM COM COM


SKP SKP SKP SKP SKIP Ordered-Set
SKP SKP SKP SKP
nR

SKP SKP SKP SKP

SDP
DLLP
END
U

IDLE IDLE IDLE IDLE


IDLE IDLE IDLE IDLE
Logical Idle
IDLE IDLE IDLE IDLE
IDLE IDLE IDLE IDLE

Note: There are no PAD characters to transmit on


a x4 Link because all packets are multiples of 4 Bytes

414
Chapter 11: Physical Layer Logic

--
- - -
- -- - -


- -
-

- - -
- - ---
- - - - -

re
Lane Lane Lane Lane Lane Lane Lane
0 1 2 3 4 5 7
STP SequenceSequence
te
TLP
is
LCRC LCRC LCRC LCRC END

COM COM COM COM COM COM COM COM


eg

SKP SKP SKP SKP SKP SKP SKP SKP


SKP SKP SKP SKP SKP SKP SKP SKP
SKP SKP SKP SKP SKP SKP SKP SKP
nR

SDP DLLP END

STP SequenceSequence

TLP
U

LCRC
LCRC LCRC LCRC END PAD PAD PAD PAD
IDLE IDLE IDLE IDLE IDLE IDLE IDLE IDLE
IDLE IDLE IDLE IDLE IDLE IDLE IDLE IDLE
IDLE IDLE IDLE IDLE IDLE IDLE IDLE IDLE
IDLE IDLE IDLE IDLE IDLE IDLE IDLE IDLE

PAD characters are transmitted to maintain packet framing alignment

415
PCI Express System Architecture


- - - -- - -
- - -
-

- ---
- - -
- - - - - - -

d
- - -
- -- - - -

re
- -- - -
- - - - - -
- - --- - -
te
- - - - -
- - -

is
-- - -
--- -- - - -
eg

- -
- - -

- - - -
nR

--- - - -
- --- - -
-- - ----
-- - - -
U


-
-- -

- - - -
- - - -

416
Chapter 11: Physical Layer Logic

- -
-

-
- --
- - --

- - -- -
- -
-
- - -- -
- - - -

d
-- -
- -

re
- - -
- -
- -
-
te
- - -
--- -
is
- -- - -
- - - -
-- -
eg

- - -
- - -
- - -
- -
nR

-
- - - -
- - -- -
- - -
-
U

417
PCI Express System Architecture

X0 X1 X2 XOR X3 XOR X4 XOR X5 X12 X13 X14 X15

k+7 k+6 k+5 k+4 k+3 k+2 k+1 k Operates at Bit Rate
(2 GHz)
Operates at Byte Rate

d
k+7 k+6 k+5 k+4 k+3 k+2 k+1 k
(250 MHz)

re
Byte Clock

H G F E D C B A
te [H,G,F,E,D,C,B,A] =
XOR XOR XOR XOR XOR XOR XOR XOR
[H,G,F,E,D,C,B,A] XOR [Scr(k+7:k)]
is
H G F E D C B A
Scrambler Output Scr[k+7:k]
eg

-
nR

- - - - -
- - - -
- - -
- - - - - -
U

- - -
- - - -
- -- -
- - - - -
- -
-- - - - -
- - - - -

418
Chapter 11: Physical Layer Logic

- - -
- - -- -
- -
- -
---
- - - - -

d
-

re
- - - - -
- - - - -
- - - -
te
- - -
-
- - - -
is
- - -
- -
eg

- - - -

- - - -
- -
nR

- -
- - - -
-- - --
- -
-- - -- -
U

- -- - -

- - -- -
-
- - - -
- - - -
- -
- -
-- -
-

419
PCI Express System Architecture

8b Value
00h 0

10b Encoded
1101 000110
Value

re
- - - - - - -
-- - - -
te
- - - -
- -
- - - -
is
- - -
- - --
-- - -
eg

- -
-
- - -
- - - -
nR

- - -
- - -
- - --- -
- - --
U

- - - - -
- - - - -
- - - -
-- - - - - -- - -
- ---

- - - -
- --- -
-- - - ---
- - -

420
Chapter 11: Physical Layer Logic

- -
- ---- - -
- - -
- - - --- -
- - - - -

- -
- - - -- -
- - -- -
- - -- -
- - - -- - - - -
- - -

d
- - - -
- - - -

re
- - - -
- -
- - -
te
-
- -
- -- - - - - ---
is
- -

-- - - -
eg

--
-
nR
U

421
PCI Express System Architecture


- - - - -
- -
- --
-- -

- --

- -- -

d
-
--

re
-



te
- - - -


is
8b Designation Example Data (6Ah)
eg

D/
8b Character 7 6 5 4 3 2 1 0 D 01101010
K#
nR

D/ H G F E D C B A
Partition into sub-blocks D 011 01010
K#
U

D/ D 01010 011
Flip sub-blocks K# E D C B A H G F

Add decimal values of D/K xx . y D 10 . 3


each sub-block

Final Notation D/Kxx.y D10.3

422
Chapter 11: Physical Layer Logic

-
- -
- - -

- - - - - - -

- - - - - - - -

- - - - - -
-
- - - -
- -- -

d
- - - -
- - -

re
- - -

- - -
-
te
- -- -
- -- -
is
- -
eg

- - - - -
--

- - - - - - -

nR

- - - -

- - - - -
- - -
U

- -

- - - -
- - -
- - -

423
PCI Express System Architecture


- -
- - - -

- - -
-
-

- -
- - - -

- -

d
-
-

re
-
- -
- - - -
te
- - - -
-- - -
is
- - - - -
- - - -
- - - - - -
eg

- - - - --
- - - - - -

- -
nR

-- -

- -- -
- - -

U

- - --

-- - -
-
-
- - -
-
-

424
Chapter 11: Physical Layer Logic

- - - -
-
- -

d
re
te
is
eg
nR

--- --
--- - - -
U

- - -
-

- -
- -
-
- - -
- -

425
PCI Express System Architecture

- -
-
-
- - - -

Encode to this if CRD is positive


Encode to this if CRD is negative
This is 8-bit character

d
D or K Hex Binary Bits Byte CRD CRD +
Character

re
Byte HGF EDCBA Name abcdei fghj abcdei fghj
Data (D) 6A 011 01010 D10.3 010101 1100 010101 0011
Data (D) 1B 000 11011 D27.0 110110 0100 001001 1011
te
Data (D) F7 111 10111 D23.7 111010 0001 000101 1110
Control (K) F7 111 10111 K23.7 111010 1000 000101 0111
is
Control (K) BC 101 11100 K28.5 001111 1010 110000 0101
If character encode yields neutral disparity, then CRD remains unchanged, else it flips
eg
nR
U

426
Chapter 11: Physical Layer Logic

---

- - -

D/K# Hex Binary Bits Byte CRD CRD +


Byte HGF EDCBA Name abcdei fghj abcdei fghj
Control (K) BC 101 11100 K28.5 001111 1010 110000 0101
Data (D) 6A 011 01010 D10.3 010101 1100 010101 0011

---

d
CRD Character CRD Character CRD Character CRD
Character to K28.5 (BCh) K28.5 (BCh) D10.3 (6Ah)

re
be transmitted
Bit stream - Yields + Yields - Yields -
transmitted 001111 1010 110000 0101 010101 1100
te
CRD is + CRD is - CRD is neutral

Initialized value of CRD is dont care. Receiver can determine from incoming bit stream
is
-
eg

- --
-

-
nR

-


U

427
PCI Express System Architecture

re


te


is


eg


nR

428
Chapter 11: Physical Layer Logic

d
-

re


te


is

eg


nR

-


U

429
PCI Express System Architecture

d
-

re


te


is

eg


nR


-- --
U

- - - - -
-- - - - -
- - -- -
-

430
Chapter 11: Physical Layer Logic

- - -

- - - -
- -
- - - -- - -
-
- - -
-- --
- - -
- - -
--
- - -
- -

d
-
-- - --

re
-- -
- - -
--- - - -
te
- - - - - - -
-- - -
-
is

- - - -
- -
eg

- - - -
- -

- - - -
nR


- - - -

- - -
- - --
U

-
- - -
- - - --
- - - -
-- --
- - -
- -
- - - -
- - -
- - -

431
PCI Express System Architecture

-- - - -
- -
- - - - -
- -
- - -
-
- - - -
- -
- - - - - -
-

d

-

re

-

te
-
-

is

eg

-
- -
-
nR

432
Chapter 11: Physical Layer Logic

-
- -
-
-

-
-
-

d

-

re
-
- - - - --
te
-- - - --
- - - -
is
- - - - - -


eg

-
- - -
- -

nR

- - - -
-
- - - -
- - -
U

-- - - -




-
-

- -

433
PCI Express System Architecture

- - - -
- - -
- - -
- - - - - -
- - - - -


- - -
- - -
- - - -
- - -
-

d
-
- -

re
- -
-
- -
te
- - -
-
is
- --
- - - --
- -
eg

- - -
- --- --
- - - -
nR

- - -
- - -
- -- -
- - - - -
- - - -
U

- - -


- --
- --
- - - -
- - - - - -
-- -

434
Chapter 11: Physical Layer Logic

- - -

-
- - -
-- - - -
- - ---
-- - - -
- - -
-- - - -
- -

d
--

re
- -

- - -
te
- -

- - - -
is
-
-
eg

- -- ---
- --
nR

-
- -
- -
- -
U

-
- - -
- - - - -
- -- - - -
- -- - - - -- -
- -
- - -
- - - -
- - -
- -

435
PCI Express System Architecture

-- - -

- -
- - - - - -
- - - - - - -
- - - - -
-
-

- ---

d

- - -- - - -

re
- - -
- - ----
-- -
te
- - - - -
- - - -
- - ---- -
is
- - -
- -
-
eg

-
- --- - -
-
nR

- - -
- - - -
- - - - -
U

- - -- -
-

- - -
- - -- - -
- - - - -
- - - - - -
--- -

436
Chapter 11: Physical Layer Logic

- - - - -
- -- -

- - - - - -
- - - - - -
- - - -
-
- - -- -
--- - -- -
- -
- -
- -- -
-- - - -

d
--- - - -
-

re
-- - - -
- - -
- - -
- --
te

is

Encoding
eg

COM K28.5
SKP K28.0
nR

SKP K28.0
SKP K28.0
U

-
-- - - -
-- -- - -
- -

437
PCI Express System Architecture

- -

To Data Link Layer


Control

Receive
8

d
Rx
Buffer

re
Control
START / END / IDLE / PAD Character Removal and
te
Packet Alignment Check
8 D/K#
is
Lane 0 Byte Un-StripingLane N (N=0,1,3,7,11,15,31)

8 D/K# 8 D/K#
eg

De-Scrambler Lane 1, ..,N-1 De-Scrambler

8 D/K# 8 D/K#

Error 8b/10b Error 8b/10b


nR

Detect Decoder Detect Decoder


Rx Local
10 PLL 10

Serial-to-Parallel Serial-to-Parallel
and Elastic Buffer and Elastic Buffer
Rx Clk Rx Clk
U

Rx Rx

Lane 0 Lane 1, ..,N-1 Lane N

438
Chapter 11: Physical Layer Logic

-- - - -
-



-
-

- -

d
Symbol
10b
Lock

re
Symbols
To 8b/10b
Lane Decoder
Serial-to-Parallel SKIP,TS1,
De-Skew Elastic
TS2,FTS
te
Converter Delay Buffer
Detection 10
Circuit
is
Serial
Symbol
Rx Local
Stream
eg

Clock/10 Clock
Rx
D+ Clock
Rx Clock
Differential Local
Recovery Control
nR

D- Receiver Clock PLL


Serial Bit PLL
Stream
U


---
-

439
PCI Express System Architecture

- - - - -
- - -
- - -
-- - -



- - -
-- - - -

d
- - - -
- - -

re
- - -
- - - - -
- -
te
- - - -- -
-

is

eg

- - - -
-- - - -
- - -- --
- - -
nR

- - - -
- - -

- -- --
U

- -- -
- - - -
- -- -- -

440
Chapter 11: Physical Layer Logic

-
- - - - - ---
-- - -- - -
-- -


- - - - -- --
- -- -
-
- - - - -

d
- - - - - -
- -

-
re
te
- - - -
- -
is
-- - -
-
eg

-
-- - - -
nR

- - -
- - - -
- -- - -

- - -
U

- -
-- - - -
-
- - - - - - -
- - -
- - - - - -
- -
- - - - - -
- -- -
- -

441
PCI Express System Architecture

- -
--

- - --
- - - - -

- - - - -
- - -
- -

re
- - -
- - -
- - -
te
- - -
- - - - -
- --
is
- -
- -
-- -- -
eg

- - - -
- -
-
nR

- -

- -
- - - -
U

- - -
- - -
- - -
- - -
--

442
Chapter 11: Physical Layer Logic

- - - -
- -
- - - - --
-- -- - -
- -
- - - - -
- - - -

- -- -
- - - --
-

- -

d
- -
- - --

re
- -

- -- - -
- - -
te
- -
- -
--- -- -
is
- -
- - -
eg

-- -- - - -
--
nR

- -- ---
- - - -- -
--- -
U

- - - --- -
- - -- -
- -
-- -
- -

- -- -- -
- - - -
-- -

443
PCI Express System Architecture



- - - --
-

-
- - -- - - - -
-
- --

d
- - --

re
- -
-
---

te
- - -

- - -- --
is
- - - -
-- - -- - - -
- - -
eg

- - - -

- -
nR

- -- - --
- -
- -
-
U

- -
- --
- -- - - -
- - -
- - -
- -
- -

444
Chapter 11: Physical Layer Logic

- - - - -
-

-
- -
- -
- - - - -
- --


- -

d
- - -
- - - -

re
-
- te
-
is
TS1/TS2 TS1/TS2
eg

FTS FTS
Lane 0 Rx Delay
nR

TS1/TS2 TS1/TS2
FTS FTS
Lane 1 Rx Delay
U

TS1/TS2 TS1/TS2
FTS FTS
Lane 2 Rx Delay

TS1/TS2 TS1/TS2
FTS FTS
Lane 3 Rx Delay

445
PCI Express System Architecture



-
- - --
- - - -
- - - -
- - - -

- - -
-

d
- - -
-

re
te
- - - -
- - - - - -
- - -- -
is
-- - - -
- - - -
eg

-
- -
- - - - -
nR

- --- - - - - -
-
- -

- -
U


- -

- - - -

- - - -

- - - -
- - - -

446
Chapter 11: Physical Layer Logic

- - - - - -
- - -
- - -
- - -

- -
- - -
- - -

- - - - - - -
- - -

d
- - -- - -
-- -

re
- -
- -
-
te

is
Bytes to De-Scrambler D/K#
eg

7 6 5 4 3 2 1 0
D/
K#

8b Character H G F E D C B A
nR

To Error Reporting
8b/10b Look-Up Table For D Characters
Current
8b/10b Look-Up Table For K Characters
U

Running
Disparity
(CRD)

CRD Calculator j h g f i e d c b a

10b Symbol

From Elastic Buffer

447
PCI Express System Architecture

CRD Character CRD Character CRD Character CRD


Transmitted - D21.1 - D10.2 - D23.5 +
Character Stream
Transmitted Bit - 101010 1001 - 010101 0101 - 111010 1010 +
Stream
Bit Stream After - 101010 1011 + 010101 0101 + 111010 1010 +
Error

d
Decoded - D21.0 + D10.2 + Invalid +
Character Stream

Error occurs here


re Error detected here
te

is
-
eg

-- - -- -
- - - -
- - - - -
nR

-
- -- -
- --
- - - -- -
U

- -
-
- - - -
- -- -
- -
- -
-
- - -
-
- -- - -

448
Chapter 11: Physical Layer Logic

- - - -
- -
- - - ---
-
- - - -
- - --
- - - -
- -

-
- - -
- - - -

d
- -- -

re
te
--
-- - - -
- - - -
is

eg

Packet byte stream from Multiplexer block


Data Stream D/K#

Character 0
nR

Character 1
Character 2
Character 3
Character 4
Character 5
U

Character 6
Character 7

Character 0 Character 1 Character 7


Character 8 Character 9 Character 15
Character 16 Character 17 Character 23

From Lane 0 From Lane 1 From Lane 7


De-Scrambler De-Scrambler De-Scrambler

449
PCI Express System Architecture


- - - - - -
- -- - - -
- - - - - - -
- - -
- - - -
- -

d
- - - - -
- -

re

- - -
te
- - -
- --
- - -
is
- - -
eg

-
- - --
nR

- -- - - -
- - - -
- -

- -
U

- - - - -
- -
- -
- - -
- - -- -- -
- -
- -- - -
- - -

450
Chapter 11: Physical Layer Logic

-- - -

-- - -

--
- -
-- - -
-- ---
- - -- -
- - --
- -

d
- - - -

re
--

- --
- - - -
te
-- - - -
- -- --

is
-
eg
nR
U

451
U
nR
eg
is
te
re
d

-
-
- -

d
- -

re
--
- -- -

te
- - - -
-
- -
is
-
eg

- -- - -
-- -- - -
--
-
nR


-- - - -
U

- - - -- - - - -
- - -- - -

-
- -- -
- - - - -
- -- - - - -
- -- - -

453
PCI Express System Architecture

-- - -
- - - -- --
-- - - -
- -

- - - -

- - -
- - - -
-- - - -

d
Physical Layer

re Physical Layer
te
Tx Rx Tx Rx

Logical Logical
is
eg

Tx Rx Tx Rx
Electrical Electrical
nR

Link CTX
Tx+ Tx- Rx+ Rx- Tx- Tx+ Rx- Rx+
U

CTX

- - -
--
- -- -
-- -
-- --
--- - - - ---

454
Chapter 12: Electrical Physical Layer

- - -- -
- - -
- - - - -
- - - -
- - - -- -- -
-- --
- --
- - - -
- - - -
- - -
- - - - -
-

re
te
-
- - - - -
- - -
is
- - -
- -- - --
-
eg

-
nR

Detect

CTX ZTX
D+ D+
+
U

Lane in
Transmitter one Receiver
direction
CTX ZTX
-
D- D-
ZTX ZTX ZRX ZRX

Clock Clock
VRX-CM = 0 V
VCM Source
Source VTX-CM = 0 - 3.6 V
ZTX = ZRX = 50 Ohms
CTX = 75 200 nF

455
PCI Express System Architecture

-

- - -- - - -
- -
- - - -
- - - - -
- - --
-- - - --
- - - -
- - -

re
- - -
- - - -
te
- - -
- - - -

is
- - -
-
eg



-
- -
nR


- - - - - - -
-- - - -
- - -
U


- - -
- - - -
- - -

456
Chapter 12: Electrical Physical Layer

- -
-- - - -
-- - -
- - --
- - -
- -
- - -
-- - --

-
- -

d
- -- -
- - - --

re
- - -
-
-- -
te
- -
- - - - -
- -
is

-
eg

-
-
nR

- -
- - -
- - -
- - -

U


- - - -
- - - -
- - -
-
-
- -

457
PCI Express System Architecture

Big Big Ratio of resistors


Small
sets DC common
Big Big mode voltage

Big

Detect Small
Big

CTX

d
ZTX
+

re
Lane in
Transmitter one Receiver
direction
CTX ZTX
te -

ZTX ZTX ZRX ZRX


is
Clock Clock
VRX-CM = 0 V
VCM Source
Source VTX-CM = 0 - 3.6 V
ZTX = ZRX = 50 Ohms
eg

CTX = 75 200 nF
nR

-
-- - - -
- - -
- - -
U

-
- - -
- - -- - - --
- - - -
- -- - -
-
- -

458
Chapter 12: Electrical Physical Layer

- - -
- -
- - -
- -- -

- - - -
- - -
-

re

- -

te
-
is

eg


- - - - -

-
nR

- -
- - - -
U

- -

- -
- -
-
- -
-
-
- - -
-

459
PCI Express System Architecture

- - -

- - -
- - - -

Detect
Receiver Absent
CTX ZTX-LINE
Cpad Cinterconnect
+

d
Lane in
Transmitter one Receiver

re
direction
CTX ZTX-LINE
Cpad Cinterconnect
-

ZTX ZTX ZRX ZRX


te
VRX-CM = 0 V
VCM
is
Charge Time Constant ~= ZTX * (Cpad + Cinterconnect) Small Time
eg

Detect
Receiver Present
CTX ZTX-LINE
Cpad Cinterconnect
nR

+
Lane in
Transmitter one Receiver
direction
CTX ZTX-LINE
Cpad Cinterconnect
-
U

ZTX ZTX ZRX ZRX

VRX-CM = 0 V
VCM

Charge Time Constant ~= ZTX * (CTX + Cpad + Cinterconnect) Large Time


CTX = 75 200 nF >> Cpad + Cinterconnect

460
Chapter 12: Electrical Physical Layer

- -
- - - - -
- -

-
- - -- - -

--- - - - -
-

d
-- - - - --
- --

re
- - - - - -
-
- - --

te
- - - -- -

-
is
-- - -
--- -- - -
eg

- - -
-- - -
- -
--
nR

- -
-

- - -
U

- -

- - -
-
- - - -

- -- - -
-
- -- -
- -- - -

461
PCI Express System Architecture

- -- -
-


- -
- -
- -
- -

- - -- -

d

- - - -

re

-- -
- -
te

-- - - -
is

- -
eg

- - -- -


nR

- - -
- - -
- - -
- -

U

-
- -- --
-- - -- -
- -
-- - --
-

462
Chapter 12: Electrical Physical Layer

- -

D+ VD+

d
0V

D-
re
te
is
VD-
0V
eg

VDIFFp = max | VD+ - VD- |


VCM = max | VD+ +- VD- | / 2
nR

D+
VDIFFp VDIFFp
U

VCMp
(Logical 1) (Logical 0)

D-

0V
VDIFFp-p = 2 * max | VD+ - VD- | = VDIFFp (Logical 1) + VDIFFp (Logical 0)

463
PCI Express System Architecture


- - - -
- - -
- - - - -- -- - - - - -
- --

Encoding

d
COM K28.5

re
IDL K28.3
IDL K28.3
IDL K28.3
te
- --
is
- -- - - -
- - -
eg

- - -
- - -- - -
- -
- - - - --
nR

- -
- - - -
- - - -
U

- --
- -- - - - -
- -- - - --
- -- - - -
- - -

464
Chapter 12: Electrical Physical Layer

--
- - -
-- - -
-
- - -

- - -

- -
- - - -
- - - - --
- --

d
- -

- -

re
- -- -- -
-- - -
te
- - - - - -
- - - - --
- -- -
is
- -
eg


- -
- --
nR

- -

--- --
U

- -
-- - -
- -- --
- - -
-- - - - -
- --
- -
- -
- -- -
-- --

465
PCI Express System Architecture


-- - - -
- - -
- -
- --
- -- -
- - -
- -- -
- -
- - - - --

d
- - -
-

re
-

-- --
te
-- - --
- - -- -
is
-- - - -

eg

- --
- - - - -
- - - -
nR

- --- - -
--
- - -
- - -
U

- -
- -- - - - - -
-- - - - -
-
- -
- -- - -
- --
--
-

466
Chapter 12: Electrical Physical Layer

- - - -

--- --

De-emphasized Voltage Level

1 0 0 0 0 1 0 0 0 0
1.3V 3.5 dB
1.225 D-

d
De-emphasized
VTX-DIFFp VTX-DIFFp VTX-CMp

re
=600mV =450mV =1 V
te
0.775 D+
0.7 V 3.5 dB
1 UI = 400 ps
is
- -- --
eg

- --- - -
-- - --- - -
- - ---
nR

- -
- - - - --- -
-- - - - -
- - -
- - -- - - -
U

- - --
- - - -
- - - - -
- - - - -
- - - -
-

467
PCI Express System Architecture

-
Inter-Symbol Interference results in lost bit

1 1 1 1 0 1 1 1 1 1 1 1 1 0? 1 1 1 1
D+ D+

D- D-

d
re

-- - -
te
- - - -- -
- - -- - - -
- - -
is
- --
eg

-
De-emphasized (or Pre-emphasized) Pre-emphasis of single 0 compensates for
nR

line capacitance effect


1 1 1 1 0 1 1 1 1 1 1 1 1 0 1 1 1 1
D+ D+
U

D- D-

- - -
- - - -
- - -

468
Chapter 12: Electrical Physical Layer

-- - - --
--- - -
- -- - - -
- --- --- - -
-- -- - -- --- -
- - -

-- - -
-- -- -

d
- - - -
- - - - --

re
- - -

- - - -
te
- - -
-
-
is
- - --
- - - - - -
eg

- - - -
- - - -
- - --

nR

- - -
- -
- -
U

- - - -
- - - - -- -
- - -

-
- - --
- - - - -
k- - -

-- k-

469
PCI Express System Architecture

- - - -
-
- - k-
- - -
- - -

- - - - -
- -
- - - -
- - - --
- - - -
- -
- -- - -

d
re
te
-
- - - -
is
- - - -
- ---
eg

-
- -
---
nR

-
-
U

- - - - -
- - - -
- - -
- -

- - --- -- -
- - -
- - - --
- - -
-- -- - -

470
Chapter 12: Electrical Physical Layer

- - - -- - -
- - - - --
-
- -- -- -
- --- - --
- - - -
- - -
- --- --
- -
- - - -- -
- ---
--

d
- -

-- - - -- - -

re
-
te

- - - -
is
-
- - --
eg

- -
- - - -
- - - - -
- - - - -
nR

- - -
-
-- -
U

- - -
- -
-
- -
- -
- - - - -
- --
- - - --

471
PCI Express System Architecture

-
- - - -
- - -
- - - - - -
- -
-- -
- - - - --

d
-

Overshoot
re De-emphasized Eye
te
Normal
is
Minimum Eye
3.5 dB
eg

Eye Opening
nR

3.5 dB

Normal
U

Undershoot
J T/2 TTX-EYE J T/2
UI = 400ps, UI = Unit Interval

Time

472
Chapter 12: Electrical Physical Layer

Horizontal eye closure or widening caused by jitter


De-emphasized Eye
Overshoot

Normal

Minimum Eye
3.5 dB

d
Eye Opening

3.5 dB
re
te
Normal
is
Undershoot
eg

J T/2 TTX-EYE J T/2


UI = 400ps, UI = Unit Interval
nR

Time
U

473
PCI Express System Architecture

- -

Vertical eye closure or widening caused by noise or signal attenuation


De-emphasized Eye
Overshoot

Normal

Minimum Eye
3.5 dB

d
Eye Opening

re
3.5 dB
te
Normal
is
eg

Undershoot
J T/2 TTX-EYE J T/2
UI = 400ps, UI = Unit Interval
nR

Time
U

474
Chapter 12: Electrical Physical Layer

--

d
re
te
is
eg
nR
U

475
PCI Express System Architecture

-
--

d
re
te
is
eg
nR
U

476
Chapter 12: Electrical Physical Layer

- --


- -- - --

--

- -

d
-

re



te

- -
is

-
eg

- -



nR


-
- - - -
--
-

-
-

477
PCI Express System Architecture

--

- -


-
-
-

-
-
- -

re
-
--- -

te
- -

- -
is
- -

eg

--


-
nR

- -
-
-
U

478
Chapter 12: Electrical Physical Layer

- - -

- - -
- - - - -

-- -
- -- -
- -
- - -

d
- - - -
- -

re
--
te
--
is
Measurement at
Test Fixture
eg

Package Pins
CTX 50 Ohms
D+
nR

Transmitter
Silicon CTX 50 Ohms
U

D-

479
PCI Express System Architecture

--
- -- --
-- - - -

--

- -

- -

re

-

te
-

-
is
-


eg

- - -
--
-
nR

-
-
U

- -
--
- -

-
-
-

- -
- -

480
Chapter 12: Electrical Physical Layer

VRX-DIFFp-MIN = 88 mV
VRX-CM-DC= 0 V

d
re
te
TRX-EYE-MIN = 0.4 UI
is
eg

- -
-
nR

- - - -
--
U

481
PCI Express System Architecture

Detect

CTX ZTX
D+ D+
+
Lane in
Transmitter one Receiver
direction
ON CTX ZTX ON

d
-
D- D-

re
ZTX ZTX ZRX ZRX
Clock Clock
Low impedance VRX-CM = 0 V Low impedance
VCM Source
Source termination termination
te
ON ON
2.5 Gbits/s transmission reception in progress
Recommended Power Budget <= 80 mW per Lane
is
Only one direction of the Link need be in L0
Transmitter and Receiver clock PLL are ON
eg

Transmitter is On, Receiver is ON


Low impedance termination at transmitter
nR
U

482
Chapter 12: Electrical Physical Layer

Detect Held at 0 - 3.6 V DC common mode voltage

CTX ZTX
D+ D+
+
Lane in
Transmitter one Receiver
direction
ON CTX ZTX ON
-

d
D- D-
ZTX ZTX ZRX ZRX

re
Clock Clock
High or Low VRX-CM = 0 V Low impedance
VCM Source
Source impedance termination termination
ON ON
te
Transmitter holds line at Electrical Idle state. VTX-DIFFp < 20 mV
Transmitter holds line at DC common mode voltage VTX-CM-DC 0 3.6 V
is
Recommended Power Budget <= 20 mW per Lane
Recommended L0s -> L0 exit latency < 50 ns
Only one direction of the Link need be in L0s
eg

Transmitter and Receiver clock PLL are ON but Rx Clock loses sync
Transmitter is On, Receiver is ON
High or Low impedance termination at transmitter
nR
U

483
PCI Express System Architecture

Detect Held at 0 - 3.6 V DC common mode voltage

CTX ZTX
D+ D+
+
Lane in
Transmitter one Receiver
direction
ON CTX ZTX ON
-
D- D-

d
ZTX ZTX ZRX ZRX

Clock Clock
High or Low VRX-CM = 0 V Low impedance

re
VCM Source
Source impedance termination termination
May be OFF May be OFF
Transmitter holds line at Electrical Idle state. VTX-DIFFp < 20 mV
te
Transmitter holds line at DC common mode voltage VTX-CM-DC 0 3.6 V
Recommended Power Budget <= 5 mW per Lane
Recommended L1 -> L0 exit latency < 10 microsecond
is
Both directions of the Link in L1
Transmitter and Receiver clock PLL may be OFF, but clock to device ON
eg

Transmitter is On, Receiver is ON


High or Low impedance termination at transmitter
nR
U

484
Chapter 12: Electrical Physical Layer

Detect DC common mode voltage not required


Most likely OFF
CTX ZTX
D+ D+
+
Lane in
Transmitter one Receiver
direction
OFF CTX ZTX OFF
-
D- D-

d
ZTX ZTX ZRX ZRX

Clock Clock

re
High or Low VRX-CM = 0 V High impedance
VCM Source
Source impedance termination termination
OFF OFF
te
Transmitter holds line at Electrical Idle state. VTX-DIFFp < 20 mV
Low frequency
Transmitter not required to hold DC common mode voltage. Most likely OFF
for Beacon ON
Recommended Power Budget <= 1 mW per Lane
is
Recommended L2 -> L0 exit latency < 12 - 50 millisecond
Both directions of the Link in L2
Transmitter and Receiver clock PLL OFF, and clock to device OFF
eg

Low frequency clock for Beacon in transmitter ON


Main power to device OFF, but Vaux ON
Transmitter is OFF, Receiver is OFF
High or Low impedance termination at transmitter
nR

High impedance termination at receiver


U

485
PCI Express System Architecture

Detect DC common mode voltage OFF

CTX ZTX
D+ D+
+
Lane in
Transmitter one Receiver
direction
OFF CTX ZTX OFF
-
D- D-

d
ZTX ZTX ZRX ZRX
Clock Clock

re
High impedance VRX-CM = 0 V High impedance
VCM Source
Source termination termination
OFF OFF

Low frequency
te
Transmitter does not hold DC common mode voltage
Recommended Power Budget : 0 mW per Lane
for Beacon OFF
Recommended L3 -> L0 exit latency < 12 - 50 millisecond after power turned ON
is
No automatic device initiated wake up mechanism
Both directions of the Link in L3
Transmitter and Receiver clock PLL OFF, and clock to device OFF
eg

Low frequency clock for Beacon in transmitter OFF


Main power to device OFF, Vaux OFF
Transmitter is OFF, Receiver is OFF
High impedance termination at transmitter and receiver
nR
U

486
- -
-
- -- - --
-- - -
-- -

re
-
- -- - -- - - -
te
- - - -- - -
- - -- -
- - -- -
is
-


eg

-- -
- --
nR

-- - -
--
-- - --
- --
U

- - -
-- - -- - --
- - - -- - - -
- - - - -
- -


-- -

-
- -- - - - --
-- - --
-

- -

- - - - - -
--
-
-

d
-- - -- -
- - - - -

re
-- - -
-

- - --
te
-
is
- -
- -
- -
eg

-
- - -

nR

- - - -
- - -
- -
U

- - -
- - - -

- - -

- -

- -
- - - -
-- - -- -
- - -

- - -- -

- -
- -- -- - - - -

-- - - -

d
- - - -
-- - - -- --

re
- -- - - --
-- -- - - - -- -
-
te
--- - --- --- - -
-

- - -- -
is
- - - - -
- - - -
eg

- - - -- -
- - - - - -
- - -
nR

- -
- - -
- -
- - - - - -
U

- -
- - -

- - - - -
- - - -

- - -
- - - --
-


-- -

Processor

FSB

GFX Root Complex


DDR
PCI Express SDRAM

d
GFX PCI Express

re
POWERGOOD PRST#
PCI
IO Controller Hub
te
(ICH) IEEE
PERST# 1394
is
eg

Add-In Add-In
Switch
nR

PCI Express
PCI Express Link
SCSI
to-PCI-X
U

PRST#
PCI-X

Gigabit
Ethernet

- -

- -
- - --- -
- - --
- - -
-- - - - - -
- - - -
- - - - -

d
0 COM K28.5

re
1 Link # D0.0-D31.7, K23.7 (0-255) Bit 0 0 = De-assert Hot Reset
2 Lane # D0.0-D31.0, K23.7 (0-31) 1 = Assert Hot Reset
3 # FTS # of FTSs required by receiver to
4 Rate ID
obtain bit and symbol lock Bit 1 0 = De-assert Disable Link
D2.0 = 2.5 Gbit/s
te
Train Ctl 1 = Assert Disable Link
5
6 Bit 2 0 = De-assert Loopback
D10.2 for TS1 1 = Assert Loopback
is
TS ID
Bit 3 0 = De-assert Disable Scrambling
13 1 = Assert Disable Scrambling
TS ID
eg

14 D10.2 for TS1


Bit 4:7 Reserved
15 TS ID D10.2 for TS1

- - - - - -
nR

- - -
- - - - - -
- - - -- - - -
- -- - - - -
U

- - --

-- -
- -

- - -
- -- --

- - - -- --
- -- -


-- -

- - - -
- - - -
- - - -

- - - -
- - - -
- - - - - -
- - - -
- -
-- - -
- -- -

- - -

d
re
- - -- - - -
- - -- - - - -

-
te
-
- - - -
is
- -
- -- -
eg

- - -
- - - -
- - - - -
- - - -
nR

- - - - - - -
- - - - -

- - - - -- -
- - - - - - -
U

- -
- - - - - -
- - - -
- - - -- - -
- - - --

- - - - - -
- - - -
- -
- - - - - - -

- -

- - - -
- - - -
--

- - -
- - - - -
- - - - -
- - -
- -
- --- - - - - -

d
- - - -

re




15 12 11 10 9 8 7 6 5 4 3 2 1 0
- 2.2 2.2 2.2 2.2
te

-
Discard Timer SERR# Enable - -
Discard Timer Status -- -
is

Secondary Discard Timeout


Primary Discard Timeout
- --
Fast Back-to-Back Enable
eg

Secondary Bus Reset - --

Master Abort Mode


- - -

VGA Enable
ISA Enable - -
SERR# Enable
-
nR

Parity Error Response


-
-
-

-
-
- -

-
U

- - --

--


-- -

- - -

Processor Processor

FSB

PCI Express
GFX
GFX Root Complex
DDR

d
SDRAM
Secondary Bus Reset

re
Bit Set
Switch A Switch C
1
te
10Gb PCI Express
Switch B SCSI
Ethernet to-PCI
is
Slots

PCI
eg

Gb
Add-In IEEE
Ethernet S
IO 1394
COM1
nR

COM2
U

- -

- - - -

Processor Processor

FSB

PCI Express
GFX
GFX Root Complex
DDR

d
SDRAM

Secondary Bus Reset

re
1
Bit is Set
Switch A te Switch C

10Gb PCI Express


Switch B SCSI
Ethernet to-PCI
is
Slots
PRST#
PCI
eg

Gb
Add-In IEEE
Ethernet S
IO 1394
COM1
nR

COM2
U


-- -

-
- - -
- - - - - - - - -
-- - - - - -
- - -- -

-
-- - - -
--

- -

d
-- - - - - -
-- -- -- -

re
- - - - -
- - - - -- -
-- - - - - - - -- -
te
- - -

- - - -
is
- - -
- - --
- - -
eg

-
- -
-- - -
nR

-- - - -
- - -
-- -- - - -
- - - -
- - -
U

- -


- - - - -
- - - -
- --
- -
-

-
- -
- - - - -

d
- - -
-- --

re
- -
- -- -
- - - -
te
- - -
- - - - ---
- -
is
-
- - -- -
-
eg

-
- -
nR

- - - - -
--
- - -- -
- - - -
U

- - - - ---
- -
-
- -


U
nR
eg
is
te
re
d


-
- - - -- -

d
- - - - - - -
- - - - --

re
- -

-
te
- -- -
- --
is
-- - -
--
eg

-- - --
- --


nR

-- --
- - -
- --
-- -
U

- - -
- - -

499
PCI Express System Architecture


- - --
- - - - -- -
- -- -
- - --
-- - -
- -
-

d
- - - - --
-- -

re
-
- - -
te
- -


is
--
- -- - -
eg

-

- - - --

nR

- - - - -
--
- - - -
- - -
- - - -
U

- - - -
- -
-

500
Chapter 14: Link Initialization & Training

Memory, I/O, Configuration R/W Requests or Message Requests or Completions


(Software layer sends / receives address/transaction type/data/message index)
Software layer
Transmit Receive

Transaction Layer Packet (TLP) Transaction Layer Packet (TLP)


Header Data Payload ECRC Header Data Payload ECRC

Transaction layer
Flow Control
Transmit Receive
Virtual Channel

d
Buffers Buffers
Management
per VC per VC
Ordering

re
Link Packet DLLPs e.g. DLLPs Link Packet
Sequence TLP LCRC ACK/NAK CRC ACK/NAK CRC Sequence TLP LCRC
te
Data Link layer De-mux
TLP Replay
Buffer
TLP Error
is
Mux Check

Physical Packet Physical Packet


eg

Start Link Packet End Start Link Packet End

Physical layer Encode Decode

Parallel-to-Serial Link Serial-to-Parallel


nR

Training
Differential Driver Differential Receiver
(LTSSM)

Port
U

- - -
-- - -
---- - - ---- -

- - - - -
- --
-- - - -
- -
- - -

501
PCI Express System Architecture

- - - -
-- - - -
- -- - - --
- -
- -

Example 1 Example 2
Neither device A nor B Device B
supports Lane Reversal supports Lane Reversal

d
Device A Device A

re
(Upstream Device) (Upstream Device)
0 1 2 3 0 1 2 3 0 1 2 3 0 1 2 3
te
After Lane
is
0 1 2 3 0 1 2 3 Reversal

3 2 1 0 3 2 1 0 3 2 1 0 3 2 1 0 Before Lane
eg

Device B Device B Reversal


(Downstream Device) (Downstream Device)

Board designer has to crisscross Board designer can wire Link with
nR

Lanes to wire Link correctly. Link parallel wires. Lane Reversal reverses
introduces signal interference order of Bs Lane numbers so that Lane
Numbers now match up
U

- --
- -
- - -- ---- -

- - --
- - --
- - -

502
Chapter 14: Link Initialization & Training

Before and After Polarity Inversion

Device A
(Upstream Device)
D+D- D+D- After Polarity
D- D+ Inversion

After Polarity
Inversion D+D-
D- D+ D- D+ Before Polarity

d
Device B Inversion

re
(Downstream Device)
te
-
- --
- - - -
is
-- - - -
- - -
eg

- - -
-- - -

- - - -
nR

- - -

- -
--
- - -
U

- - -- -
-
- -
--
-- - - --
- -
- - - - -
- - --
- - -
- - - --

503
PCI Express System Architecture
-- - -

- -
- - - - -
-
-- - - - - -
-


-
-

d
- - -

re
- - --
te
TS1 or TS2

0 COM
is
K28.5
1 Bit 0 0 = De-assert Hot Reset
Link # D0.0-D31.7, K23.7 (0-255)
2 Lane # D0.0-D31.0, K23.7 (0-31)
1 = Assert Hot Reset
eg

3 N_FTS Number of FTSs required by receiver


Bit 1 0 = De-assert Disable Link
to obtain bit and symbol lock
4 Rate ID
D2.0 = 2.5 Gbit/s 1 = Assert Disable Link
5 Train Ctl
6 Bit 2 0 = De-assert Loopback
nR

1 = Assert Loopback
TS ID D10.2 for TS1, D5.2 for TS2
Bit 3 0 = De-assert Disable Scrambling
13 1 = Assert Disable Scrambling
14 TS ID D10.2 for TS1, D5.2 for TS2
TS ID Bit 4:7 Reserved
U

15 D10.2 for TS1, D5.2 for TS2

Electrical IDLE FTS SKIP

COM K28.5 COM K28.5 COM K28.5


IDL K28.3 FTS K28.1 SKP K28.0
IDL K28.3 FTS K28.1 SKP K28.0
IDL K28.3 FTS K28.1 SKP K28.0

504
Chapter 14: Link Initialization & Training

-
- - --
-
-- -

-- - -
-- --

- -
-- - -
-

d
- - -
--- -

re
- -
--
- - - - -
te
- - - -
- -- -
- - -
is
--
- - - - -
- - - -
eg

- --
-
-
- - -
nR

- - -
- -
-
-- -
U

- -
- - -- -
- - - -
- - - - - -
- - - -
- - -- -- -
- -
- - - -
- - - -
-

505
PCI Express System Architecture

- -
- -
- -
- - -
- - -
-- - -- -
- -
--
- -- - - - -
- - -
- - -
- -
- - - -

d
- -
- -

re

- -
te
- -
is
-
eg

- - -
nR

-- -
-

- -
U

- -
-

- -

506
Chapter 14: Link Initialization & Training


-
--
- -

--
--
-

d
-

re
-
-


te

is

eg

--- -- -
- -- - - -
- - -
- - - - -
nR

- -
- - -
-- -
- - -
U


--- -- - -
-- - -- -
- - - - -
-- -
- - - - -
- -
-

507
PCI Express System Architecture


--- -- - -
-- - - -
- - - - -
- - - -
-

re
-- --
- - --- ---
te
- - - -
- - - - -

--- --
is
- - - - --
-
eg

--

--
nR

--
--

- -
--
U

508
Chapter 14: Link Initialization & Training

- - -
-- - - -
- - -
- - - - -
- -

- - -
- -
- - - - - -
- --

-
-- - - - --

d
- -- - -

re
-
- - - -
- -- - -
- ---
te
- --
is
eg
nR
U

509
PCI Express System Architecture

d
re
te
is
eg
nR
U

510
Chapter 14: Link Initialization & Training

-
- - --

- - - - - --
- - -
- -- - - -
- - -
- -
-- - - -
- -- -

re

- - - - -
- - - -
te
- - - -
- -- --
- --
is
- -- -
- - -
- - -
eg

- --
-


nR

-
- --
- -
-
U

- - -
- - - - --
- -
- - - - --
- - - -
- - -
- - - - -
- - -
- -- -
-- - -

511
PCI Express System Architecture

- - - - -
- - -
- - -
- - - - - -
--
- - - - -
- - - - -
- - - -
- - - - --
- - - -
- - - - -
- - - -
- --

d
- - - -
- - - -

re
-
-
- - - -
te
- - - -
- - - -
- -
is
- - - - -
- -
- - -
eg

- - - - - -
-
- -
-
nR

- - -- --
- - -- - -
- - - -
- - -
U

- - - -
-- - -
- - - - -
- - -- - -
- - -
-- -
- -
- - - - - - - -
- - - - - - - -
- - --

512
Chapter 14: Link Initialization & Training

- -- -
-
- - -
- - - -
- - - -
- - -- - -
-
- - - - -
-- - - -
- - -
- - -
- - - -
-- - - -

d
- - -
- - -

re
- - - - - -
- - -
- - - -
-
te
- -
is

--- - --
eg

- -- ---
- - --- - ---
nR


- - - - -
- - -
U

- - - - - -
- - - --
- - --
--- -- --



- - - -
--

513
PCI Express System Architecture


- - -
- -
-
- - -
-
- - - - -
-- - -
- -

- - -

d

- - - - -

re
-

- - - -
te
- -- -
- - - -
- -
is
- - -
- -
- -
eg

- -- -

-
- -- -
nR



- -
- - - - -
U

- - - -

- -
-
-
-
- - - -
- - - -
- -
-

514
Chapter 14: Link Initialization & Training

- -
- - - - -
- -
- -
- -
- - -
-

d
Entry from Reset.
Also from Disabled,

re
Loopback, L2, Polling,
Configuration or
Recovery
te
No Electrical
Idle on Link or
is
12 ms timeout Receiver
Detected

eg

No Detect
12 ms Charge or
DC common mode
voltage stable
nR

Exit to

U



- - - - --
- - - -
- -- --- -

515
PCI Express System Architecture



-- - -
-

- -
- - -
-

- - -
-
- - - -
- - -

d
- - -
-- -

re

- - -
-
te
-
-- - -
- - -
is
- - -
- -
- - - - -
eg

- - - k-


-
nR

- -
- - -
- -
- - - - -
U


-
- - -
- -
- -
- - -
-
- - - -
-- -

516
Chapter 14: Link Initialization & Training


- -
- -- -
- - -- - - -


-
- - - - - -
- - - - -



- -

d

- - -

re
-
- - - - -
- -
te
- - -
- -
- - -
is
- - - -
-
- - -
eg

-- -

-- - -
- - -
nR

-
-
- - - - - -
-
U

- -
-
- -- -

--- - -- -
-
- - -

517
PCI Express System Architecture


- - - -
- - -
- -
- - - -
- - - -
-

- -

d
-- - -
-

re
- - - -- - -
- -- - - -

te
- -
- --
- - - -
is
- - -

- - - -
eg

- -- - - -
- - - - --
- - -
---
nR

-- -
- - - - -
- -

- - -
U

- - -
- -



-
- -
- -
- - - -
- -

518
Chapter 14: Link Initialization & Training


- - - - - -
- - - -
-
- -
- - - - -
- -

- -

d
re
Exit to
TS1s/TS2s with
Entry from Lane# and Link# set
te
Detect to a value other
than PAD
48 ms
is
TS2
Received with
Higher Speed
Exchange

(Electrical Idle,
eg

1024 TS1s Bit/Symbol Lock (Polarity Inversion)


Change Speed)
8 TS1, TS2 (or complement) Rx on ALL 8 TS2 Rx. Tx 16 TS2
No exit from Electrical Electrical Lanes or 24 ms timeout and ANY
Idle on at least 1 Lane No Higher Speed ID
Idle Exit Lane Rx 8 TS1, TS2 and ALL Lanes
detect exit from Electrical Idle exchanged
nR

Exit to

U



- - - -- -
- - - -
- - -

519
PCI Express System Architecture

- -- - - - -
-- --
- --- -
-

- - -
- - - - - -
- - - - - -
- -

Entry from
re
Polling or Recovery
te
is
Link
eg

Exit to
Directed Configured
(Lane Width and (Idle Symbols
Lane Reversal) sent/received)

2 ms timeout or
nR

Directed Rx 2 TS1 with 8 Idle Rx,


Link/Lane#=PAD 2 ms Tx 16 Idle
timeout

Exit to Exit to Exit to


U

Full-On Power State


Packet transmission/
reception begins

520
Chapter 14: Link Initialization & Training



- - - - -
- - -
- - --- - -


-

- -
-- - -
- - -
- - - -

d
-
-- - -

re
--
-- -
- - - -
te

- --
- - -
is
- -
--

eg

-- -
---

- - - -
nR

- - -
- - -
-
- - -
U

-
- -
- - -- -
-
- - -
- - -
- - -

521
PCI Express System Architecture

- - -
- - - -
- - --
- - -
- - -
- - - -



-- -
---

-

d
- - -
--

re
- -- -- -
- -
-- -
te
-
- -- - -

is
- --
- - - -
- ---
eg

-- -
-

- - --
nR

- - -
- - -
U

- - -
- - - -
- - - - -
- -

- - - --
- - -
--
- - - --

522
Chapter 14: Link Initialization & Training

- - - - - -
-- - -
- - - - -
-

- -
- -
- - - - -
--- -
- -

--
- - --- -

d
- - -- - ---
- - - - -

re
- -

- - - - - - -
- - - -
te
- - -
- - - - --- -
- -
is
--
eg

- - --- -
- - - -- - -
- - - - -
- - - - -
nR

- - - - -

- - - - -
- - --
- - -
U

- --
- - - -
- - -
- - - - - -
- - -

- -

523
PCI Express System Architecture

- -

x8 x8

Virtual
Virtual
PCI PCI
Bridge 0 Bridge 0

OR
Virtual Virtual Virtual Virtual Virtual Virtual

d
PCI PCI PCI PCI PCI PCI
Bridge 1 Bridge 2 Bridge 3 Bridge 4 Bridge 1 Bridge 2

re
x2 x2 x2 x2
x4 x4
te
is
- -
eg

-- - -
--
- -- -
- - - - - --
nR

- - - --
-- -
- --- -
-- - - -
U

---

- --


- -
- - - -
- - -
- - -- -

524
Chapter 14: Link Initialization & Training

- --
- -
- - - - - -

- - -- -
- - -
- - - -
- - -
- -
- - - -- -

d
- -
- - -

re
- -
-- -- - -
-

te
- - - -
- - --
- - -
is
- - -
- - -
- -
eg

- - --
- ---
- - -
- - -
nR

- -
- -

- - -
- - - -
U

- - -
- - -
-

525
PCI Express System Architecture


- - -- -
-
- - -- -

- -- -
- -

- - - -
- - -
- - -
- -

d
- - - -
- - - -

re
-
- - -
-- - - -
te
- - -
- - -
- -
is


eg

-
- -
- -
nR

- - - -
- -
- - - - -
-
U

526
Chapter 14: Link Initialization & Training

d
re
te
is
eg


- - - -
- -
nR

-- - - -
- -
- -
-
U

- - --
-- - -
- - -

- - -- -
-- -
- - - - -

527
PCI Express System Architecture

- -- - -
-
- -
- - - -
- - -
- - -
- -

- -
- - - -
- -

d
- - -
- - -

re
- - -
- -

- - -
te
- - - -
-
is

eg

- - - - -
-- - -
- -
-- -
nR

- -- -
-
- - --
-
-
U


- - - -
- - -
- - - -
-
- - - -
- -
- - -
- -- - - -
- - -

528
Chapter 14: Link Initialization & Training

- - -

-

-
- - -
-
- - -
- - -

d
-
- - -

re
- - - -
-

te

is
eg
nR
U

529
PCI Express System Architecture


- - - -
- - -
- - -- - -
- - -

- - -
- - - -
--- - - - -
- - - -
- - - - -
- -- - - -

d
- - -

re

- - -- -
-- -
te
- - - - -
-
- -- -
is
- - -
- - -
eg

- - - -
-- - - -
- - -
- - -
nR

- -
- -- - -
- -
- -
U

- - -
- - -
-

- - -
- -
-

530
Chapter 14: Link Initialization & Training


- - - -
-- - -
-- - --
-- -

- -- - -
- -

- - -
- - -
-- - -

d
- - - -
-

re
- - - - - -
- - -
- - - -- -
te
- - -
- -
- -
is


eg

-
- -
-
nR

- - -
- - - -

- - - - -
- - -
U

- -
- - - -
- -
- - -

- - -
- - -
- -
- - - -
-- - - - -

531
PCI Express System Architecture

- -
- - -
-- - - -
- - -

Device A (Switch)
(Upstream Device)

One-x4 capable

d
Two-x2 capable
Two-x1 capable

re
0 1 0 1 0 1 0 1 Physical Lane Numbers
3 2 3 2 1 0 1 0
Logical Lane Numbers
te
After Link Training
is
3 2 3 2 1 0 1 0
3 2 3 2 1 0 1 0 Physical Lane Numbers
eg

One-x4 capable
One-x2 capable
One-x1 capable
nR

Device B
(Downstream Device)
U


- - - - - -
- - -
- - -
- -
--
- -- - - -
- -

532
Chapter 14: Link Initialization & Training

- - - --
- - - -
-- - -
- - -
-- - -

-- -
-
- -
- -
- - - --
- -

d
- - -
- -

re

-
- --

te
- - - -
- -
- -
is
--
eg

- -
- -- - - -
- -
- - -- -
nR

- -
- - - -

--
-- -
U



- -- - --
-

-
- -
-- - -
-

533
PCI Express System Architecture

- -
-
- - -
- - -

- -- - -
- - - -
- - - -
- - - - --
- - - - -- -
- - - -
- - - -
-

d
-
-- -

re

-- - - --
- -
-
te
-- -
- - - -
is


- -
eg

- -

- - - -
- -
nR

- - - -
- -

- -
U

- - -
- - -
-



- -
- -

534
Chapter 14: Link Initialization & Training


- -- - - -
- - -
- - - -
- -- - - -
- -- -
- -
- - --
-- -
- - - -


- -

d
- - -

re

- -
- - -
-
te

- - -
is
-


eg


- -
- -
-
nR


- -- -- -
-- - -
- -- -
U

- -
- - -
- -- - -
- - - -
- - - -
- - - - - -
- - - -
-
- - - -
- - -- -

535
PCI Express System Architecture

-
- - - -
- - - -
-
- - - -
- - -
- - -- -
- -
- - - -
- -
- - -
- - - - -
- - - -

d
-- - - - -
- -

re
- - - - -
- -

te
- -
- - - -
-
is

-- -

eg

- -
--
nR
U

536
Chapter 14: Link Initialization & Training

Entry from Exit to Exit to


L1, L0, L0s Loopback Configuration

Directed
Directed Or 2 TS1s
Send TS1s Send TS2s With Lane#
8 consecutive
on all lanes 8 consecutive on all lanes PAD
TS2s received
TS1s/TS2s received and No Link/Lane
no Link/Lane change change
(bit/symbol re-lock)
Exit to
(Send idle data)
Disabled

d
24 ms timeout or After 24 ms timeout, < 8 Rx TS2 with 48 ms 8 Idle Directed
TS1/TS2 Rx with TS1/TS2 Rx with Link/Lane change timeout Symbols
Link/Lane change no Link/Lane change on 2 ms Directed

re
ANY Lane timeout
or directed
Exit to Exit to Exit to Exit to Hot
Exit to L0
Detect Configuration Detect Reset
te
is


eg

- - - --
-- - - -


nR

- - - --
-- -
-
- - - - -
- -
U


- - -
---
-- -
-


- -- - --
-

537
PCI Express System Architecture

-
- - - - - -
- - -
-- -

-

-

-
- - - - -- -

d
- - -

- -

re
te
-- - - --
- -
is
-

- - - - -
eg

- -
- ---
-
- --
nR

- -
- -
-
- - - - -

U

-
- - -
- - -
-
- -
--
-
- -
- - --- - -

538
Chapter 14: Link Initialization & Training

-
-
- -
-
-- - --
- - -
--
-- -- -

- - - -
-- - -
-
- - -

d
--- -

re
- ---

- -
te
is
Entry
from L0
eg

Transmitter sends
Electrical IDLE Transmitter sends
ordered-set N_FTSs on all Lanes
TTX-IDLE-MIN
= 50 UI Tx_L0s.Idle
nR

Directed
Tx_L0s.Entry (Tx in Electrical Tx_L0s.FTS
Idle low power)

Transmitter sends
U

One SKIP ordered set

Exit to
L0

539
PCI Express System Architecture

-
-- - -- -
-

-

- - - -

-
- -
- -
-

d
- -

re
-
- -
-
te
-
- - -
-
is
- - - -

eg

-
-
- - - -
nR


-
- -
-
- - - -
U


- -
- - -
--

- - -
- - -

540
Chapter 14: Link Initialization & Training

Entry
from L0

Receiver detects
Electrical IDLE
ordered-set
TTX-IDLE-MIN
Electrical
= 50 UI
Rx_L0s.Idle Idle Exit
Rx_L0s.Entry (Rx in Electrical Rx_L0s.FTS

d
Idle low power)

SKIP N_FTS

re
Ordered timeout
Set

Exit to Exit to
te L0 Recovery
is

eg

- - - - - -
- - -
-
nR

- - -
- -
- - -

-- - - -
U

- - ---



- - - - -
-

- -- -
-

541
PCI Express System Architecture

- -

- - - -



- - - -


- -
--

d
- - -
- - -

re
-- -
-

te
-
- -
is

eg

Entry
from L0
nR

Directed and
Electrical Idle
Ordered set Remain in
Received and
Transmitted TTX-IDLE-MIN= Electrical Idle

50 UI L1.Idle
U

L1.Entry (Electrical
Idle low power)
Tx in Electrical Idle
Directed or
Electrical Idle Exit

Exit to
Recovery

542
Chapter 14: Link Initialization & Training


- - - -
- - - -
- -
- - -

-- - - -
- -

d

- - - - -

re
- - --

- -
te
- - -
-
--
is
- -
-
- - - -
eg

- - - -
-

- - -
nR

- - -
- -

-

U

- - - -
- - -
- - - - -
-
- - - -

- -

543
PCI Express System Architecture

Entry
from L0
Directed and
Electrical Idle
Ordered set Beacon detected
Received and Send Beacon
(Downstream Switch ports) (Upstream ports only)
Transmitted
Directed to send Beacon
(Upstream ports)
L2.Idle
(Electrical Idle low L2.TransmitWake

d
power. No DC CMV)

Rx terminations Exit from

re
Enabled Electrical Idle
Rx looking for exit Detected
Directed or
Beacon detected
te
(Downstream Root ports) Exit to
Exit from Elec. Idle Detect
(Upstream Lanes)
is
eg

-
- - - - - -
- - -
nR

-- - -


- - - -
U

-
-
- - - - -
- - - -
- - - -- -
- - - - -
- - - - -


-

544
Chapter 14: Link Initialization & Training

Recovery

Directed

Tx for 2 ms TS1s w/ Hot Reset bit 0 of symbol 5 set


Hot Reset Or Rx two TS1s with Hot Reset bit set

d
Timeout

re
2 ms te
Exit to
Detect
is
eg

-
- - - -
- --
nR

- - - -
- -- - -
-- - --
- -
U


- - - - --
- -
- - --
- - -
-
-
- - - -
- -

545
PCI Express System Architecture


- - -
- - -- -
-

Entry
From Configuration
Or Recovery

d
Tx 16 TS1s w/ Disable bit 1 of Symbol 5 set

re
And Tx Electrical Idle ordered set
te
Disabled
(Electrical Idle)
is
Directed or
Electrical Idle Exit or
No Electrical Idle
eg

ordered set after 2 ms

Exit to
nR

Detect
U

546
Chapter 14: Link Initialization & Training


- - - -
- - - -
- - - -
- - -
- - --
- - - -

- - - -- --
- - - - -
- - - -

d
- - - - -- -
- - -

re
-- -
- - - --
- - - -
te
--

- - - --
is
- - -
-
eg


nR

- - - - -
-

- - -- -
U

-
- -


- - - - -
--

- - - -
- - -- -

547
PCI Express System Architecture



- - - - - - -
--

- -- -- -
- -- -
-


- -- - - -
- -
--- -

re

- -- - - -
- - -
te
- --- -


is
- -- - - -
- - -
- - --
eg

-
- -
nR
U

548
Chapter 14: Link Initialization & Training

Entry
from Configuration
Or Recovery
Slave: Enter Electrical
Idle for 2 ms
Master sends valid Master: Tx an
Master receives 8B/10B data Slave: Electrical Idle Electrical Idle order
Identical TS1s; Slave required to Detected or Electrical set and enter
Slave has retransmit exactly Idle order set received Electrical Idle for 2 ms
entered for 1 ms
Master Tx
Loopback Master: Directed
TS1s w/Loopback Loopback.Entry Loopback.Active Loopback.Exit
Bit set

d
re
Timeout less than
100 ms
Exit to
Detect
te
is
--
eg

- - -- -
-
nR

-
- -
- - ---
U


- - - -
- - - -- -
-

549
PCI Express System Architecture

- -

d
re
te
is

eg

- - -- -

-

nR



- -
- - - -
-- - -
-

550
Chapter 14: Link Initialization & Training

- -
- - -
- - ---


- - - -
-- - -
- - --

d
- - - - --

re
- - - -



te


is



eg


- - - - -
nR

--- -
- - - - - - - -
- -

- - - - -- -
- -
- - - -

551
PCI Express System Architecture

- -

d
-
re
te
- -
- - ---
is
-
- - - - - -
eg

- - - -
- -- -
- -- - -
- --
nR


- - - - -
U

- - - -
- - - - -
- - -


- - - --- -
- - -
- - --- -

552
Chapter 14: Link Initialization & Training

- - - - -
-
-- --

d
re
te
is
eg
nR
U

553
U
nR
eg
is
te
re
d

d
- re
te
is
eg
nR
U
U
nR
eg
is
te
re
d

-
- - -
- - -
-- - -

d
-
-- - ----

re
- --

-
te
- -- -- - -
-- - -
is
-


eg

- - --
- - -
nR

-
-- - --
- - -- -
- - - ---
-
U

- - -


-- -
-- - --
- -- --
- -


-- -

- -- -
-- - -
-- -
- - - -
--
- -

- - - - -- -
- - --
-- - -
- -
- - -

d
- -
- -

re
- - - -
- -- --
- - -- -
te
- - -
-

- - -- - -
is
-- -
- --- - -- -
eg

- -
--
nR

-
-- -

-- - - -
U

- -
-
- - - --
-

- - -- -
- -- -- -
- --
- - - --

--
-- -
-- --

- -- - -
- -
- - -
- - - -
- -
-- -
- - --

d
-

re
-
te
is
eg
nR

- --
- --
U

- - -

- --
-- - - -

-- - --
- - -
- -
-


-- -

- - -- -
-
- - -
- - -- -
- - - - - -
-- - - -
- - - -

-- - -

- - -
- -- -
- - - - - -

d
- -
- - -

re
- -
- --
- - -
- - - - -
te
- - -
- --
- --
is
-
-- - - --
eg

- --
- -
- -
nR

-- - -
-

-
- -
U

- -

- - - - - -
- - -
-- -
- -

- - - --
- -
- - -
- - -

d
re
te
is
eg
nR
U


-- -


- --
- - - - - -
-- -
--- - - --
- -
-- - -

- -

d
- -
- -

re
- - - -
- -
- - -
te
is
- - - -


eg



nR

- -- - -
-- -- - -
U

- -

d
re
te
is
eg
nR
U


-- -

- - -
- - -
- -
- -

-
- - -
- -
- -
- -
- - - -

d
-- - -
- -

re
- - -
- -
-
te
- -
- - - -
- -
is

- - - -
- - - --
eg

- - - --
- - - -
- --

nR

- - - - --
- - -
- ---
U

- - - -

- -
- -- -
- -
- - - - - -
- --
-- - - -

- - -
-- - -
--


- --
-

- -- - --
- - -
-- - - - -- -
--

d
- ---

re
- -
- - -
- - - -
- - -
te
- - -
- --
-
is
--
eg
nR
U


-- -

d
re
te
is
eg
nR
U



-
- - -- - -

d
-- - -
-

-
re
te
- - - --
- - -
-
is
-- - --
- - -- -
eg

- - - ---
-
- - -


nR

-- - - -
---- -- - -
- - - -
U

- - - -
- - - - ---
- -- - -
- - - - -


-- -

-- - - -

-- -
- - -
- - -
-
- - - - --
- --
- -- --
-- -- - -- -

d
- -- --
-- - -

re
-

- - - --
te
- - - - ---
-- -
is
- - - -- ---
- - -
-
eg

- - ----
-- -
-- - - - - -- -
-- - - -
nR

- -- -
--
- - - -
- -
- - - -
U

- -
- --
-
---- -
- - - --
- - -
- - -

-
- - -

- - - -
- - - - ---
- -
- -
- - -
- -


- --
-- -- - --
-- -

d
-- -

re
- - -
- -- - -
- - --- -- - --

te
--
is

- - - -
eg

- - - -
- - -
- - -- -
- - - -- -
nR

- - -
- -
- --
- -- - -- -
U

- -- -

--

- -- - -
--- -- -
- -- -
- -
-


-- -

--

-
- --
- - - -
-- -- -- - --
- -- -- -
- -
-- -
- -

- --

d
- -- - -
- - - -

re
- - -
- -- --
--- - -
-
te
- - - --
- - -
- - -- -
is
- - - -- -
-- --
- -- - -
eg

-- --- - -- -
- - -
-- - - -- -- -
- -- - - -
nR

--- - -- -
-
- - -
--- - -- -
- -- -
U

- --
-- - - --

- --
-- - -- ---
- - -

--

-- - - - -- - -
-- -- -
-- - - - -
- ----
-- - - - - --
- - -

- - --
- - -- - -
-- -- -

d
- - - - --
- --

re
- - - - --
- -- - -- - -
- - -- -
- -- - -- -
te
- -- - --
-- -
is
-- - - -- -
-- -- - -- - -- - -
-- - -- -- -
eg

- -- - - - -

--
-
nR

- - - --
-- -
- -

- -
-- - - -
- - --- -
- -


-- -

-
- -- -
- - - - -

- - - ---
- - - - -
- -
- - - - -
-
-- - - - -
-- -

d
--
- - -

re
- - -- -
- -
-

te
- -
- -
- - - -- - -
is
- -
eg

- -- -- --
- --
- -
nR

- - - -


-

U

-- - - -
-- -
- - -

- - - -

-- - - -
- - -- - --
-- -
- - - -
- - -
--
- - -
-- - - - - - - -

d
-
-- -

re
--- - - - -
-- - -
- - - -
te
-

-- - - -
-
is
- - - -
- - - - - -
eg

-- - - - -

-
nR

- - - --
-
-- - -
U

- - -
-- -
- - - - - -


-- -

- --- -
-- -
-
-

- --- -
-- -
- -
- -- - -

d
- - -

- - -

re
-
te
- - -


is
-

eg

-
nR

- -- -
-
-
U


- -
- -
-- - - - - - -- - - --
-- - -
- -- - -
- - - -
-

- - -- --
- - -- - -
- -- - - -
- - --- --

- - - -
- - - - --
-

- - - -
-
- - - -

d
-- - -- - -
-- - - - -

re
- - - -

-- --
te
-- - -
-- - --
- -- - -
is
- -
- - - - -
eg

--
-
-- - - -
nR

--
- - - -
- - - - - -
- - --
U

- - -- -
-- --

- - -- -
-- - - - -
- -
- -- - -
- --- -- -
- - - -


-- -

-- -
-- - -
- - - --
-- - - --
- - - - -
-- - - -
- - - --

-- -

d
- - -- -

re
-

- - - -


te
- - - -

- - -- - -
- - - -
is
- -- - -
--
eg

- --
- -
- -
nR

-- -
-- --
- --- -

--
U

- -- --
-

- -- -- -
- - -- -
-- - -
---

-- - -


- - - -
- -- -

d
- -
- --- -- -

re
--

-- -
te
-- - --- --
--
is
-
-- - -- - -
eg

- - - -
- - -
-- - - -
-- - -- -
nR

- -- -
-- -
- -- -
-- -
U

--- - - - - -
-

- -
- -- - - --
- - - -
- - - - - - -
- --


-- -

- - - -
- -
-- - -
-- - --
- - -
- -
- -
- --- - --
- - -
-

--- - - - - -
- -- - -- - -

d
-- - ---

re
- - - -- --
te
is
eg
nR
U


- - -- - - --
-- - -
- - --
- - - -- --
- -- - --
--
-- -- --- -

- - - --

d
- - - -
-- - -

re
- - - -
- -
-
te
- - - -
-
- - -
is
- - - - - -
- - - - -
- - - - -
eg

-- - -
- - -- -
-
- -- -
nR

- - - -
-
-
- - -
U


-- - -
- - - -
- -
- - - -- --
- - -
- - - -
- -


-- -

-
-
- - -- -- - -
-

-- -- -
-- - -- -
-- -- - -- -
-
- - - - - -- -

d
- -- -
- -

re
--- -
- - -
-- - - -
-
te
-- - --
- - - - -
is
--- -- -
- -- -
-- - --
eg

--
-- - -- - -
- - -
-
nR

-- - - - -- -
- -
-- - ---
--- -
- -
U

-
--- -

-

---

- -- -
- --

d
re
te
is
eg
nR
U


-- -

- -
-- - -- - --
-- - -

- -- -- -
-- - -
- ---
- -
--
-- --
- - - -
-- - - -

d
- - ---

re
- - -
--- -- - -
- - ---
-- -
te
-- - - - -- --

is
-- - -- - -
-- -- -
-- - - -- -
eg

-- - -
--
-- - ---

nR

-- - -
-- - -- -
- - --
- -
-
U

- --

d
re
te
is
eg
nR
U

-
-- -- -
-- - -- -
-

---
-- -
- - --
- --
--- -- -


-- -

-- - - - --
-
-- - -
-
--- -
--
- -

- --
- --
-

d
- - -

re
te
is
eg
nR
U


-- - - -
- -- - - - ---

-
- - - - -
-
- - --
- - - -

d
-- - - -
- - - -- -

re
- - - -
- - - - - -
te
- -
-
-
is
- - --
- - - - - -
- -
eg

- --
- - - - -
- - - - - -
- - - -
nR

-- --
- --
- - - - -
-
U

- - - -
- -- - - - -
- - - --
- --


-- -

-
-- - - -

d
- -- -
-- -- - -- --

re
- --


te
- - - -
- -- - - - -
--- - -
is
- - - - --
-- - -
eg

- -
- - - --
- -
- -
nR

- - -
- - -
U


- -- -
- - - --
- - -
- - - --

-- -- --
- - - --
--
- --

- -
- - -

--
- -


-

--
-
-

d
- -- -

re


- - -
te
- - --


is
- - - - -
eg

- --
- -- -- -
- - -- -
- - - -- - -- -
nR

-- -

- - - -
U

- -
- --
- - -
-- --
- - - -
- - - - -
-- - - -
- -
- -


-- -

-- - -

--
- -


-

re
te
is
eg

- - --
nR

- - -
U


- - - -
- -- -

- --
- -- -- -
- - -- -
- - - -- - -- -
-

-- -

-- - - - -

d
- -
- -- - -

re
- -
-- -- - -
- -
te
- - - -
-- -- --- - -
- -
is
-
- -
eg

-- - -
nR
U


-- -

--
- -


-

re

te
is

eg

- - -
- - --
nR


- - - - - - -
- - -
U

- - -
- - -
-- -- - - --
-
- - - -
- - - - -

-- - --

- - -
- -
- -

- --
--
- -- -- -
- -- - --
- - - - --
- -- - -
-- -

d
-- - - - -

re
- -
- -- - -
- -- --
te
- - - -
- -- - - - -
-- --- -
is
- - -
- -
- -
eg

- - --
nR

- -- --
-
- -
- -
U

-
- - - -
-- -- -
-


-- -

--
- - -


-

--


--

re
-

-
te
-
is
- -


eg

- - --
- - -
- - -
nR

-- -
- -
- - - - -- -
- -- -
U

- - -
- - - -
- - -
- -
- - -
- -- --
-
-- - -

--
- - -


-





- -

d
re

- - -
te
- - - -

--
is
-- -- - --
-- - - -
eg

-- - -
- - -
nR
U


-- -

-- --

d
re
te
is
eg

- --

-
nR

- -
-

- - -
U

- - --
-
- - -
- - --
-

- - -
- - --
-

- --

- - -
- - --
-
- - -
- - --
-
- - -
- - --

d
-

re
- - -
- - --
-

te
- - -
- - --
-
is
- -
eg


- - -
- - --
-
nR

-- -
- - - - --
-
- - --
U

- -


-- -

- -


- -


k- - - - --
---

- - - - --
---

d
k- - - - --

re
---

- - - - --
---

te
is
- --
eg

- - - -- -
-- - - -
- - - -
- -
nR

-- -- - -
- -- --- --
-- - - --

- --
U

- -
- - - -
- -
-- -
--

- -

d
re
te
- ---
is
- -
eg

- -- -
- --
- - - - -
--
nR

-
-
-- - - - -
- - - - -

- - - -
- - - -
---

-- -


-- -

- ---

- -

-- -

--
-- - - -
- -
- - -
- - - - -
- -
- -- -

d
- -

re
- -
- - - - -
--
te
- - - -

-
is
- - - -
- - - -
- - -
eg

-
-- -
- -
- - -
nR

- -

- ---

- -

- -
-
- - -
-- -- -
- - - -
- --

- -- -

d
- - - - -

re
- -



te
- -

--
is
- -
eg

-- - - - - -
--
- - - -
nR

- - - -

- - - -
- - - -
-- -- -
U

- - - -
- - - -
- -
-
- - -

-- - -
-
-


-- -

-
- -

- -

d
re
te
is
eg

- - ---
nR



- -

-


-
U


- --


- --


-
-

- - ---



- -

-

-
-- - - -
-
-- - -
-
- - - - - -
-- - -

d
- -

re
- - - - -
--


te
- -
- - -
is

-- -
eg

- - -- - - -
- -
- - -
- - - -
nR

- - -

-
- - -
U

- - -
- -
- - -

- -- -
-
- -

- -
-
- - -


-- -

- - ---



- -

-

-
- - -
- - -
- -
- - -
- - --
- -

d

- - -

re

- - ---
-
te
-
- - -
is
- - - -

eg

- - - - -
--

- -
nR

- - --
- -- - -
-- -
- - -- -
U

- -
- - -
- - - -
- -


-
-

- - ---



- -

-

-- -
-
- -
- - -- - -
- - -
- - -
-

re




te

-
is
- -
- - -
eg

- - - - - -

nR

-- - -- - -

- -
-- - - -
U

-- - -

- -

- -- - -

- -


-- -

- -
- -

-
-
- - - - -
- --
- -
-
- - --
- - -
- -
--

d
-

re
- -
- - -- - --
-- - - -
-- - - -- -
te
-
- - -
is

-
eg

-
- - - -

- --
nR

- - -
- -
- -
U

- -
- -
-
- -
- - - - - -
- - - -
- - --
-- -

--

d
-

re

-

-

-
te
-

-
is
-

-
eg

--

-

-- -
nR


-
--

-

--
U



- -
-
-
- -


-- -

-

-


-- - - - -
-
- -
-
-
- -
-- - - -
- -

d
- -
-


re
te
- - - -- - -
- -- -- - -
is
-- -- --
- -- -- -- -
- - -
eg

- - -
- - -- -
- -
nR

- - -
--

- -

U

- -- -
- - -- -
- - - --
- - - -
- --

- - -
- - - - --
- - -

- - - --
- - - -- -
- - - -

- - - -- -
- -

- - -

- - - - - -

d
- - - -

re
- -
te
is
eg
nR

-
--
U


-- -

--

d
re
te
- - -
-- - -
is
- -

- -- - - -
eg

-- - - - - -
- - - -- -
- - - -
- - -- -
nR

- -- - - -
- -
- - -- -
--- - - - -
- -- - -
U

- - -


-- - - -
- - - -
- - -
- - --
-

--

- - - - - -- -
- - -
- - -
- - -
- - - - - --
- -

-- - -- - --
- -- -
-

d
re
--
te
is
eg
nR

- -- - -
--
- - - -
- -
U

-
-


-- -

d
re
-
te
- - - --
-- - ---
- -
is
- - - -
-- -- -- -
eg

-- - - -- --
nR

- -
U

- -

- -

d
re
te
-
is
- - - -

- --- -- -- - -
eg

-- - - - -
- - - - -
- - - - - --
-
nR

-
- - - -
- -
U

- - - - -- -
- - --- - -

- - -
- -
- -
k- - -
- -- - - -
-


-- -


- --- -

- ---
-
- - -
-
- --- -
-
- ---
-
- - - - - -
- --- -

d
-
- ---

re
- -
- - - - -
te
- - - - -
- - -

- - - - -
is
- - - - - -
- - - -
eg

- -

- -
- - - --- -
nR

- - -
- - -
- - -
-- - - - - -
- - -
U

- - - - -
- - - - - -
- -- -
- - - -

- - -
- - - -

- - - -
-

- --
- -
- - - - -
- -
-

-
- - - - -
- -- - -

d
- -- - - -
- -- - -

re
- - -
- - - - - -
- - - - -
-
te
- - - -
- - - - -
is
- - - ---

eg

- - - --- -
-
- -
nR

- -
-
- -

- - -
U

-- - --
- -
- -

- - - --
- - - - - - -
- - - - - - -
- -- - -


-- -

- - - -
- - - - - -
- - - - -
-- -
- - - -
- - - - -
- - - - - -
- -

- - -
- - -
-- - - - - - -
- - - -

d
-- - - - -


re
te
- - -- -
- - - - --
is
- - -- -

eg

- - - -
- - - -
- - -
- - -
nR

- - -
-- -
- -
-
U

- --

d
re
te
is
eg
nR

- -
U

- - - -
- - -
- - - --
- - - - -
- -

- -
- - --
- ---
- ---


-- -

- - - --
- - - - -
-


-
-- - - -
- -
- - --

- - - -- -
- --

d
- - - -
- - --

re
- - -
- -

- -
te
- -- - -- -
-
is
-
eg

-- - - -
- - - - --- -
- - - -

nR

- --- -
- - - -
- -- - --

U

- - -
- -
- - -
- ---
- -- - --
-- -

- - -
- - -
- - - - - -

-- -

- - - -
-
- - - -
- - -

-- - -
- - ---
- - ---

- - -

d
- -- -

re
- - -
- - -

- -
te
- -
- - - - -
- ---
is
- -- - --
-- -
eg

- -- -
- - - - -
- - -
nR

- -
- - - -
- - - -- -
-- - - --
U

--- - - - - -
-

- - -
- - - - -
- - -
-- - - -- -
-- - - - - -
-


-- -

d
re
te
is
eg
nR
U

- -- -
-
- - -- - - -
- - - - - -
- - -
- - - -
- - - - - -

- -
- -- -
-- -
- - - - -
- - - -
- - - - -
--- -

- ---
- --- - -
-- - -
-

d
- - - -
-

re
- - - -
- -
- - -- -
te
- -

- -
is
- - - --
- -- - --
eg

- - -
-

- -
- -- - - -
nR

- -

- -
- -
-- - - - -
- -
- -
- -- - -
- - - -
- - - -
-


-- -

- -

- - -
- - -
- - -
-

- - -

-- -
- - - -

d
- - -
- - -

re
- --
- -

- -
te
-- - - -
-
is
- - - --
- - -
eg

- -- -- - -
- -

- - - - -
nR

--
U

d
re
te
is
eg
nR


- -
- -
U

- - - -
- - --
- - - - --
- - - - -- -
- - --- --- -- --

- -- -
-- -
-- - - -
- -- - -


-- -

- - -
- - -
-- - -
- -
-

- - - -
- -- - -
- - - -
- - -
- - k-
- - - - - -
- - - - -

d
-

re
- -
- - - -
- - -- -
te
- - - -
- - - - -
- - - --
is
-
eg
nR
U

- -

d
re
te
is
eg
nR

- - - -
-- - - --
U

- - - - - - -
- - k- - - -
- - - -
- - - - -
- --
- -
- - - -
- - - -
- - - -


-- -

- -

d
re
te
is
eg
nR
U


-- - -- - -
- - -
- - - -
- - - -
--- -
- -
- -

- - -

-
- - -
- - - --
--
-
- - - - -
- - - --
-
-- -- -

re
- -
- - -
-- - - - -
te
- - - - - --
--

is
-- - - -
eg

- - -
- - -- - - - -
- -
- -
nR

- -
-

- - -
- - --
U

- - - - -
- -
- - - - -
- - -
- -
- -
- - -
- - -


-- -

- -


-- - -- - -
- -- - -
-- - -

- - -
- -
- -
k- - - k-

d
k- --
k-

re
- k- k-
-- k-
k-

te
- k- k-
- k-
is
eg
nR
U

d
re
te
is
eg
nR
U


-- -

-- -

d
re
te
is
eg
nR
U


- - -- -
- - - - - -
- -


- - -
-- -

d
- - - - - -
- --

re

te
- - -
is
eg
nR

-
U

- - - -
- -
- - - - -
-


-- -

- -

d
re
te
is
eg
nR


- - -
- - -
U

- - - -
- - - - - --
- - -
- -
-
- - - - -
- - - -
-

- -
-- - - -
- -
- - ---
- - - --
- - -
- --
- - - -
- - - -
- - - -
- - -
- -
- -- - -

d
- - - -
-

re
- -
- -
- --
te

- - - -
-
is
- -- -
- - - - - -
- - -
eg


-
- - - -
- -- -
nR

- - - - - - -
- - -
- - - - -
-
U


-- -

- -

PCI-XP

d
re
te
is
eg

PCI-XP
nR
U


- - -
-- -
- - - - --- - - - -
- - -

- - -
- -
- --

- - -- -
- - -
- -
- -
-

- -
- - -

- - -
- - - - - -
- - -

d
-
- - -

re
- - - -- - --
-
-- -- - - - -
te
-- - --
-

- -
is
- -- -
- -
eg

-
-- - - -
- -
- -
nR


- - - -
U

-
- - -
- -- - -
- - - -
- - - -
- - - -
-


-- -

- -- -
-- -
- - -

- -- -- -

d
re
te
-
is
- - - - -
- - - - --
eg

- -
- --- -
- -
nR

- - - -
-- -
- --- -- -
- - - -- --
U

- -- -
-- - - -
- - --
-

- -
- - --
- --
- - -
-

-- - -

- - - -
-- -
- -- - -

- -- -
- - - - - -
-- - - - -
-- - - - -
- - - - -
-
- - --

d
-- -
- - ---

re
- - --
-
- -- -
te
- --
- - --
- - - -
is
- - - -
-- -

eg

-
- - - -
- - -
-
nR

- - - -
-- - -
- -
U


-- -

d
re
te
is
eg
nR
U


- - -
- - -
- - - - -

- --
- --
-- - -
- - -
-- - --- - -- -
- -
-- -

d
re
-- -
te
is
eg
nR


- - -
- - -
U

- -
- - - -


- - - -
- - - -- --
-


-- -


- - -
- - - -
- - - -
- -- - -
-- - - -

- - - -- -
-- - -
- ---
- -- -

d
-- - - -- -
--

re
--- - --
-
te
-- - - - - -
--
-
is
- - - -
eg

-
- -- -
- - - -- - -
- -- - -
nR

-

- - - -
- - - - -
- - - - -
U

--- -
- -- -
- - -- -
- - - -

-
- - - --
--
- - - -
- - -- -

- -
- - - - -
-

--
-- - - -
-- - - --
- - -

d
--

re
te
is
eg
nR

PCI-XP
Endpoint
U


-- -

-- - - -
--

-

- - -
- --
-
--

d
- - -- - -

re
- - - - - --
-- - -
- - -- - - - -
te
-- --
-
- - -
is
--- -- - -
--- --
eg

- - - -- -
-
- -

nR

- -
-- - --
-
- -
-- - - - --
U

- - -
- - - -
- - - - --

-- --
- -- - - - -
-- - -

-- --- -
- - - -
- - - - - -
- - - --


- -

--- --

d
--- -- - -
- - - - --

re

- - -
- - --
- - - - - -
te
--- - -
--- -
- ---
is

-- - -
eg


- - -
nR

-- - --
- - - -- -- -
- - - -- - -
-- - - - -
U

- -- -
-- -- - -
- -- -
- - - - --
--


-- -


- - -
- - - - -
- - - -
-
- - -

- - - - -
-- -- - - - -
- - - - -
- -- -

d
-- - - -
- --- -

re
- - - -
- - -
-- -
te
- -- -
-- -- - - -

is
- -
- -
eg

-
nR

-- - - - -
- - - - - -
- - -- - - - -
-- - -
-
U

- -
- - -

-- - - -
- - - -- -
- - --
- -- -- - - -
- - - -
-- - - -

-- - - - -
- - - -
- - - -
- - -
- - - -
- - - -
-

- - -
-- - - - -
-- - - -

d
- - - - -
-- - - - - -

re
- -

-
te

-- - - - - -
is
- - -
- -
eg

- - -- - - -
- - - - - -
- -
-- - - - -
nR

- - - -
- - - - -
- - - - -
U


-- -

d
re
te
is
eg
nR
U


- - - - -
- - -
-
- -
-- -
- - - - -
- -

-- - - - -
- - -

d
- - -
- - -

re
- - -
- - - - - - -
- -
te
- - -
is
- -
eg
nR
U


U
nR
eg
is
te
re
d

d
re
te
is
eg
nR
U
U
nR
eg
is
te
re
d

-
- - --
- - -
-

d
-- - --
- - -- -

re
- - - --
- -
- - -
te
-
is
-- - - - -
---- -- - -
eg

- - - -
- - - - -
- - - ---
- -- - - -
nR

- - - -


- --
U

-- --
- -- -
- - -

649
PCI Express System Architecture

--- -
- -- ---
- - - --
- - - -
-
- - - - --
-

- - --
--

d
- - - --

re
- --
- - -
- - - -
te
- - - - -
- - - -
- - - -
is

- - -
eg

-- -
- --- - --

nR

-- - -
- -- - -
-
- - -- -
- - - - -
U

- -- - - --
-- - -
- - --
--- - - --

650
Chapter 17: Hot Plug

--
-- - -
- - --

- - - -
- - -- --
- - - - -
- -
- - - - --
- -

d
-- -

re
-- - -- -- -
- - -
te
- - --
- - -- -
- -
is
- -

-- -- - --
eg


- --
- --
- - -
nR

- - - - -
-

-- - - - ---
- - - -
U

-- - - - - -
- -
- - - - -- --
-

651
PCI Express System Architecture

-
-- - - -
- - -
- - - - - -
- --

- --

d
- - -- -
-- -- -
- - - --

re
- - --
- -- - - -
- - - -
te
- -

-- -
is
- -
-
eg

- - -
- - - -
- -
-- -
nR

- -
U

652
Chapter 17: Hot Plug

d
re
te
is
eg
nR
U

653
PCI Express System Architecture

-- -

d
re
te
is
eg
nR
U

654
Chapter 17: Hot Plug

-
- - -- - - -
- --
-

-
-- - - -
- -

d
re
-

-
te
- - -
- -
is

- - -
-
eg

- --- --
- -
-- - - --
nR


- -


- -
U

-
- --
--
- -

- - --
- -
-
- - --

655
PCI Express System Architecture

- -
- -
- -
- -
-


-

d
-- - -
- - --

re
- - --
- - - --
- - --
te
-- - - - -

is
- - -- -- - -
-- -
eg

-
-
nR

- -- - --

-
U

- --- - --
- - --
- --
--
- - -

656
Chapter 17: Hot Plug

- - - -


-
- - - -- --
- - -

-

d
- - -
-

re
--
-


te
- - -


is
-- -
-
eg

- - - --
- -

- - - --
-- -
nR

- -
- - -
- - - -
--
U

-
-- --
-
- - -
- - - -
-

-

657
PCI Express System Architecture

- -
-- -
-

- - - --
-- - - --
- - - -
-- -
- -

d
-

re

- - - --
te
- -
-
is
- - - -

- - --
eg

- - - --

- -
nR

-
- - - -
- - --

- - - -

- -- -
- - - -
-
-- - -
-
-

658
Chapter 17: Hot Plug


- - - -

-
-
-- - - -- - -
- - -- -
-

- -
- -
- -

d
- -

re
te
- -- -
- - -
- - -
is
-- -


eg

--- --
-- --
nR

- - -- - -
-

- -
- -
U

-- - -
- - -

-
- - - - -

- - -- --
- - -
- -

659
PCI Express System Architecture

- - - - - --
- -
--- - -
--
- -
- -- --
- -
- -
- - - -
- - --
- - - -
- - - - -- --
- -- - - -

d
- -- ---
--- - -

re
- - - - -
-- - - -
- - -

te
--- - ---
- - -
- -
is
-- -
- -- - -
--
eg

- - -
-- - - -- --
-
nR

- - - - --

- - - -
-- - -
U

- -- -
- - - - -
- - - -
-- -
-- -- - -
- - --
- - ---
- -
-- - - -

660
Chapter 17: Hot Plug

- - -
- - --

- - - -
- - - - -- --
- -- - - -
- -- ---
--- - -
- - - -
- -- - - -
- - - -
--- - ---
- - -

d
- -
-- -

re
- -- - -
--
- - -
te
-- - - -- --
-
is
- - - - --

- - - -
eg

-- - -

-
nR

- - -- -- -
-- -- - - -
- - -
- - - - -
U

- - -
-

- --
-- - - -

-- --
-- - - -
- - -- -

661
PCI Express System Architecture

- -
- -- - --
- -- - - - -
-- - -
- - - -- - -
--- - -
--
- -
- - --
- -- -
- - -
- - -
- -- -

d
--- - -
-

re
- - ---

- -
te
- -- --
--
- - -
is
-- -- --
- - - - -
-- -
eg

- - -
-- - - --
- -- - -
-
nR

- - - - --

- - - -
U

-- - -

- -
-- - -

-- -- -- --
- -- -
-
- - -
- - - - -

662
Chapter 17: Hot Plug

-- - ---
- -
--
-
- - -
- - -
- -- -
--- - -
-
- - ---

- -
- -- --

d
--
- - -

re
-- -- --
- - - - -
-- -

te
- - -
-- - - --
- -- - -
is
-
- - - - --
eg


- - - -
-- - -
nR

-- - - -
- -- -
- - -- - - -
-- - ---
- - -
- --- -
- - -
- -
- -

663
PCI Express System Architecture

- - - -
-
- -
-- -- - -- -
- -
-- -

-- --- - -

-
- - -

d
-- - - -

re
- - -
- - -
- - -

te
--
-- - --
- - -
is
- - - -
-
- --
eg

- - -- - -
-
- -
- - -
nR

- -

- - -

U


- - - - - --
-- - -
- - - - -
- - -
- -
- - -
- -
- - -

664
Chapter 17: Hot Plug

- -


-
- - - -

- - -

re
- - - - -
- - - -
te
- -

- - - -
is
- - - -
- - - - -
- - - - -
eg

- -- - --
- - - --
- -
- - - -
nR

- - - -
- -- - - - -
-- - - - -
- - -- -
U

-- -
- - -- -
- - - -
- - --

665
PCI Express System Architecture

- - -
- - -
- -

- -
- -

- - -
- - - - -

d
- --
-

re
-
te
- - -- -
- -- -
- - -
is
- - - -
- - --
eg

- - -- --
- - -
- - -- - - --
- - - -
nR

- - -

- -- -
- - - -
- - - - - -
U

-- - --

- - --
- -- - - - -
- - - -
- - --

666
Chapter 17: Hot Plug


- -
-- - - - -
- - - -
-- -

- - - - -

- - - - -
-

d
re
- - - -
- - -- - - - --
- -- - -- -
- - - -
te
- -

- - -
is
-- -
- - - -
eg

- - -- - --
- - -


nR

- - -
- - --- -
- - -
- -- --
U

- - --
-- -

- -
- -- - -
--

667
PCI Express System Architecture


- - - - - - -
- -- -
-- - - -- -
--- --- - - ---
--- --- - --
- --- - ---
--

d
--
- - -- -

re
- - -
- ---
te
-- -
- - -- -
-- - - -
is
- - -

- -
eg

- -
-
- -
-
nR

-
- -

- - -
- --
U

-

-
- - -- - -
- - - - -
- - - -
--
- - -
--

668
Chapter 17: Hot Plug

d
re
te
is
eg
nR
U

669
PCI Express System Architecture


- -
-- - --
- -- - --
- - - --
- - - - -
- - - - - -

-- -- -

d
re
te
is
eg
nR
U

-
-- - - -
- - - -
- - - - --
- -
- -
- -
-- - - -

670
Chapter 17: Hot Plug

- - -

d
re
te
is
eg

- - --
nR

- - -

- - - -
--- -
U

- - - -
- -
- - - - - -
-

- - -
- --- -

- - - -
--- -

671
PCI Express System Architecture

- - --

- - -

- - - - -- -
--
- - - - --

-- -
- - - - - -

d
-- -

re
- - - - --
-
te

- - -
is
- - - -
-- - -
eg

- -
-
nR


- - - - -
- - - -
- - - -
U

- -- -- - - - -
- -
- - -- -
-

672
Chapter 17: Hot Plug

- -

d
re
te
is
eg

- - --

- - -
nR

-- - - -
-- -
- - --
U

- -
--
- - -
--
--

- - - -
-- -
- - - -

673
PCI Express System Architecture

- - --

- - -

- -
- -
-
- -
-
- -
- - - -
-

re

- -
te
- - - -
-

is


eg

- -
- - - - -


nR

- -
U

- - - - -
- - -
- -- -
- - - --
- - --
-- - -
-

674
Chapter 17: Hot Plug

- - -

d
re
te
is
eg

- - - --


- -

nR

-- - -
-- - -

- -- - -
U

-
-- --
-- - -
-

- -
-

- - - - -

675
PCI Express System Architecture

- - - --


- -

- - -
- - - --

-
- -
- - - -
--
-

re
- - - - -
- - - - -
- - -
te
- - -- - -
- -
is
- -
eg

-- -- -
-

- - -- -
nR

--- - -
-- -
- - - - -
- -- -
U

-- - -
- - - --
- - -

676
Chapter 17: Hot Plug

d
re
te
is
eg
nR

- - - - -
- - -
- -
U

- -
--

- - - --- - -
- -
-- - --
- -
-- - - ---

677
PCI Express System Architecture

-
- -
- -
- - - -
- -

- -

d
re
te
is
eg
nR

---
U

-
--- - - - -
- --

--- - ---
-
-- -- -- - -
- - --
-- -- - --
---

678
Chapter 17: Hot Plug

- -- - --
- -
-
- - -
- - -- -
- -- - --
- -
-
- -
-- - -- -
-
- -- - --
- -

d
-
- - -

re
- - -- -
- -- - --
- -
te
-
- - --
- -- -
is
- -- - --
- -
-
eg

- - -
- - --
- -- - --
- -
nR

-
- - --
- -- -

-- -- -
U

- - -
-- - -- --
- - -
-- -- -- --
-- -- - - -
- -

- --- - -
- - - -
-

679
PCI Express System Architecture

- -- - -
- - -
- - ---
- -
- - -
-

--

d
re
te
is
eg
nR
U

680
Chapter 17: Hot Plug

-
-- - - -
- - - - - - --
- - -- -
- - - - - -
- - - ---
- - - - --
- -

d
re
-


te
-- - -
is
- - - --
- - - -
eg

- - - - - -
- - -- -- - -
- - --
nR

- - --
- - - --

- - - - -
-- -
U

-
- -
- -
- - - -
- -

681
PCI Express System Architecture

- - -
- - - - -
- - -
--- - -
- - - - - --
- -
- -
-- ---

- - -
- - -
- - - - - - -

d
- - - -

re
- -- --
- -- - - -
te
- -- -
is
-
eg

- - ---- - -
-- - -
-- -
- -
nR

-- - - - --
- - - - - --
- - -
- -
U

- -

-- -
- -
- -- -
- --
-

682
Chapter 17: Hot Plug

- -

- - - - - -
--
- - -- -
- -
-
- -- -
--
- -
-

d
- -- -
-- -- - -

re
-- --- - -

-

te
-
--

is

- - - -
eg

- - - -
- -
- --

nR

- - -
- - - --

U

- - -
- -
- -
-
-
- -

683
U
nR
eg
is
te
re
d
-
-
-
-- - - -

d
- --- -- -
- - - -

re
- - - - -
- - - -
--- - -- -
te
- - - - -
-
is
-
- - --
eg

-- -- -
-- -
- - - - --- -
- -
nR


- --
U

- - -
-- - -
-- - --
-

685
PCI Express System Architecture

-- - -
-
- -
- - - -- -
-
- -- -- - -
- -- - -
- - --- -- - - -
- - - -
- - - -- - -

d
- - - -
--- --


re
te
-- -
- - - --
is
- - -
-- - - - - -
eg

- -- --
-- - - -- -
-- - - -
- -
nR

- - -
- - - - - -
- - - -
- - -- -
U

- -
- - -
-- - -
- - -
-- - - - -
- - -- - - -
-

686
Chapter 18: Add-in Cards and Connectors

--

d
re
te
is
eg
nR
U

687
PCI Express System Architecture

-- - -

d
re
te
is
eg
nR
U

688
Chapter 18: Add-in Cards and Connectors

--


- -
-

d
- - -
-

re

- - -
-
te
-

is
-
eg

- - --

nR

-

U

689
PCI Express System Architecture

--


- -


-

- -

re



te
-


is


eg

-


nR



-
U

- -

690
Chapter 18: Add-in Cards and Connectors

--


- -


re
-


te



is
-

eg



-
nR

- -

691
PCI Express System Architecture

--


- -


re
-


te



is
-

eg




nR

-


U

692
Chapter 18: Add-in Cards and Connectors

--


- -
-

d
re
-

te
-- - -- -
- -- --- --
is
- --
- - - --
eg

-- -


nR


- -
- -
U

- - -
-
-
-
-

693
PCI Express System Architecture

-- -


-

- -

- -

- -- -

d
- - --

re

- -
- -
te
- -- -
- -

is

eg

- - -- - - -
- - - - -
- - -
nR

- - - - -
- - -
- -
-
- -- -
U

- - - - -
-
- - -- - -
- - -
- - -

- - -

694
Chapter 18: Add-in Cards and Connectors

- - - - -
- -- - - - -
- - -
- - - -- - -
- - -
- - - -
-- -- - -

d
re
te
is
eg
nR
U

695
PCI Express System Architecture

d
re
te
is
eg
nR

- - - -- --
-
-- -- - -
-- - - -
- -- -
- -
- -
-- - -- -
- - - -

696
Chapter 18: Add-in Cards and Connectors

- - -
- - -
-- -- -- -
- -- - -
- - - -
-- - - -
-

- -- - -
- -
-- -- -- -
- - - - -
-- -

d
- -
- -

re
- -
-
te
- - - --
- - - -
- - - - -
is
- - - - -
-
- -
eg

- - - -
-- --
-- - - -
- -
nR

- - - -
- - -
U

697
PCI Express System Architecture

d
re
te
is
eg
nR
U

- - - - - - --

- - - - -
-- - - - - - --- --
- - --- - -
-- - - - --

698
Chapter 18: Add-in Cards and Connectors

- - - -
- -

- - - -- -
- - - -
-- -- -- -
- - - --

d
- - - --
-

re
- -
-
-- - -
- - --
te
- -- - - -
- - - -
is
- - - -- -
- -- - -
eg

- -
-- --
-
- - --
nR

- - -
- -- - -- -
- - - - -
-- - -
U

- - - -
- -
-- -

699
PCI Express System Architecture

d
re
te
is
eg
nR

-
-
U

-- -
-- - -
- - -
- -
- --
- - -
- - -
- -- - --
- - - -
- --

700
Chapter 18: Add-in Cards and Connectors

- -
- - - - --
- -- --

re







te


is




eg



nR

-- -
- - - -
U

- -
-- - - -
- - - -
- - - -
-

701
PCI Express System Architecture

--


- -

- - - -
- - - - -

d
- - -
- - - - - -

re
- -
- -
te
- - - - - -
- - - -
- - - -
is
- -
- - -
-
eg


nR

- - -- --
- - - - -
- - - - - - -
U

- -- -- -

- - - -

- - - -
- -
- - - -
- - - -
-- - - - -
- - - -

702
Chapter 18: Add-in Cards and Connectors

re
te
- -- --
- -
- - - - - -
is
-- - - -- -
-
- - --
eg

- - - -
-
nR


- -
- - - -
U

- - -
- -- - - -
- - - --

703
PCI Express System Architecture

-
-- -- -

-- -

d
re
te
is
eg
nR
U

--

-- - -
- - -- - - -

704
Chapter 18: Add-in Cards and Connectors

- - - - -
- --
- - - - -
-- - -
- -- -
- -
- - -
-- - - -

-- -

d
re
te
is
eg
nR
U

705
PCI Express System Architecture

--

d
re
te
is
eg

--
nR
U

706
Chapter 18: Add-in Cards and Connectors


- - - - --
- - - - - - -
-
-- - - - -
- - - - -
-- - -
-- -
-

- - -

d
- -- -

re
- - -- - -
- -
te
-- -
- - - --
- -
is
eg
nR
U

707
U
nR
eg
is
te
re
d

--

d
re

te
is
eg
nR
U
U
nR
eg
is
te
re
d


-
- --

d
-- -
- -- -

re
- - - - --- -
- -
te
-
- - --
is
- - -
-- - -
eg

-- - --
- - -


nR

- -
-- - --
- -- - -
U

-
- - -


-- -


- - -- - -
- - - -
- -
- - -

- - -

- -

d

- -

re
- -
- -
te
- -
- - - - -
-
is
eg
nR
U

d
re
te
is
eg
nR
U


-- -

-
- - - - - -
- - - - - - - - -
-

-
-- - -
- - - -- -
- -

d
- - -
- - - -

re
-

- - - -
te
-- - -- -
-- - - - -
--
is
eg


nR
U

-
--


- - -- -
-- -
-- - -- -- - - -
-
-- - -- - -

d
- - --


re
te
- - -
- - - - ---
is

eg

- - - -
- - - - -
- - -- - --
-
nR

-- - -
-
-- - - --
-
U

- - --
- - -
-- - - - -- -
-- - --
- -
-- --


-- -

--
- - --
-
-- --

- -
- -
- -
- -

- - - -- --
--

d
- - --
re
te
- - - - - --
- - --
- - - --
is
-- - - - -
- - - -
eg

- - - -
- -
nR
U

--

d
re
te
is
eg
nR
U


-- -

--
--


--
- -- -
-- - - --- -
- -- - - -- -
-- - -- - --

d
- --

re
-- - - --
-
-
te
--
is
- - -- - - - - -
eg

--
- - - --
nR

- -- -

-- -
U


- - -
- ---

--
--- -
--

- -- ---

- -
- -- --
- -
- - -- -
- -
- - --
- - - - - -
-- - -
- - -
- - - --
- - --

d
re

te
-
- - -
is
-
- --
- -
eg

-
- -- -
- -
nR

-
-
-
-
U


U
nR
eg
is
te
re
d

--
-
-

d
-- -
- -- - -

re
-- - --
-

te
-
is
- - -
-- - --
eg

- -- - -
-
- - -


nR

- - - --
- --
U

-- -
-- -


- --
- - -

721
PCI Express System Architecture

-
- - - -
- - - --
-

-- -
-- - -
-

-- -

d
-- -

re
- -- - -

--- - -- -
---- --
te
- - - --
- - - -
- --- --
is
- -- ---
eg
nR
U

722
Chapter 20: Configuration Mechanisms

d
re
te
is
eg
nR
U

-
- --- - -
- -- --- - -
- - ---

723
PCI Express System Architecture

- - - - ---
---


-- - --
-- - - - - - -
- -- -
-
--
- - --

d
-

re
- -
- --
- - -
-
te
- - -
- - ---
is
-- - -- -
-- --- -
eg

- - - --
- ---

nR

-
-

U

- - -
-
--- - -

-- ---

---

724
Chapter 20: Configuration Mechanisms

-- - -- -
- --

-
-- -


-- - - -
- -- - -
- -- -
- - -- -

--

re
-- -
-- -
te
- - - -- - -
- -- - - -
-- - --
is
- -
eg

- - -
- -
- --
- - - - --
nR

- - -
- - - - - --
- - -- - -
- - - --
-
U

-

-
- - -
- - -
- - - -- -
- -- --
- -- -
- - - -
-

725
PCI Express System Architecture

--



-
-

- -

re
- -
-
te
- - - - -
- --
- - - - -
is
- - - - -
-- - - -
eg

- - --
--

- - - - - -
- - - - - -
nR

-- -
--
- - - -
- -- - - -
U

- --
- - -

726
Chapter 20: Configuration Mechanisms

- - -
- - -- -
- - - - -
- - - -- --
-- - -
- - - - -
-- -- -

- -
- - -
- - -
-- -

d
- - -
--

re
- -- - -- -
- - -
- - - -

te
- - -
- - -
- -
is
- --- -
- -
eg

--- - -

-

nR

-- - -
- - - - -
- - - - -
- -- -- -- -
U

-- -
-- -
-- --- --
-- -
- --
-- -
-- -
- - - -
- - - -
-

727
PCI Express System Architecture

d
re
te
is
eg
nR
U

728
Chapter 20: Configuration Mechanisms

- -
- - ---
-- -
- --- - - -
--- --
- -- --- --- -

-- - --
- - - -
-- - -

- - - -

d
- -- - -
- - -

re
-- -- - --
- - - - -
-- -- -
te
- - - -
-- --- - -
-- -
is
- -- - - --
- --- --
--
eg

- - - - -
- --
-- - - -
- - --
nR
U

729
PCI Express System Architecture

d
re
te
is
eg
nR
U

730
Chapter 20: Configuration Mechanisms

-- -

-
- - --
-- - - - -
-

-- - - - --
--
-- - - -

d
-- - - -
-- - -

re
-- - -- -
- -
-- - - -
te
-
is
- - - --
eg

- --- --
-- -- -

- -- - -- --- -
nR

- -- - -
- -- - - -
-

- - - - -- - -
U

-- - - --
-

731
PCI Express System Architecture

- --

-- -

- - --
--
-
- -- - -
- - -
--

re
- -


te
- - -

is
-- - -
-
eg

-
nR

-
- - - - -

- - -
U

-
- - -
-
- -- -
- - - -
-
-- - -
- -

732
Chapter 20: Configuration Mechanisms

-
- - -- -
- - - -

d
re
te
-
is
eg
nR

-
U

- - - -
- -
- - -
-
- -
- -- -
- - - -
- -- -

733
PCI Express System Architecture

- - - - - -
- - -- -
- - - -
- - -
- - - - - - - --
- - - - - --
- - - - -

-
- - -- -
- - - -

d
-

re
te
is
eg

-
nR
U

734
Chapter 20: Configuration Mechanisms

--
- -
- -
-
- -- --
-
- --
- --

- -- -

d
- - --
- - -

re
- -- -

- - - -
te
-- -- -
- - - -
-
is
- -- -
- -
- - -
eg

-
- - - - -
-
- - - -
nR

- - - -
- -
- -- - -

U

- - - -- -
- --- - - - -
- -- - - - - - - -
- - - -
-
- - - -- -
--- - - -
- - -
- - - -

735
PCI Express System Architecture

--- - - -
- - -
- -
- - -
-
-- -
- - - -
- -
- - - --
- - - -
- - -
- -
- -- -

d
- -
--- -

--
re
te
- -
- -
- --- -
is
-- -

eg


-- - - - -
-- -- - -
nR


-- - - - - -
-- - - - - -
-- - - - -

U

-- - -- - - -
- -
-- - - -
- -
-- - -
- - - -
- -- - -
- - - -
- - - - - -

736
Chapter 20: Configuration Mechanisms

--

d
re
te
is
eg
nR
U

737
PCI Express System Architecture

---

-
- - - --
-- -
- - - - - -
-
--- -- - -
-- - -

d
- - - - -
-- - - - -

re
-
- -- - -
- - -

te

is
- - - -
eg

-- - - - -
- - - - ---
- - - - -- -
-- - - -
nR

- -- -

- - -
- - - -- --
U

- - -
--- -
- - -
- --
-- - -

--

738
Chapter 20: Configuration Mechanisms


- - - - -
- - - - -- -
- - - -
- --
-

- - - -
- - - -

d
--

re
- - - - --
- - -
-- --
te
-- - - -
- - -
is
- - -
-- - --
eg

--
-- - - -- -
- - --
nR

-- - - - -

-- -
- -- -
U

--
-- - -- - - -
- - - - --
-- - - - -
-

739
PCI Express System Architecture

-- - - --
- - - -
-- - -- -


-- - - - -
-- - - -- - --
-- -- - -
-

- -- --

d
- - - --
-

--
re
te
- - -
- - -
is
- -- - - -
--
eg

- - -
- -- - --

nR

-
-- -

- -- -
- -
U

- - - -
- -
- -
- - - -
-
-

740
--

-
- -

d
-- - --
- -- -

re
-
- - -
te
-
- - - - -- -
is
--

-- -
eg

-- -


- --
nR

- - -

- - --
- - - - -
-- -

---- --
-- -- -

741
PCI Express System Architecture

- - -
- - -- - - -
- - - - -

- -- -- -- -
- -- - - - -

d
re
te
is
eg
nR
U

-
-- -- --
- -- -
-- -- - ---
- --- - --
-- - -
- -- - -

742
Chapter 21: PCI Express Enumeration

- -
-- - -

- -
- - - -
- -
- -
- -
- - -
- -
-
- -
- - - -

d
- -
- --- ---

re
- - -
- - - -
- - - -
te
- -
- -- - - -
- -- - -
is
- -
- -
- -
eg

- - -
- - - -
- - - - -
- - - - -
nR


- - - -
- - -
-- - -
U

-- - -

- -- - -
- - - - -
- - - - -
- -
- - --
- -
- - -
- -

743
PCI Express System Architecture

- - -
- - - -
- -- - - - -
-- - -
- -
- -
- -
- - -
- - - -
- - - - -
- - -- -

- - - - -

d
- - ---
- -

re
- -
--
- -
te
- - -
- -
- - -
is
- - - -
- -- - - - -
-- - -
eg

- -
- -
- -
- - -
nR

- - - -
- - - - -
- - -- -

U

- - - - -
- -
- -
--
- -
- - -
- -
- - -
- -
- - --- -

744
Chapter 21: PCI Express Enumeration

- - --

- - -
- - - -
--- -
-
- -
--
- - -
- - -
- -
- - -
- - - -

d
- -- - - - -
-- - -

re
- -
- -
- -
te
- - -
- - - -
- - - - -
is
- - -- -

- - - - -
eg

- -
- -
--
- -
nR

- - -
- - -
- - -
- -
U

- - -
- - - -
--- -
- - - -
-
- - -
- -
--- - -
- - - - - -
- - -- - -

745
PCI Express System Architecture

- - -- - -
- -
- -
- -
- - -
- - - -
- - - - -
-- - -
- - -- -
- - - -- - -
- -
- -
- -

d
- - -
- - - -

re
- - - - -
- - - --


te
- - -- -
- - - -- - -
- -
is
- -
- -
- - -
eg

- - - -
- - - - -
- - - - -
- - - -- -
nR

- - - -
- - -- -
- - - -- - -
- -
U

- -
- -
- - -
- - - -
- - - - -
- - - - -
- - - -- -
- - - -- -
- - --
-- - - - -
-- - -

746
Chapter 21: PCI Express Enumeration

- -
- -
- -
- - -
- - - -
- - - - -
- - - - -
- - - - --
-
- - - - -
-
- - -- -
- - - -- - -

d
- -
- -

re
- -
- - -
- - - -
te
- - - - -
- - - - -
- - - -- -
is

- - - -

eg
nR
U

747
PCI Express System Architecture

- -

d
re
te
is
eg
nR
U

748
Chapter 21: PCI Express Enumeration

- -

re
te
is


eg



nR
U

749
PCI Express System Architecture

d
-

re
te
is
eg
nR
U

750
Chapter 21: PCI Express Enumeration

d
re
te
is
eg
nR
U

751
PCI Express System Architecture

d
re
te
is
eg
nR
U

752
Chapter 21: PCI Express Enumeration

--

--

--
-- - -
--

- -- - -
--

re
- -- - -
--

te
-- - -
--

is
-- - -
--
eg

- -
nR

- -
-- -
U

- --
- --- - - --
- -
- -
- - - -- -
--- -

753
PCI Express System Architecture

- - -
- - - - - -
- - - - -
- - -
- - - -

- -
-- -
- - -
-- -

--

d
-

re
--- --
- -- --- --- -
te
-- - --
- -
- -
is
-- - -
- - - -
- -- - -
eg

- - -
-- -- - --
- - - - -
-- -- -
nR

- - - -
-- --- - -
-- - -
-- - - --
U

- --- --
--
- - - - -
- --
-- - - -
- - --

754
Chapter 21: PCI Express Enumeration

--
-
--- --
- -- --- ---
-

-- - --
--
- - - -- -
-

d
- - --
- - - - -

re
- -- - - ---
- - -

- - --- --
te
--
- - - - -
- --
is
-- - - -
- - --
eg

--
nR

-- --
- - -
-
- - -
---
U

- - - - - - --
- - - -

-- - -
- -- -- - -
-

- - -
- - - - - -

755
PCI Express System Architecture

- - -

- -- - - --
-
-- - - - - -
- - -
- -
- -
- -
- - -
- - - -
- - - - -
-- - -

d
- - - -

re
- - - -
- - - --
te
is
eg
nR
U

756
Chapter 21: PCI Express Enumeration

-

- -

d
re
te
is
eg
nR
U

757
PCI Express System Architecture

- - -
-- -
- -
-
-- - - -

d
-- -
- - -

re
- - - -
-
te
-- - - - -
- -
- - - --
is
--
eg
nR
U

758
Chapter 21: PCI Express Enumeration

d
re
te
is
eg


-
nR

- - -
- -- -

- -- - -
U

- - - -
-- - - -- -
- - -
- -
--

- - -- - -
- - -
- - - -
- - - -

759
PCI Express System Architecture

- -
- - -- --
- - -
-- - - -
- -
- - - - --

d
re
te
is
eg
nR
U

760
Chapter 21: PCI Express Enumeration

d
re
te
is

eg

- - --

- - -
- -- - -
nR

- - -
- -
- - -
- -- - - -- -
U

-- - -
- - - - -
- - -

- -
- - -

- - - - --

761
PCI Express System Architecture

d
re
te
is
eg
nR
U

762
Chapter 21: PCI Express Enumeration

d
re
te
is
eg
nR

- - - - - - -
- - - - -
- - - -
- - - -

- - -
- -- - --

763
PCI Express System Architecture

- - -
- - --
- - - -
-- - - -
- - - - - -
- - - -
-- -

- - - -
- -- - - -
- - - -
- - -
-- - -

d
- - - - -
- - - - -

re
-
te
is
eg
nR

-
--
U

- --
- - - - --

-- --
- - -
- - -
- - - - --
-- -- -- -

764
Chapter 21: PCI Express Enumeration

- --
--- -- -

- --
- -
- - - -
- - - - -- - -

- - -

d
re
- --
-
te
-- - -- - -
-- -- - - -
--
is
-- -- -- -
eg


-
-

- - -
nR

- --

- -- --
U

- --- -- -
- - -- - -
- - --

765
PCI Express System Architecture

-
-

d
re
te
is
eg
nR

-- -
U

- -

- - - - -
- -- -

766
Chapter 21: PCI Express Enumeration

-- -- -
- - -
- -- - -
- - -- -

--
- - - -
- - -

d
- - -
-

re
-- --

- - - -
te

-
-
is
-

- - -
eg

-- - -- - -
- - -
-
- -
nR

- - -- -
- - -
- - - - -
-- - - -
U

767
U
nR
eg
is
te
re
d


--

d
-
re
te
- - - - --
- -
is
-- -
-- -
eg



- --
- - -
nR

-
- - - -- -
- - - - --
U


- - - --
-- - - - -

769
PCI Express System Architecture


-- -
- - - - --
-
-- -

d
-- --
- --

re
- - - - --
- -
te
-- - -- - -
- - - -
-- - - - - -
is
- -- -
- -
eg
nR
U

770
Chapter 22: PCI Compatible Configuration Registers

d
re
te
is
eg
nR
U

771
PCI Express System Architecture

--
-- -
--

-
-
- -
-- -
-- -
-- -
-

d
-
- -

re
- -
- - -- -
te
-- - - --

--
is

-- -
eg

-- - -
-- - - -

-
nR

- -
-
- -
-
U

-
- -- --
--

-- - - -
-- -
-
- -- -
-
- - --

772
Chapter 22: PCI Compatible Configuration Registers

-- - -
-- - --



-
--
-
-

d
-

re
- - - - -
- - -
-- - --
te
- - - - -
-
- - --
is
- -- -- -
- -- - -
-- - - -
eg

-- - -- - - -
- - -

-
nR

- - - - --
-
-- - -
- - --
U

- -
- - - - --
- -
- - -- - - -
-

773
PCI Express System Architecture

-- -
- - -- -
- - -
- - -- --
- - -- -
- --- -- -
- -- -- - - -
- -

- - --
- --- - --
-

d
- -- - -

re
---
- -- ---- -
- - - -
te
- - - -
- -

- - - - -
is
-- - --
- - -
eg

- - --
- -- -
-- -
- -
nR

- - - -
- - - - -
-- -- - - -
U

- - - - -
- -
- -
-- - - - - - - -
-- - -
- -
- -

774
Chapter 22: PCI Compatible Configuration Registers

-- - -
--- --- -

-- -

-- -

d
-- -

re
-- - -
-
te
-- -


is
-
eg


nR

- -

- -- -
U

--

---

- -

-- -
-

775
PCI Express System Architecture

-- -

-- -

- -

- - -- -

- -- -

-- -- --

d
re
- - - -
- - - -
- - - -
- -- --
te
- -- - - -
-- - - - -
-
is
-
eg





nR

- - -- -

-- - -
- - -- - - -
-- - - -
-- - - -- -- --

- - -
- - -

776
Chapter 22: PCI Compatible Configuration Registers

--
- -
- - -- - - -

- -- -- --
- ---
-- - - -- --
- ---- -
- - - -

- - -- - --

d
- -- - -- - ---
- - --

re
- --

-
-
te
- --

- - -- -
is
- -
eg

-
- - --
nR

- - - -
- - -
-
- - -
- -
U

- - - -
-

-

-
- - -
- --
-- - -

777
PCI Express System Architecture

- --

d
-

re
- - -
- - - -
te
- - - - -
-- - - -
- - - - - -
is
- - -- -
- - - - -
-- - - - -
eg

- - - ---
-- -

-- - -
nR

- -
- -
- - -

- --
U

778
Chapter 22: PCI Compatible Configuration Registers

- --

- ---
- - -

- -- -
-- - -
- --
-

d
-

- -
re
te
-
--
is

eg

- - - -
- - - - -
- - -- -
- - - --
nR

- - -
- -
-- - - - --
- - -- -
- -
U

- - -
- - - - - -
- - - -
- - -
- - - - --
- - - -
- - -- - -
- - -

779
PCI Express System Architecture

- - - -- - -
- -- -- -
- - -- -
--

- -

d
re
te
is

- - -
eg

- - -
- -- - --
-- - -
nR

- - - --
- -- - - -
- - - - -
- - --
U

-- - - -- - -
- - - - - -
- - -
-
- - - - - - -
- - - -
- -
- - -

780
Chapter 22: PCI Compatible Configuration Registers

-- -

-
-
-

-
- -
--

- - -

d
- - - ---
-- -

re
- --
- ---
-- --- --
te

-- - -
is


-
eg

- --
-
- - --
nR

-
- -
- - - -
- -
U

- -
- - - -
-- -
- -
- --

- -

781
PCI Express System Architecture

-- -

-
- - -- -

-

-- - - --
-- -

-

d
- -

re
te
is
eg

- -
- - - -
- - - - --
nR

- -
- - - - --
- -- --
U

- - -
- -
-
- - -- -
- -- -- -

- - - -
- - -- - - -

782
Chapter 22: PCI Compatible Configuration Registers

- - - -
- -
-- - - -
--

- - -- -
- -
- - - - -
- - -
-- - - - - - -- -
- -

d
- - -- -- --
- - -

re
- - -- - -
- - -
- -- -
te
- -- - --

is
- - -
- - -- - -
- - -
eg

- - - -
- - -
- - - -- - -
- -
nR

- - -- - - -

- - -- --
U

- - - -
- -
- - - - - -- -
-- - - -

783
PCI Express System Architecture

- -- - -
- -- - - - - -
-- - -- -
-- -- - -
- -

- -- - -

- -
- -- - - --
- - -
- -
-- - - --

d
- -- - -- --

re
- - - - -
-- - - - -
- - - - -
te
-- -- -
- -- - - -
-- - - -- - -
is
-
eg

- -
- - - - -
--- - - -
- - - - -- -
nR

-- - -
-- - -
- -- - - - -- -
U

- - -- -- - -
- -- --- --
- - - - - -- -

- - -
- - -

784
Chapter 22: PCI Compatible Configuration Registers

- - -- - --

d
-

re
- -
- - -
te

is
-
eg
nR
U

785
PCI Express System Architecture

--
-
- - -- -
- - --
- -- -

--
- -

d
- - --
- - -

re
--
- --
-
te
- -
-
-- --
is
-- - -- ---
- -- --
eg

---
-- --
-

nR

-
--

- --
-
U

--
- - - -
--
- -
- -
- --
--
- -

- -- -

786
Chapter 22: PCI Compatible Configuration Registers

- --
-
- -- -

-- - - -
- - - - -
-- - - -
-
- - -

d
- -- -

re
-- - -
-- - -
- -
te
- --
-
is
- - - -

eg

- - - - -
- -- - -
- - -
- -
nR

- - -- -

U

787
PCI Express System Architecture

- - --
---
---
- --- - -

- --
--- - - - - -
- -- -- -- -- -

d
---
- - -

re
- - -
te
- -
- - - -
is
- - -
- --
eg

- - -- --
- -

- -
nR
U

788
Chapter 22: PCI Compatible Configuration Registers

- -

- -

- - -
- - - -
-- - -
-
- - -
- - - -
- - -- ---

d
- - - --
-

re
- - - -
- -- -
- -
te
-- -
-- - - - -

is
- -- -

eg

- - --
-
nR

- - -
- - - - -
- -
-
- - -
U

- -- -

- -
-- - -
- -

- -- -

789
PCI Express System Architecture

- -

- -

- - -
- - - --
- -
- -

- - - -
-
-
- -

d
- - - - -
- - -

re
-
- -


te
- - - - --
--
- - -
is
- -

-- -
eg

- - - - -
- -
- -
nR

-
- -
U

- - -- - -
-- - --

- -
- -

- - - -- -

790
Chapter 22: PCI Compatible Configuration Registers

-
- -

-
- --
- -
- - -
- -- -

- - -

d
- - - - -
- - - -

re
- - -
- -
- -
te
- - - - -
- - - -
- -
is
--

- -
eg

-- - -- -- --
-

- - - -
nR

- - -

- --
-- -
U

- -- -
-- -- - -
- -- -- -- --
- - -

- - -
- - -
- - -
- - -

791
PCI Express System Architecture

- -- -
-- -- -- -

- - - -
- - -

-
- -

d
- --

re
- - - -
- - -

te
- -
- - -
- - - -
is
- -
- - -
eg

- --
- - - --
nR

-- -
- - ---
- -
- - -
- -
U

-
-- -

- -- --
- -
-

792
Chapter 22: PCI Compatible Configuration Registers


- - -
- - -- - -- -
- - -- -
-
- -- - -
-
-
- --- -
- -
-

d
-- - -
- - - -- -

re
- - -- -
-- - - - -
-- - - -- -
te
-- -- -
- -- -- - -
- - - -
is
- -
- - - - - - --
eg

--
-
-- - - -- - -
- -
nR

- - --
- - --

- - -- - --
U

- -
- - - --
- -- - -- -
--

-
- - -
- - - - - ---
-- - - -

793
PCI Express System Architecture

-- -

-- -
- -- - -
- --- -
-- - --- --- -
--- - - -
-- - - -
-- - - -
- - -
-- -
- --
- - - - -- - - -

d
- -
- -- -- -

re
- --
-- - -
-- - -
te
---
--- - -- -
-
is
-- -
- -- - -
- --
eg

--- - --
-- - -
- - -
nR

- -- -
- - - - -
- -- --
-- - - - -
U

- -- -- -
--

- -- - -
- -

- - -
- - --
- -- - -- -
- - -

794
Chapter 22: PCI Compatible Configuration Registers

- - - --
-- - -- -- - - -
- - -- - -- - -
- - - - -
- - -- - - - -
- - --

- -
- -

- - - -
- - -

d
- -- -- -
- -

re
- - - -
- -
- - - -
te
- -
-
- - - - -
is
-
-
-- - -
eg


- - -
-
nR

- -
- -
-
- - -- -
U

-- -- -
- - - -
- -
- -

- --
- --

-- - - -- -
-

795
PCI Express System Architecture

- - - -
-- --- - -
- - -
-- - -
--

- - --
- - --
- -
-
-
-- - -
- ---

d
-- -

re
- -- - --- -
- - -

- -- -
te
-- - - --

- -- - -
is
-- --

- - -
eg

- -- - --
nR
U

796
Chapter 22: PCI Compatible Configuration Registers

- -- - --

d
- -- -

re
te
- - - - -
- -- - -
-- -- --
is
- - - -
- - - --
eg

- - --

-- - --
nR

- -
- - -
- - - - -- -
-- - -
U

-
- - - --

- - - - - -
- - - - - -- -

-
- - -
- - ---

797
PCI Express System Architecture

--- - -
--

- - - -
-
- - - -- -- -
- - - -
- -- - - -
- -

-
-

d
- -
-- - -

re
-- -
- -
- - -
- -- - -
te
- - --
- -
-- - -
is
- - --
-
eg

- -- - --
nR
U

798
Chapter 22: PCI Compatible Configuration Registers

-- --
- -
- -- - -- --

- - -- -
- --
- - - -- -
- - -- -

-- - -

d
- - - -
- -- -

re
- - -- - - --
- - -- -
- - -- - --
te
- - -
-- - --- -
- -
is
--
- - -- -
- - - - - - -
eg

- -
- - -- -
-- - -- -
nR

- -- -
- -- -
- - -
- -- - -
U

- - --
- -
-
- - - --
- - - - --

- - -- -
- - -
--- - -- - -- - -

799
PCI Express System Architecture

- -- - - - -
- - -- -
-- - -- - - - - -

- - -- --
-
- -- - - - --

- - -- -
- - -- - --
- - - -
-- - - --

d
- -- - - - ---
- -

re
- - -- - - -

- - -- -
- - -
te
--- - -- - -- - -
- -- - - - -
is
-- -
eg

-- - -- --
- - - -- - - -
- - -
- -- -
nR

- - -
-

- --
U

- - -
- - - - - -
- -

-- - --
- - -- - -
- -
- -- -

800
Chapter 22: PCI Compatible Configuration Registers

- -
- - - -
-


- - -
- - -
-- - - -

- -- - - -

- - -

d
- - -

- - - - -

re
- - -
- -
- - -- - -
te
- - -
- - -- - - -
- - - -
is
-
- - - -
eg

- - -
- - - - -
-

- - -
nR

- - - -
- -
- - --
U

- - - - -

-- - -
- - - -
-- - - --
-- - --
- -- - -
- - - -
- -
- - -

801
PCI Express System Architecture

- -
- - - -
-
-- - - --
- - - -
--
- -- - - -- -
-
- - - - - -
-

--

d
- -

re
- -- -- -

te

is


eg

-- -
-
nR
U

802
Chapter 22: PCI Compatible Configuration Registers

d
re
te
is
eg
nR
U

--
-- -
--

-
-

803
PCI Express System Architecture

- -
-- -
-
-
- -
- -
- -
- -
- --
- --
- - -- -

-- - - --

d
re
--
-- -
te
-- - -
-- - - -
is
-
- -
-
eg

- -
-
-
- -- --
nR

-
- -
- --
-
U

-- - - -
-- -
-
- -- -

- - - --

804
Chapter 22: PCI Compatible Configuration Registers


- - - - --
-
-- - - - --

- - - - --
- - -- - -
-
- - - - --
- - - -- - -
-

d
- - - - -

re
- - - -

- - - - -
te

is
- --
eg

--


- - --
nR

-
- - - -- -- -
- - --
U

- -
- -
- -

- -
- - -- -- - -
- - -- - -
-- -

805
PCI Express System Architecture

- -
- -
- - - -
- - - - -
-- --

-
-- -- -
- - -
- -- - -
- - - - -
- - - -

d
- - - -
- - -

re
- --
- -
- - - -
te
- - - -
- - - - -
- - - -
is
- - -- -- -
- - - - -
- -- - -
eg

- -- -
- - - - -
-- - - --- -
-
nR

- -
- -
- - - -
U

- - - - - -
-- --

- - -
-- - - -- - -
- -- - - -
- - -
- - - - - -
-

806
Chapter 22: PCI Compatible Configuration Registers

-
- - - -- - -
-- - -
- -- - - -
- - - -
- - - - -
-
- - --
- - -- - -
- -- - -

- -
- -

d
- - - -
- - -- - -

re
- - -
- - - - - -
-
te
- -- - - -
--
is
- - -
-- - -- - -
eg

-- --
-

-- - - - -
nR

-
-
-- - - -
- - - -
- - - -
U

-- - - -
-- - --- - -

-
-- - - - -
- - - -
- - ---

- - - - -
- -- - -

807
PCI Express System Architecture

- -- -
- - - -
- -- - --- -

- - - --
- - - -
- - - - -
-
- -- - - -

d
- -

re
-
- -
te
- -
is
- - -
eg

-- -
nR

- --
-- - --
- -
-- -

U

-
- -
-
-- -
- -

808
Chapter 22: PCI Compatible Configuration Registers

-
- -

- -
- - -

- - -

d
re
- - - -
-
- - - -
- -
te
-- - - - - - -
-- - -- - ---

is
--- - -
eg

- -- -
- -
-- -- -
- - -- - --
nR

- - -
-- - - --
- -- - - --
- - - - -
- - - - - -
U

- -
-- - --
- - -
-- --
- - - -- -
-- -
- - --
- - -- -
-- - - --

809
PCI Express System Architecture

- - - - -
- - - - -
-

- -
-- - --
- -
- -- --
- - - -- -
-- - -
- -- -
- -- - -- - -
-- - -

d
- - - - - - -
- -

re
-


te
- - - -
-
is
- -- - - -
eg

- -

nR

- - -

- - -- -
U

- -- - -- - --
- - -

-

- - - -- -
- - - -- --
-- - - -

810
Chapter 22: PCI Compatible Configuration Registers

- - -
- - -- - - -
-

- - - -
- -- - - -- - --

- -- --
- -- - -
- -

- - -

d
- - - - -- -
-- - - -- -- - - -

re
- - - - -- --
- -
- - - -
-
te
- - -
- - -
is
-

- - -- -
eg

- -- -
- - - -
-
nR

- - - - - - - -
- - - -- -

U

-
--


- - - - -
- -
-- -

811
PCI Express System Architecture

- - - -
- - -
- - -- -
- -
-
-- - - --
- - -- - -
- --
- -
- - -- - -
-
-- - -

re
- -- -- - - -- - --
- - - - -

- -- -- -
te
- - - - - - --
- - --
-- - -
is
- -- - - -
-- -- --
eg

- - - - -
-- - -
- -- - --
- -- --
nR

-- - -
-- - - --

-
U

-- - - - - -
- - - -
--- - -
-- - - - - - -
- - --
- - - --

- - - -
-- - - --
-

812
Chapter 22: PCI Compatible Configuration Registers

-- - - -
-- - - -
- -

-
-- - - - --
- - - -
- - -
- - --- --
- -- - - -
-

d
- - - - -
-- - - -- -

re
- - --

- - - --
- - - -
te
-- -
- -
is
- - - - - --
-- --
eg

-
- - - - -
-- -- --- --
- -- - - -
nR

- -- - -- - -
- -
- - -
- - --
- - -
U

- -- - -
- - -- - -
-- - -
- --
- -- --
- --
- -- -- --
--

813
PCI Express System Architecture

-- - --
- - -- -
-- -- -
-- - -- - -

- -- -
-- -

- - --
--
- - -
--

d
- --- -- -
- --

re
-- --- - -

-- - - -
- -
te
- - - -
-- - - --
- -- - --
is
- -
- - - - -- --
eg

- - - -
-

- - - -
- -
nR

-- - - -- --
- - - --
-- - - -
U

814
Chapter 22: PCI Compatible Configuration Registers

- -

d
re
-
te
is
eg
nR
U

815
PCI Express System Architecture

-- - - - - -
- - - -
-- --

- - - --
- - - ---
- - - --
--

- - - --

d
- - - -
-- - - --- -- - -

re

- - - -
-- - - - -
te
-- - -- - - -
-
is
- - - -
-- - - - ---
eg

- - -- - -
-- - - - -
-
nR
U

816
Chapter 22: PCI Compatible Configuration Registers

d
re
te
is
eg
nR
U

-
-- - - --
- - - -
- -

- - - --
- - - - -- -
- - --

817
PCI Express System Architecture

- - - -
--
- - - -
- - --
- -
--
- - -
- --

- - - --
- - -

-- -

d
-
-- - - - --

re
- -- -
- - - -
-
- - - - -
te
-- -- - - ---
-- - --
- -- -- - -- -
is
- - -
- - - - - -
eg

- - -
- - --
- - -
- -- -
nR

- - -
- --
-

- --- - --
U

- - -- -
- -- -
-- --

-- - --
- -- - -- - - -
- - -- -- -
-- -- -
- - -

818
Chapter 22: PCI Compatible Configuration Registers

- -- - -
- --
- - -- -
-- - --
- -
- -- - - -
-- - -

-- - - -- - -

-
- - -
-

d
- -

re
- - --

-
--
te
- --
is
-
- - -
-
eg

- -

- - --
nR

-
--

- -- - --
-- - -
U

-
-

-- - - -
- - -
- - - -- -

819
PCI Express System Architecture

- - -

- - - -
--- - -- - -
- - -
- - - -
- -

- - - -
- - - -
- - -
- - -

d
- -

re
-
- -
- - -
- - - -
te
- - -
- - -
-- ---
is

- -
eg

- - -
- - -
- - - -
- -
nR

- - --- -
- - --
-
-- - -
-
U

- - -
-
- - --
- -
- - - -

- -
- -
- - - -

820
Chapter 22: PCI Compatible Configuration Registers

- - - -
- - -
-- - --
-- - -
- -- - -
-
- - -

- - -
-- -
- - - -
-
- - -

d
- - - -
-- - --

re
--
- - -
-- - -
te
- -
- - --
- -
is
- - -- -
-
- - - -
eg

-- -- - ---
- - --
nR

- - -
- -
- -
- -
U

- - -
- -

- - -
- - -
- -

821
PCI Express System Architecture

- --
- - - - -

-- - --
- - - --
- - -- -
-
-- -- -
- - - --
- - -
- -
- - -
-

d
- - - - -
- - -

re

- --
- - - -
te
- -
- -- - - -
-- -
is
-- - - - --
- - -- -
- - -
eg

-- - - -
- -- - - - -
-- - -- - --
--
nR

-- -
-- - - - --
- - -- -
- - -
-- - - -
U

- -- - - - -
-- - -- - --
--
-
-- - --- - -
- - -
- -- - -
- -- --
- --

822
Chapter 22: PCI Compatible Configuration Registers

-- -
- -- -
- --
-- - -
- - - - -
- -- -
- - -
--

- -- - -
- - --
- - -

d
- - -
- -- -

re
- -

-
- - - -
te
- -
- - - -
--
is
-
eg

- - --
-
- - -
-
nR

- - -
- -- -
- - -
- -
- -
U

-- -
- - -
-

823
PCI Express System Architecture

--
- -
- -

--
-- -- --
- - - --

- - -
-- - - -

-- - -
-

d
--- - - -
--

re
- - -
- - -
te
- -
- - - -
-- -
is
- -- - -
- - - - -
eg

--
-
- - --
nR

- - -
- -- - - - -- --

- -
U

- - - -
- --

- - - - -
- - -
--

824
Chapter 22: PCI Compatible Configuration Registers

- -

- - - - -
- -- - -
-- -
--

-
-- -
- - - - -- - -
-- - - --

d
-
- -

re
- -
-
te
- -- - - - --
-
-- - -
is
-- - - - - -
-- - -- - -
eg

- -- - - -
-- - -- - -

- - -
nR

- -

-- - -- -
- -- -
U

- - - - -- -
--- -
- --
-- -- - - -
- - -- - -
- - - -
- - -- -
- -
- -

825
PCI Express System Architecture

- -- - -- - - -

- - - -

- - - -
- - -
- - -

- - -- -
- --
- -

- - -

d
-
- - -

re
- - -
- -

- - -- -
te

is
eg
nR
U

826
Chapter 22: PCI Compatible Configuration Registers

- -

d
re
te
is
eg
nR
U

827
PCI Express System Architecture

d
re
te
is
eg
nR
U

828
Chapter 22: PCI Compatible Configuration Registers

- ---
-

- - - - -
- - - - -
- -- - -
--
- - - - -
- - -- -
- - - -- -
- - --

d
-- - -
-- - -

re
-- - --

-- - -
te
-- - - -
- -- -
--
is
- - - -
-- --- -- -
- -- --
eg

--
- - - -- --
-- - -
- - -- - -
nR

- -- - - --
--
-- --
- - - -
U

-
- - -- - -
- - - - - --
-- -- -
- - - --
- - - - --

-- --
- - - -
- - -

829
PCI Express System Architecture

- - -- -
-- - --
-- -- - -
--
--
-- --
- - -
- - - -
-- - - -
- - - - - - -
- --
- - --
- - -- - -

d
-- - - -- -
- -- -

re
- - -- -
- -- - -
-- - -- - -- --
te
-
- -- ---
- - -- -
is
- --- - -
- - -- - - -
-- - - -
eg

- - - -
- - -
- - - - -
- -
nR

-
U

-- - -
- -- -
- -- -
- - - -
-
- -- - -
- - -
- --- - -

830
Chapter 22: PCI Compatible Configuration Registers

- - - - --
-- - - - -
- -- - -
-- -

- -- - -
- - --

- - -
- -

- - - -
-

d
- -

re
te
is
eg
nR

-
U

831
PCI Express System Architecture

--
-


- - --
-

- - - -
- - -- -
-

d
- - - - -
- -- - -

re
-

- -- - --
te
-
- -
is
- - -
- - - - -
eg

-
nR
U

832
Chapter 22: PCI Compatible Configuration Registers

- --

- -

--
-- - -
-
- -
- --
-- - -
-
- -

d
--
-

re
- - --
- --
- - --
- --
te
-
-- - -

is
-- - -
- -
eg

- - - --
-- - -
- - -
-
nR

- -
- -
-- -
U


- - -
- - -
- - - -- --
-
- - -
- -
-- -
-
- -

833
PCI Express System Architecture

- --

- -

- - -- -

-
-- -

- -- -

--

d
-
- - -

re
- -
-- - -
- - - - - -
te
- -
-
- - - -
is
- -
-- - -
- - - - -
eg

- -
-- - -
-- - - - -
- -
nR

- -- -

- - -
U

- -
- - -
- - -
-- - - - -
- -
-

- - --
-

834
Chapter 22: PCI Compatible Configuration Registers

- --

- -

- -
---
- ---
- --- -
-
- --
--- - - - - -
- -- -- -- --
-

d
---
- - -

re
- - -

- -
te
-
- - - -
is
- - - --
- - -
eg

- - - - - -- -
- -

-
nR
U

835
PCI Express System Architecture

- --

- -

--
-
- - -
- -
-- - -
- - - - - -
- -
-

d
- - - -
- -

re
-- - -
- - - - -
- -
-- - -
te
-- - - - -
- -
is
- -
- -
eg

- - -
-
- -


nR

-
U

- - -- -

- - - - -
-- -
-- - -
--
- -

- - -- -

836
Chapter 22: PCI Compatible Configuration Registers

- --

- -

- - -- -

- - -- -

- - - -- -

- - -- -

- --
re
te

- -- -- - --
is
-

- - -
eg

-
- - - - -
- - -
nR

- -- -

- - - - - -
- - -
U

- -
- - - --
- - - - -
- -- - -
--- --
--- --

837
PCI Express System Architecture

- -

d
re
te
- -
is
- -
eg

- - -
- - - - -
- --
- -
nR

-
- - -
- - - -

U

- - - -
- -- -
- -
-- -
-- - - - -

- -- -

838
Chapter 22: PCI Compatible Configuration Registers

- -

- -

- - --
-
-
-

- - -
- -
-- -

d
- - - - - - -
- -

re
-

- - - -
- -
te
-- -
- - - - - -
- -
is
-- -
- - --
eg

- - - -
- -

- -- -

nR

- - - -
- - --
-
- -
U

- - - -
-
-
- -

- - - - -
- -
- -
- -

839
PCI Express System Architecture

- -

- -

- - - - -
--
--
- - -
- -

- - - -
- - --
-

d
- - -

- -

re
-
- - - -
te
- - - -
- - -- - -
- - - - -
is
-
eg

- - - - -
- - - - -
- - - -- - -
- - - - -
nR
U

840
Chapter 22: PCI Compatible Configuration Registers

- -

d
re
- -
te
- -
is
- -- -

- - --
eg

-
nR
U

841
PCI Express System Architecture

- -

- -

-
-

- - -
- -
-- -
- - - - - - -
- -
-

d

- - - -

re
- -
-- -
- - - - - -
te
- -
-- -
- - --
is
- - - - -
-
eg

- -- -

- - - - -
- - --
- -
nR

- - - - -
-
- - -
U

- - - - - -
- -
- - - -

- - - - - -
--
--
- - -
- -

842
Chapter 22: PCI Compatible Configuration Registers

- -

- -

- - - - -
- - --
-
- - -

-
-

d
- - -- - -

re
-- - --

te
--
is
-

- -
eg

- - - - --
-
nR

-
- - - - --
-
U

843
PCI Express System Architecture

--
- - - -

-
-
- - -
- - --
-- -- - - -

d
- - -
- - -

re
- - - -
- -
- -- - --
te
-- -- -

is
- - - -
- - -
eg

-
- - - --
-- -
nR

- - ---
- -
- - -
- -
-
U

-- -

844
Chapter 22: PCI Compatible Configuration Registers


- --- - -
- -

- -
- - - - - - --

d
-
- - -

re
- -
- - -
- - - - -
te
- - -
--
is
-- - -- -

-
eg

- - --

-
nR
U

- -
- - - - -
- - - - -
- -

845
PCI Express System Architecture

- - -

- -

- -
- -
- -- - -
- - -

- - - -

- - -- --

d
- - - -

re
- - -- ---

- - -- - --

-
te
- -

- - -
- - - - -
is
-
--
eg

-


nR

-
- - - -
U

- - - - -
- - - - -

- - - - -
- - - -

846
Chapter 22: PCI Compatible Configuration Registers

- -

- -

- -
- -- - -

- - --
-
- - - -
- -

- -

d
- - - -

re
- -- - -
-


te
- - -
- -
- - - -
is
- - -
- - -
-
eg

-
- -
- -
- -
nR

- - - - - -

- - - -
U

847
PCI Express System Architecture

- -

- -

- - -
-- --- --
- -
-- --- -- -

-
-- - - -
- -

re
- - - --
- -
- --

te
- - - -
is
- -
- -
- - - -
eg

-


nR


- - -
- -

- - - - -
- - - - -
- - - - --
- -

848
Chapter 22: PCI Compatible Configuration Registers

-
- - - - - -
- - - - -
- - - -
- - - - - -
- - -

-
-- - -
- - - -
-
- - -

d
-

re

- -
--
te
- - --
- - - - -
is
-
eg

- - - - -
-- -- -
- - - - --
- --
nR

- - -
-

U

- --
-- --
- --
-- - -- - --
--- -- --
- ---
- - - --

849
PCI Express System Architecture

-
- --
-- - -- -
- - -
- -
--
- -- -
-
-

-- -- -
--

d
- -

re
-

- -
-- -- - -
te
- -
- - -
-
is
-- --
eg

--

- - -
- -
nR

- --
-- - -
- --
- --- -
U

-- -
-- - -- --

- -- -- -

- - -
- - - - - -
- --
- -

850
Chapter 22: PCI Compatible Configuration Registers

-- - -- - - -
- - -- - --

--

d
-- -

re
- --- - --
- -- -- -
- - -- - -- -
te
-- - -- - - -
- -
- - -
is
- -- - -

- - - -
eg

- -
- - - - - - -

- - - - -
nR

- - - - -
-

- -- - - -
- -
U

- - - - -
-- -
- - - - -
- - - --- - -
- -
- -
-

851
PCI Express System Architecture

- - - - - -
- --
- - - -
- -

- - - -
- --

- -- -
- -
- - - - -
- -
- - - -

d
- - - -
- - -

re
- - -
- - - - -
- - - -
te
-
is
- - -

- - -
eg

- - - -


nR


- -

-
U

- - - -


- -

- - -
- - -

852
Chapter 22: PCI Compatible Configuration Registers

-- -
--- -

-- -
--- -

d
- -

re
-- - -
- - - - -
- - - -
te
- -
- -
is
-
eg

-
nR

-- -
--- -

-- -
--- -
U

- -

853
PCI Express System Architecture

- -

-- -

- -

d

-

re


te


is

eg

- - -
nR

- -
- -

- -
U

854
Chapter 22: PCI Compatible Configuration Registers

- -- - -
- -

-- - - -
- - - -

-- - - -
- - - -

d
re
-

-
te
- - - -
- - - -
is
-

-
eg

- - - - -

- -
nR

- - - - - - -
- -
- - - -
U

- - -
--- - -
- - - - -
-- -
-
-

855
PCI Express System Architecture

- -
-
- - - - - - -
- - - - -
-

-- -
- -
-

d
- -

re
-

-- -
--- -
te
-- -
--- -
is
- -
eg

- -


nR

-- - --

--

- -
- - - - - -
-

856
Chapter 22: PCI Compatible Configuration Registers

-
- - -
- - - - -
- - - -
- -
- -- - - -
-

re


te -


is
- -

eg


nR

857
PCI Express System Architecture

d
- - -

re
-


te


is

-
eg

--
nR

--

--

858
Chapter 22: PCI Compatible Configuration Registers

--- --
-- - - - - - -
- - - - - -
- - -- -
- -- -- -
- -- - -
- ---

- - - ---
-- -
--- --

d
re
--- --
te
is
eg

- -
nR

- - - -
-


- - - - - -
U

- -
-
- -

859
PCI Express System Architecture

- -

- -
- -- - -
- -- -
--- - - -
- - - -
-
-

d
--- - - - ---

re
-- - --- - - -


- - -
te
--- -- -

is
- -
- - --- - ---
eg

- --- - --
- ---
--- --
- -- -
nR

--- - -
- -
- -- - -
- - -
- - - ---
U

--- - - --
- --- - ---
- --- - - --
--

860
Chapter 22: PCI Compatible Configuration Registers

--- --
-- --

- - - --- - -
-- - -

-- - - -- -- -

- - -
--- - --

d
- - --- -
---

re
-- - - - - - -

- - -
te
--

- - -- --
is
- - - -
-
eg

- --
- --

- - - - - -
nR

- - - - - - -
- - - -
- - - -
-- - -
- -- - - -
U

--- - - - - - - -
- - --
-- - - - --
-

-- - -
- - - -- - -
- - - - -
- - - - -

861
PCI Express System Architecture

- - -
-- -

---
- - -
---
--- - --
- - --
- - -- - -
- --- -
--- --- -- --
- -- - -

d
-- - --- -
--- -

re
---
te
is
eg
nR
U

862
Chapter 22: PCI Compatible Configuration Registers

--- --
--- -
--- --
-- -- --- -

--- - -
- ---
--- - -
- - - -
- - --
---

d
- - -
- - -

re
- -
- - - - -
- - -
te
- ---
-- - -- - - -
- -- - -
is

-- -- -
eg

-- --- --
- --

-- - - -
nR

- -
- - - -
- - - -
- -
- --
U

- - -
- - - - --
- - - --- - -
- - -
-- - - -

--- - -- -
- - --- - - -- - -
-

863
PCI Express System Architecture

- -

d
re
- - --
te
-
is
- - -

---- - - - - -
eg

- --- - - - -
- - --- -
- -- - - - -
----
nR

- --- - - -
- -
- - ---- -
- ----
U

- - - - -
- -- - - - - -

864
Chapter 22: PCI Compatible Configuration Registers

d
re
te
is
eg

-- - -
nR
U

865
PCI Express System Architecture

-
- -- --

- - -
-
-
-

- - -- -- -

--- - -
- - -

d
- -

re

-
--- -
te
- -
--- - -
- ---
is
--- - --- - - -
-
- --- - -
eg

- - - - -
--- -
- - - -
--- - -
nR


- - -- -- -

--- - -
- - -
U

866
Chapter 22: PCI Compatible Configuration Registers

---

d
re
te
is
eg

--

nR

- - -
-
-
-
U


- - -- -- -

--- - -
- - -
- -


-
--- -

867
PCI Express System Architecture

- -
--- - -
- ---
--- - --- - - -
-
- --- - -
- - - - -
--- -
- - - -
- - -
--

- - -- -- -

d

--- - -

re
- - -
- - - - - --

te

-
--- -
is
- -
- - ---
--- - --- - - -
eg

-
- --- -
- - - - -
--- -
nR

- - - - -
- - -


U

- - -- -- -

--- - -
- - -

868
Chapter 22: PCI Compatible Configuration Registers

---

d
re
te
is
eg
nR
U

869
U
nR
eg
is
te
re
d
- -

-
- - -
- - - - -

d
-- -

re
- - - - --
te
-- - - - -



is
-

eg


nR

- -

-- - - -
-
-- - - -- -
U

-
- -
- -
- -
- -
-


-- -

- - --
-- - -

-- - - - -- -
-

- -- --- -
-- - - - -

-
-- - - - -

d
- - - - - -

re
-- -
- -
- - - - -
te
- - - - -
--
is

eg

- - --
- - -- -
- - - - -- -

nR

- - - - -- -
- -
-- - -
- -- - - -
U

- - - -
--

- - - - -
- - -- - - -
-- - -
- -
- -

- -

-- - -- -- - --
- - -
- -

- - - -
-

-- - -
-- - -- - -
- - -- -
--- - -
- - - -
-- - - --

d
- -- - --
- -- - -

re
-- - - -
- -

- - -
te
- - -
- - -- --
- - -- - -
is
-- -
- - - -
eg

--

- - -- - --
nR
U


-- -

d
re
te
is
eg
nR
U

- -


- - -
- - - - -
- -- --

-- - - -
-
-
-
- --

d
-

re
- - -- - -
- - -
- --
te
- - -- -
- -
-
is
-
--- - -- -
eg

-- - - -
- - - -

nR

- -
- - -

U

-
- - -
-
-
- - - -


-- -

- -- -- - -
- - - -
- - -
- -

- - -
-
-- - - - - --
----
- -- -

-- -
- - -- -

d
--- -- - -
- -

re
-- - -
- - -

-
te
-- - - --
-
-- -
is
- -

eg

- -

-
nR

-- ---
--
U

- -

d
re
te
is
eg
nR
U


-- -



-- -
--- -

- -
- -
-
-
- - -

d
- -
--

re
- - -

- - - -
te
- - - -
- -- -
is
eg
nR
U

- -

d
re
te
is
eg
nR

- -
-
- - -
- - - -
- - -


-- -


- - -

- - -
- - -
- - - -
-

d
- --
-

re
- - - --

- - -
te
-

- - - -

is
--

- - - -
eg

-
- - - -
- - -
- - -
nR

- -
-
- -
U

- - -
-
- - -
- -- - - - -
- - -
- - -
- -

- -

--


- - -

- -
- -
-
- - - -- -
-

-
- - --

d
-- -
- - - -

re

-
-

te
- -

is
- - -


eg


- - --
nR

- - -
- - -- - - --

-- -
- - -
U

- -
- -
--


-- -

- -

-- -

- -
- - -
-
- -
- -

d
- -
- -

re
-- - - -
- --
--
te
- -
- - -

is
-
-
eg

- -
- - -
- -
- - -
nR

- - - --

-
U

-

- - - -

-- - - --
- -- - -

-- -
-

- -

- -

-
- -
-
- - - - --
- -

-
- - --
-- -
- - - -

re
- -


te
- - - -
- - -
-
is
-
eg

- - - -
- - - -
--
nR

- - -
- - -
-- -- -
-- -
- - --
U

- - - -
-

- -
- -


-- -

- - -
- - - -
--
- - - -

- - -
- - - -
- - - - -
- - -
- - - -
-
- - -

d
-
-

re
-
- -
- - -
te
- -
-
is
- - - -
- - -
- - - -
eg

-- -- - - -
-- - -
- - - - -
nR

- -
-- -
-
-
U

- -
- - -
- - -
-
- - - -- - -
-
- - --
-- - - -
- -

- -

- - - -

- - -
- --
-



- - -
- - -
-

d

-

re
-

- -
te
- -

-
is
-

- -
eg


nR

- - - -
-

-- -
- - -- -- - - -- --
U


- -
- - -
-
- - - -
- - - - - -
- - - -
- - -


-- -

- - -
-
-- - -- - -
- - --
- - --- - -
- --
- - -

- -
-
- - -
--
- - -

d
- - -
-

re
- -- - - -
-
-- - -
te
- - -- --
- -
--- - -
is
- -
- - - - -- --
-
eg

- - -

- -
- -
nR

- -- -
- -
- - -
- -
- - -
U

--
-- -
-
- --
- -
- -
-
- -

- -

- -
- - -
- -
-- -
--
- -
-- - -
- - ---
- -- -- -- -
- -
-
-
-- -- -

d
-
-

re
-
-- - -
-
te
- - - - -
- --
- -
is
- -
- - - -
- -
eg

- - - -
- -
-- -
nR

- - -

- - -
- - - --
-
U

- - -
- - --

- -- -
- -

- -
- - -
- ---- - -
- -- -


-- -

d
re

-
te
- - --- -
--
is
- - - - -
- -
- - --
eg

-- - -
- - -- - -
- -
- --- -
nR

--
- -
- - -- - - -
- -
U

--- - -
- - - -
- -- - - - -
-- -

- - --- --
- - - - - -
- - - -
- - --- -
- - -

- -

-
- - - -
- --- -
-- - - -
-

-- - --- -
--- -- - -
-- - -
--- -
- ---

d
-

re
-
-- --- -
- -
te
- -

is
- --

-- - --
eg

-- ----
-- -
---

nR

- -
- - -
- - --- -
-- -- - - -
U

- - --

-- - - - -
- - -
-- - --- --

- - - -
--
- --


-- -

- - -
--
- - -
- -
- -
- - -
- -
- - -
- ----

-- - -

d
- - - - -

re
-
- - - -
- -- -- -- -
te
-
-- -
is
- - -- -
- - - - - -
-
eg

-- -- - - -
--
- - -
nR

-- -
- -
-- - --
--
U

- -- - -
- -
- --

-- - - - -
- - - - -
- - - -- --
- - -- -
- - -
-- - - --- -
- --

- -

-- - - -
- - - - - --
-- - - -

- - - -
-- - --
-
- - - -- -
-
- - - -

re
-
- - -
- - -

te
- ---
is
-- -- -
--- - --- -
eg

- -- - -

- - - -
nR

-
- -- - -
- - - -
- - -
U

- -
- -- - -


U
nR
eg
is
te
re
d
--

--

d
re
-
- - - --
te
-- - -
-
is


-
eg

-
nR

- - -

-- - - -
-
U

-- - - -- -
-
- -
- -
- -
- -
-

893
PCI Express System Architecture

- -
- -- --
- -- -
-- -- - --
- - - -
- - - -
-
-- - -- --
- - --- - --

d
re
te
is
eg
nR
U

894
Chapter 24: Express-Specific Configuration Registers

d
re
te
is
eg
nR
U

895
PCI Express System Architecture

-- -


- - --
-- - - -
- - -
- -- - - -
- - - - -
- -

d
- -

re
-- - -- - -

-- - --
te
- - -
-- - -
- - - --
is
- - -

-- - - --
eg
nR
U

896
Chapter 24: Express-Specific Configuration Registers

-- -

d
re
te
is
eg

--

nR

-- - --
-- - - -- -
-- -
U

-- -
-
-- - -
- -
-
- -
- -
-
- -

897
PCI Express System Architecture

-- -
- - - - -
-- - -

-
- -

- - -
- - -
-- - - - - -
- - -- -

d
-

-- - -

re
-- - -
- - - -
te
is
-- - -
eg
nR
U

898
Chapter 24: Express-Specific Configuration Registers

-- - -

- -

- -- -
- -

--
-- - ---
- --- --- -
--- - - -
-- - - -
-- - -

d
- - -
- --

re
-
- --
- - - - -- - -
te
- - -
- -- --
- -
is
--
-- - - --
- -
eg

---
--- - --
- -
-- -
nR

- -- - -
- -
-- - -

--
U

-
-
--
--
- -

- -

899
PCI Express System Architecture

-- - -

- -

- - -
- - -
- ---
--

-- - -
-- - -- -
- - - -
- -- --

d
- - - - -
- - - - -

re
- - -- - -
-- - --
- - -
te
- -
-
is
- - - - - --
- -
eg
nR
U

900
Chapter 24: Express-Specific Configuration Registers

- -

d
re
te
is
- -
eg

- -

- -
- -
- -
nR

- -
- -
-
-
U

-
-
-

901
PCI Express System Architecture

- -

- -

-
-- - -
- - --
- - -
- -
- - - - -
- - - -
- - -
- - -

d
--- - -
- -

re
- -- -
- - -
- - - -- -
te
- -
- - - --
- - - - - -
is
-
- - --
-
eg

- -
- - - -
- - -
-- - - - - -
nR

- - - -

-- - -
- - -
-- - - - -
U

- - - -
- - - -
- - -
- - -
- - -

902
Chapter 24: Express-Specific Configuration Registers

- -

- -

- -
- - - -
- - -
-
- - -
-
- - - - - -
- -
-

d
-

re
- - - - -
- - - -
-
- -- - - - -
te
- - -
- -
--
is
-- -
- -- -
eg

- -- -
- -- -
- -- k-
k- -- k-
nR

k-k-
k-
U

903
PCI Express System Architecture

- -

- -


- - - - -
- -
- -
-- - - -
- - -
- --

-- k-

d
k- -- k-
k- -- k-

re
k- -- k-
k- -- k-
k- -- k-
k-k-
te
k-

- - - -
is
--
-
eg

--
--
-
--
nR

- - -
-
-- -
--
U

--
-
--

904
Chapter 24: Express-Specific Configuration Registers

- -

- -

- - - -
--
-
--
--
-
--

- -

d
- - -
- - -

re
-

te
- - -
-- - -

is
-

- - - -
eg

- - - -



nR



- - -
-- - -

U

-
-
- -

905
PCI Express System Architecture

d
re
te
is
eg

- -
nR

-
- -
- -
-- -
- -
U

- -
- -
- - -
-- -

- -

906
Chapter 24: Express-Specific Configuration Registers

- -

- - -
- -
- -
-- -

- -

- - - -
- - --

d
- - ---
-

re
- - -
-
- -
te
- - -

- -- - -
is

- -
-- -- - - -
eg

- - -
- - - - - - -
- - - --
nR

-
- - - -
-
-
-
U

-
-
-
-
-
-
- -

907
PCI Express System Architecture

- -

- - -
- - - -
- - -

- - - -
-

- - -

d
- - - -
-

re
- - -

- -
te
- - - -
- -
-
is
- - -
- -
- - -
eg

- - - -
- - - - -
- - - - - -
-
nR

- - -
U

908
Chapter 24: Express-Specific Configuration Registers

- -

-- - -
- -- - --- -
- -- -
--- -
-- - -
-- - - - - --
--
- - - -
- --

d
- - -
--- --

re
- -
-- - -- -

- - -
te
- - - -- -
-
- -
is
- -
- -
eg

- -
- -
- -
-
nR

-
- -- -
- -
- -
U

- -
-
- -

909
PCI Express System Architecture

- -

d
re
te
- -

- -
is
-
- - - - -
eg

- - - --
-
- - -
-
nR

- - - -
- - -
-- -
- - -- -- -
U

-
- -

910
Chapter 24: Express-Specific Configuration Registers

- -

- -

-
- - - - -
- - - --
-
- - -
-
- - - -
- - -
- - -- --

d
- - - --
- - - - -

re
- -

- -
- - - - -
te
- - --
- - -
-
is
- -
- - -
eg

- - -
- -
- -- -- -
- - - --
nR

- -
- -

- - - -
- - -
U

- -- -
- - -
-
- - - -

- -

- - -
-

911
PCI Express System Architecture

- -

- -

-- - - -
- -- - - -
-
- - -
- - --

-
- - -
-- - -- - --

d
- -

re
--
--
te
- -
-
is
- -

- -
eg

- - -
nR
U

912
Chapter 24: Express-Specific Configuration Registers

- -

d
re
te
is

- -
eg

- -


nR

-
- -


-
U








- -

913
PCI Express System Architecture

- -

- -

-
- -
-
-
-
-

d
- - -
- - - -

re

-- -
- -- -
- -- -
te
- -- -
- -- k-
k- -- k-
is
k-k-
k-
eg

- -
-- -
-

nR

914
Chapter 24: Express-Specific Configuration Registers

- -

- -

-
- - -

-- k-
k- -- k-
k- -- k-
k- -- k-
k- -- k-
k- -- k-

d
k-k-
k-

re
- -
-- -
-
te

- -- -
is
- -- -
eg

-
- - -
nR
U

915
PCI Express System Architecture

d
re
te
-

- -
is
-
eg

-
-
- - - -
- - - -
nR

- - -

-
- -
-
U

- - - -
- -

916
Chapter 24: Express-Specific Configuration Registers

- -


- -

- -

-




-
- -
- -

- -

d

-

re
- -

- - - -
- -
te
- -
- -
is

-
-
eg

- - -
- - - -
-
nR


- -
- - -
- -
- - - - -
U

- - - - -
- - -
- -
-
- - -
- -
- -

917
PCI Express System Architecture

- -

- - - ---
- - -
- -
-
- - --- -
- -
- - - -
-
- - --

d
- -
-

re
- -
- - -
te
- -
is
eg
nR
U

918
Chapter 24: Express-Specific Configuration Registers

- -

- -

-
-
- -

re


- -
te

-
is
- - - -
---
-
eg

- - -
-- - -
nR

- - -
-
- - -
- - - -
- - -
U

- -
-- - - -
-- -
- - -

-- -

919
PCI Express System Architecture

--

-- - - - -
- - - -
--

- -
-
- -

d
- --

re
- -
-
- -
te
is
eg
nR
U

920
Chapter 24: Express-Specific Configuration Registers

- -

d
re
te
is
eg

- - -
nR

- -

- - ---
- -
U

- - -
-

- -
- - --- - -

- -
--- - -

921
PCI Express System Architecture

- - -

- -

- - -
-- - -
- - - -
--

- - -- -


- - -- -

d
- - -

re

- - - -
-- - - - -- - -

te
- -- - -
- -
is
-
- -

eg

- - -
-- -

nR




- - - -
-- - - - -- - -
U


- -- - -
- -
-

922
Chapter 24: Express-Specific Configuration Registers

- - -

- -

- - - - -
- --- - -
--- - -
- --
- - - -
--- --

d
-

re
- -
te
-
is
eg
nR
U

923
PCI Express System Architecture

- -

- -

-- - -
- --
- -

- -

- -

d
- - -
--

re
- -


te
- - -
-
- -
is
- -

- -
eg

-

- -
nR

- -
-
- -

- - -
U

-- -

-



- - - - - -
--

924
Chapter 24: Express-Specific Configuration Registers

- -

- -

- - -
-- -

-



- - - - - -
--

d
- - -

re
- -- - -
-


te
- -
is
-
- -
eg

- -
nR
U

925
PCI Express System Architecture

- -

- -

-- --


- -

- - -
- -

re
- -- --
-

te
- - - - -
- - -
- - --
is


- -
eg

- - - -
- -
- -

nR

--
U


- - - --
-- - - --

-
-
- -

926
Chapter 24: Express-Specific Configuration Registers

d
re
te
- -
is
- -

- - - -
eg

-
- - -- -
- - - - -- - --
- - -- -
nR

--
- -
- - -

- - - -
U

-
- - -- -
- - - - -- - --
- - -- -
--
- -
- - -

927
PCI Express System Architecture

- -

- -

- - - -
-
- - -- - -
- - - -- - ---
- -- -
--
- -
- - -

d
- -
-- - --

re
- - -- - -

- - - -- - --
- -
te
- - - -
- -

is
- -
eg

-
- -
nR

- -
U

928
Chapter 24: Express-Specific Configuration Registers

- -

- -

- - - -
- --

- - - - --
- - -
- - - -

- - - -

d
- - - -
- -

re
- -
- -
-
te
-- -
is

eg

--
- --

- -
nR

- -
- -
- -
U

- - - -
- - - -
- - -
- - -
- -- - -
- - - - --
- - - - - - -

- -
- -

929
PCI Express System Architecture

- -
- -

- - -- -
- - - -

d

re
te

--
is
- - -- - - -
- - -
eg

-- - -
- - - - -
--- -- -

nR

-
- -
- --
U

930
Chapter 24: Express-Specific Configuration Registers

d
re
te
is
eg
nR
U

931
PCI Express System Architecture

- - -

-
- - - -- -
- - -
-

- - - -
- -
- - -

d
- - -

re

- -

te

-
- -
is

-
-
eg

-
- -


nR

-
- -
- -- -- -
- - -
U

- -
- - -
-- - - -
-

- -- -
- -- - -
- -

932
Chapter 24: Express-Specific Configuration Registers

- - -

- - -
- -- --
- - - -
- - -

- - -
- -
- -
-

d
- - - -
- -

re
-- - -

- - -

te
- -- - -
- - -

is
- -- -
- --
eg

-
nR
U

933
PCI Express System Architecture

- - -

- -
--
- --
--
--
-

- - ---

d
- -
- -

re
-
--- -
- -
--
te
- - -
- - - -
- -
is
- - - -
-- -
eg

-- -
- --
- - --
-- - -
nR

-- --
--

- - - -
U


- - - --
--
--

- - - -
-
- - -- --
--

934
Chapter 24: Express-Specific Configuration Registers

d
re
- -
te
is
eg
nR

- -
U

935
PCI Express System Architecture

- -

d
re
- -
te
is
eg
nR
U

936
Chapter 24: Express-Specific Configuration Registers

d
re
- -
te
is
eg
nR
U

937
PCI Express System Architecture

d
- -

re
te
is
eg
nR
U

--

938
Chapter 24: Express-Specific Configuration Registers


- - -
- - - -- - --

- - -

-- -
- - -
- - - - -
-- - - - - -

d
-
-- -

re
- - -
- -- - - -
- - - - - -
te
-
- - -
- - -
is
- - - -
eg


nR
U

939
PCI Express System Architecture

- - -
- - - - -

- -
- - - -
-
- -

- - - - - -
- -

- -

d
- - -

re
-- - -
- -
- -
te
- - -

- - - -
is
- -
- - - - -
- - - -
eg

-
nR

-- - -
-- - -

- -
U

- - --

940
Chapter 24: Express-Specific Configuration Registers

d
re
te
is


eg
nR
U

-
- - - -
-

941
PCI Express System Architecture

d
re
-
te
- -
is
- -

- - -
eg

- - -
-
nR

- - -
- - - - -
- - -
- -
- -
U

- -
- -
- -
- - - - -

--- -
- - - -
- - -
- -
-

942
Chapter 24: Express-Specific Configuration Registers

- -

- - -
- - -
- - - -
-
-

- - -
- - -
- -

d
-
- -

re
- - -
- - -
- - -
te
-
- - - -
is
-
eg

-
nR
U

943
PCI Express System Architecture

- -

- - -
-- - -
- -
- --
- - -
- -
-
-
--

d
--
--

re
- -
- - - -
- -
te
- -
- - - -
is
- - - - -
-
eg

-
- - - -
-
nR

-
U

944
Chapter 24: Express-Specific Configuration Registers

- -

-
- - --
- -
- --
- - - - -

-- -
- -

d
-
- -

re
- -
-
- - -
te
-
- -
- -
is
- - - -
- -- - -
- - -
eg

- -- -
-- -
- - - - - -
nR

- - -
-

- -
U

- - - -
-

945
PCI Express System Architecture

- -

d
- -

re
- -

- -
te

- --
is
- -
eg

-
-- - --

- -
nR

- -
- - -

-- - - --
U

- - -
-
-
- - -- - - -
---

- - - - -
- -

946
Chapter 24: Express-Specific Configuration Registers

- -

- -

d
- -

re
- - - -
- -
te
- --
- -
-- - --
is
- -
- - -
-
eg

--
--
--
- --
nR

--
- -


- -- --
U

- -
-- -
- - --
- - -

947
PCI Express System Architecture

- -

- -

--
-- -
-
-- - -
- - - -
- -

- -- -
-- -

d
- - - -
-

re
- - - --
-
- -
te
-- -
- - - - -
- - - -
is
- - - -
- -
eg

- - - - -
- -
nR

- -
U

948
Chapter 24: Express-Specific Configuration Registers

- -

- -

-
-- - - - -

- -
- -
- -
- -
- -
- -

d
- -
- - - -

re
-
-
- - - - -- -
te
-
-
is
-
- - --
- - -
eg

- --
- - - - - -
- - - - -
-- -
nR

- -

-
- - -
- - -
U

-
- - - - -
- -
- -
- - -
- -- - -
- - - - - -
- - - - -
- -

949
PCI Express System Architecture

- -

- -

- -- -
-- -
- - - - - -
- - - -

- --- -
-

d

-

re
- - - -
- - - - - - - -

te
- -
-- - -

is
-- - -
-
- - - - -
eg

-
- - - - -

- - - -
nR

-
- - - - - -
- - - -
-
U

- - - - - -
- -

950
Chapter 24: Express-Specific Configuration Registers

- - -

d
re
- - -

- -
te
- -
- -
is
- --
- - - - - -
- - - -- -
eg

- -
- -- - - -
- -- -- -
- - -
nR

- -

--
- -

--- - -- - -
- --
-- -

951
PCI Express System Architecture

- - -
-- -- - - - --
-
- - -
-

-
-

--
- -

d
--- - -- - -
- --

re
-- -

te
- - -
- - - - --
- - -- - --
is
-
- - -
eg

- - - - -
- - - -
--
nR


- - - --
-
U

---
-

- - --
-
- -
- - - -
-
- - -

952
Chapter 24: Express-Specific Configuration Registers

- -

d
re
te
-
is
eg

- - - -
- -- -
nR

--
---
-- -
- - - - - - --
U

- - --
- -- - --
-- - -
- - - - -
-- -

953
PCI Express System Architecture

d
re


te

-
is
- -
- -- - - -
eg

- -

-- -
-- --
nR

-- -

-- -- - -
-- -
U

- - - - -
- -
- --
- -- -- -- -
- - -- - -

-- - -
-- - -

954
Chapter 24: Express-Specific Configuration Registers

-
--- - -
-
-
-
- - -

- -
- - - -
-- - -
--- - - -
- - -

d
--

re
-
te
is
eg
nR

955
PCI Express System Architecture

d
re
te
is
eg

-
nR
U

956
Chapter 24: Express-Specific Configuration Registers


- - - -
- -
--
-- - -
-- - - -
-- - - --

d
- - - -- -
-

- - --
re
te
- - - -
--
is
- - - - - - -
eg

- ---
- - -- --
-- -- - - -
nR

- -- - --
-- - - -
-- - --
U

-
- -- - - -
- -- - -
- -- - -

-

957
PCI Express System Architecture

--
- - - -
- - - -
-- - -
- -
- - --- - -- -
- - - -
--- - -
- - - -
-

d
re

te
is
eg
nR
U

958
U
nR
eg
is
te
-

re
d
U
nR
eg
is
te
re
d

-

-- --

d
re
-te
is
eg

- - -
-- - - --
nR

- - - - - -
- -- - -
- - - - -
- - - -
-- -
U

-- -- - - - -
- --

- - -
- - --
- - -- - - -
- - -
- - - - -
-- -
- -


-- -
- -- - -- -
- -- - -- -- -
- - -- -- - -
- - - --
-
- -
- - - -
--- - --
---

- -
-- -

d
re
te
is
eg
nR
U

- -
-- - - - - -
-- - - - -- -
--- - -
- - - -

- - -
- -- -
- - - - -
- - -- -

d
-- --

re
-
te
is
eg
nR
U


-- -

d
re
te
is
eg

- -
nR

- -- - - -
-
- -- -
- -- - - --
- - - -
U

-- -- - --
- -
- - - - -
- -
- -

r - -
- - -- - - --
-- - - -

-
--

re
te
is
-
eg
nR
U

N5480A N5480A
head head


-- -
-- - - - -
- --- - - -
- - - -
- - -
-- - -
-- - - -

--

d
re
te
is
eg
nR
U

- - -
- - -
-
- --

-
--
- - --- --
-
-- -
- -
- - - -
- - -- -
- - - -- -- -
- -

d
-- - - - -
-

re
- -
te
is
eg
nR
U


-- -

-- - - - --
- -- - -
- - - - -
-- - - -
- --- - -
- - -
-- -
- - -
-- - -- -
- - - -
- --

-- - - - -

d
- - - - - -
- - --

re
-
-
- - - -
te
- - - - -
- - --
-- -
is
- - - - -
--- - - -
- - -
eg

-- - - -- - -
- - - -
nR

-- - - -
- - - -

- - - - -
- - - - --
U

- - - - -
- - -
-

- -- - - -
- - - -
- - -- -
- - - - -- - --
- - - -
--

- -
- - -
-- - -
- -
- - -- -
-- - --
- - --
- - -
- - - --
- -- -
- - --

d
- - - - -
-

re
- - -
- - - --- ---
-- - - -
te
- - -
- - - - -
- - - -- --
is
- - --
- - -
eg

- - - -
- -- - - - - -
- - -
-- -
nR

- - -
- - - --
- -- -
- - -
U

- - - - -- -
- -
-- - - - - -
-- -- - - - -- - -
- -- - -

- - - -
-
- - - -- -


-- -

- -

d
re
te
is
eg
nR
U

- - -
- - - -
- -- -
- - - - - - - - -
-

- - -
- - - -
-
- -
-- - - -
- -
- - - -- -

d
- - -
- -

re
- - -- -
- - - - -
- - - - -
te
-

is
eg
nR
U


-- -

- -
- - - --
- - -
-- -- -
- - --
- - -

- - - -- - -
- - - - -
- -
- - - - --

d
-- - - - - -
- - - - -

re
- --
- --
- - -
te
is
eg
nR
U

- -

d
re
te
is
eg
nR
U


-- -

-- -

d
re
te
is
- -
- -- - - --
eg

- -

-- -- - -
- - - -
- - -- -- --
nR

- - --

- --- - - ---
-- -
U

- - - --
- --

- -
-- -- - -
- - - - - - -
- - - -
-- - -
- - -

- -

d
re
te
is
eg
nR
U


-- -

- - -- -- - - -
-
-- -

d
re
te
is
eg
nR
U

- - -- - --
-- - -
- - - - -
- -- -
-- - -- - - -
- - - --
-- - - -

- - -

d
re
te
is
eg
nR
U


-- -

- - -- -
-- - - - --
- - - -
--

- - - - - -
- - -
- - -
-- - ---
- - - ---
--
-
- -- - -

d
- -
- -

re
- -
te
is
eg
nR
U

d
re
te
is
eg
nR
U


-- -

- --
- -- -
- - - - - - --
-

-

- - - -
- - - - - - -

- - - - -

d
re
te
is
eg
nR
U

- - - -
--- - - -
-- - - --
-- - - - -
- --

- - -
--

d
re
te
is
eg

- -
- - - - -- --
- - --
-- --- -- - - --
nR

- - -
-- -
-- - -- -

- - - -
U

- -
- - -- - - -
- - - -
- -
- - - -


-- -

- - -

d
re
te
is
eg
nR
U

- - - -- - -
- - - - --
- -
- - -
- - -- - - -
- - - - - -
-- -- -
- - --- - - -
-
- - - --
-- - - -

d
- - - - -
- - - -

re
--- -- - -
- -- - - -
- -- - - - -
te
-- - - - -- - -- - -
- - - - -
- - -
is
- - - - -
-- - - -
eg

- - -
- - --
nR
U


-- -

-- - -

d
re
te
is
eg

nR

- -- -- -
-- - - - - -
- - ---
U

- - - --
- -

-
- - -
- - - -

-- - - - --

--- - - ---

- - - - --

d
re
-- - -

-
te
is
eg
nR
U


-- -

d
re
te
is
eg
nR
U

d
re
te
is
eg
nR
U


U
nR
eg
is
te
re
d

- -
--

d
-

re
te

is
- - - - ---
- - -
- --- -
eg

-- -
- - -
- -
-- - - - --
nR

- - -
- --
-
U

- --- - - -
- - -
--- - - - --
- - - -
- --
- --

-- - --- -
- - - -
-
- - -


-- -

- -
- - - - - -
---

--

d
re
te
is
eg
nR

- - - -
-- - -
- -
-- - -
U

- - -- ---
- - -
-

-
-


-- -

-- --

-
-
---

- --
-- - - - ---
- - - - -
--- - - -
- -- -
- - - - - -
- - - - - --

d
re
- --
- -- - - -
te
-- -
-- - - -
- -- -
is
- - -
-- -- --
eg

- -- - -
-- - - -
- - - -
nR

- - - -
- - -
- -
U

--
-- -- - - - --
- -- - -- - -- - -
- - -
- -- -- - - -
-- - ---


-- -

-- - -

d
re
te
is
- - --
- -
- -
eg

- --- --
- - - - ---
-- - - -
-- - - - -
nR

- -
--

--- -- --- -
- -- -- -- --
U

--
- - -
- - -- --
-

- - --- --
-- - -
--- -- - --
-
- - - -

-- --

- - -- - -
- - -- -
-- -- - - -- - -

-- -

d
re
te
is
eg


nR

- - - ---
- -- - - - -
- - - - -
U

- - -- -- ---
-- - -
- - -
- - - - -

-
-- - -
- - - -
-- - -


-- -

- -- --
- -- - - -- -
- - - -
---- - - - -- -
- -

-- -

d
re
te
is
eg

--
nR

- - - --
- - - -
- - --
U

- -- - -- -- - -
-
--- - - - -

- - -
-- - - -
- - -
- -
- - -- - --

-- --

- - --- - -
-- - - - - -
- - --- -
- - - - -
-- -
- - -

-- - - - -
- - -
-- - -
- -
- -

d
- - - - --
- - -

re
- - - -
-- - - --
- - - - - - --
te
- - - -- - -
--- - -

is
eg

-- -
nR
U


-- -

- --
- - - --
- --- - - - - - -
- - --- -
-- - - - -
- - - - --
-- -- -- -
- ---

- --- - -
--- - --- ---

d
- -
- -- - -- - -

re
- - -
--
- - - --- - -
te
- -- - - -
-- - -
-
is
- --- - --
- -- -
eg

-- - --- - -
- - -
- - - - --- -
- - - - -
nR

- - - ---

-- -
-- - - -- ---
U

-- - - -- - -
- - - -
- --- -

-- --

-- - --

d
re
te
is
eg

-- - -
nR

- - - -- -
- - - -
- - - -
-- -
-
U


U
nR
eg
is
te
re
d

- -
-- --

re
- - -- -- ---
- -
te
- - --- -
- - --
- - ---
is
--- - -- -
- -- -- - - -
eg

- - --- - -
- - - -- - - -
nR

- - - - -
-- - - ---
- -- - -
--- - - -
- -- - - - -- -- -
U

-
- - - -
--

- - -- -- ---
- - - - --
- - - ---
- -- -
- -- ---
- - - --
-

999
PCI Express System Architecture

- -

-
- - - --
-- - - -
- - -- - -- - -
- -- - --
- - -
-- -- -- -

d
- -
--

re
- - -
- - --- -
te
-- - -- -
- --
- - -
is
- --- - - -
-- -
- -
eg

- - - - -

nR

-
- - - ---
- - -
U

- -
- -- - -
- - --- - - --
- - - - --
- -- -- -
- - -- -
-- -- -
-- - -- -
-- -

1000
Appendix D: Intelligent Adapters & Multi-Host Systems

-- --
-- --- --
- -- --
--- - -
- - -- -- --- - -
- - -- -
-- - - - -- -- ---
-- ---- --
-- - - -- -
- --- - --- -

re
- -- - -
te
- - -- -
- -

- - - -
is
- -
--- - -- -- -
eg

-- - -
-- - -- - ---
- -- --
nR

- --
-- - - -
--- - -- - -
- -- ---- -
--
U

- - - -- - -
- - - - -
- - - -
- - - -
- -- - - -
- - -

1. Unless explicitly noted, the architecture for multiprocessor systems using PCI and
PCI Express are similar and may be used interchangeably.

1001
PCI Express System Architecture

- -- -
--- - - -
- -

- - - - -
-- -- - - - -
- - -- - -
- -
--- --
-- - -- -
- - - -
-- -- - - - --
- - - - -- -

d
- - - - -
- - - -

re
- te
- - -
is
eg
nR
U

1002
Appendix D: Intelligent Adapters & Multi-Host Systems

- -
-- - --
- ---- --
- - -- -- --
- --- -
- - - --
- -- - --
--

- - - - - -

d
-- -- -
-- -- - --

re
- -- - -
- - - - --
- - -
te
- - - -
- - -
-- - -
is
- - - -- -
- - - -- --
--
eg

- - - -
-- -- -
- - - - -
nR

- - -- - -
- - - - - -
- - -
- - -
-- - - - - -
U

- - -
- -- -- -
- - -- --
- -- -

2. - - - -
- -- - ---

1003
PCI Express System Architecture

- -- -- -- -
- --- -- -- -
- - - - -- --
-- - -
- --
- -- - -- -
-- -
- -- -- -
- - - -- -- -
--- - - --
- - - -

d
-- -

re
te
is
eg
nR
U

1004
Appendix D: Intelligent Adapters & Multi-Host Systems

- - -

d
re
te
is
eg
nR

-
-- - -
U

- - -- ---
- - --- ---

-- -- ---
- -- --- -- -
-- - -
--
- - -
- - -

1005
PCI Express System Architecture

- -
- -

- -- --

d
re
te
is
eg
nR
U

-- -
-- - -
- - - -
- -
-
- -
- - -- -
- - - --

1006
Appendix D: Intelligent Adapters & Multi-Host Systems

- -
-- -- - - -
- - - - --
- - - -
- - -
- - -
- - -
-- - -
-- -
-- - -

- -- - - -
- -- -- - --

d
- - -
- - - --

re
- -
- -
- - - -
te
- -- -

-- - -
is
-- - - --
- - - - --
---
eg

-- - - - --

nR

-
-- -
-- - -- ---
U

- - -- - - -
- - -
- --- - -- -
- - - -
- - - - -
- - - - -- - -
-- - -

1007
PCI Express System Architecture

- -- --

d
re
te
is
eg
nR

- - --- -
- - - -
- - - -
U

- -
-- - - -- - - -
-- -
- - - - -
- -- - -- -
- - -- - -
- - -- - -
-
- --

1008
Appendix D: Intelligent Adapters & Multi-Host Systems

- - -- -
- - -- - ---
-- -- -
- - - - -
--
- - -- - -
- - - -- - -
-- -- --- ---
- --
-- - - - --
- -- - -
--- -

d
-- - -
- -

re
-- - -- -- - -
- -
-- - - -- -
te
- - -- - -
-- - - - - - -
- -
is
-- - ---
-- - - -- -
eg

-- - -- - -
- - - -
-- - -
-- -- --
nR

- - --- -
-- -- -
- - - - --
- -- - - - - --
--- - --
U

1009
PCI Express System Architecture

- --
- -
-- -- ---
- -- - - -
-- - - - --- -
- --- - - - -
- -

- -- -

d
re
te
is
eg
nR
U

3. Back to back non-transparent (NT) ports are unnecessary but occur as a result of the
use of identical single board computers for both hosts. A transparent backplane fab-
ric would typically be interposed between the two NT ports.

1010
Appendix D: Intelligent Adapters & Multi-Host Systems

--- - --
- -
-- -
-- -- - -
-- --- -
-- -
2 - -- -
-- - -- -- -
- - - -
- --- - ---
-

d
- - - - - - -
- - - -

re
- -

- - -- - -
te
- -
- - - - - --
- - - -- --
is
-- -
eg
nR
U

1011
PCI Express System Architecture

d
re
te
is
eg
nR

- -- - - -
U

- - ---
-- - - - -
- - -
- - - - -
- - -
--

1012
Appendix D: Intelligent Adapters & Multi-Host Systems

-- -
- - - - --- -
- - - -- - -
- --- -
- -
- - -- - - - -
-- - --- - - -
-
-- - -
-- - - -
- -

d
- -- - -- -

re
- - --
- -- - -
- -- - - -
te
- - - - - -
- -- - - - ---
---
is
- - - - - -
- - -
eg

-- - -
- - - -
- - -
-- - -- - --
nR

- - - -
- - - - -- -
- - - - - - -
- - - -- --
U

- --- - - -
-- --
-- - - - -- -
- - - - - -
- - - -- ---
- - -- -
- - - --
- - - - -
- -- -- - - -
-- -

1013
PCI Express System Architecture

-- -
--- - - -- -
- -- - --
-- ---
- - -- -
- - - - -
- - - - - -- -

-- -

d
re
te
is
eg
nR

- -- -
U

- --
- - - -- -- -
-
- - - -
- -
-- --
- - -- - - -- -
-- - - - -
- - -

1014
Appendix D: Intelligent Adapters & Multi-Host Systems

--- - ---
-- - - - -

- -

d
re
te
is
eg
nR

- --
U

- - - -
-- - -
- - - - -
-- --
-- - -
--
-- - - --
- -
-

1015
PCI Express System Architecture

- -

d
re
te
is
eg
nR
U

-- --
- - - --
- -- --- --
- - - -- -
- - -- - -
- - --
-- - - -
-- - -- - --

1016
Appendix D: Intelligent Adapters & Multi-Host Systems

-- - - - -
--- - -- -
-

d
re
te
is
eg
nR
U

1017
PCI Express System Architecture

d
re
te
is
eg
nR
U

1018

-- -

d
- -- -- - --- -
- -

re
-- -
te
is
eg

-- -
nR

-- -

-- - -
-
U

-- -

1019
PCI Express System Architecture

-- -

-- -

- -

- -- -

--

---
- -

d
-- -

re
-
- -
te
-

- - -- -
is
-
eg

- -- -

--
nR

-- -

-- -- -

-- -

1020
Appendix D: Class Codes

-- -- -

-- -

-


-- -

d
re
-- -

-- -
te


is

eg


nR


-
-
U

1021
PCI Express System Architecture

-- - -

-- -

-
---

---
-- -
---

-
-- - --

re


te
-
is
-- -
eg

-- -


nR

-- -

-- -

1022
Appendix D: Class Codes

-- -

-- -

d

- -

re
- ---
-
-
te
- --


is
-

-
eg

- -
- -
- -
nR

- -
- - -
- -

U

-
- -
-- - --

-
- - -
-- - --
-

1023
PCI Express System Architecture

-- - -

-- -

d
-

re
-


te


is


eg

-
nR
U

1024
Appendix D: Class Codes

-- - -

-- -

-
- - - - - -
-

-
- - - - - -
-

re
-
- - - - - -
-

te
-
- - - - - -
is
-

eg


nR

-
U

1025
PCI Express System Architecture

-- - - -

-- -

- -- - - -
- -

d
-- -
- -

re
- -
- - - --
-
-
te


is

eg


nR

-- -

-- -
U

--

1026
Appendix D: Class Codes

-- -

-- -

d

-

re
- -- -- -
--- -- - -
- - -
te
- -
- -
-
is
- -
- - -
- - -
eg

- -
-

nR

-- -

-- -
U

1027
PCI Express System Architecture

-- ---

-- -

re
--
te
-- - -

-- -
is

eg

- -

-

nR

- - -
- - -

- - -
U

- -

- -
-


- - -

1028
Appendix D: Class Codes

-- - -

-- -

-
-
--
-

d
- -
-

re
-

-
te
-
is
-- -- -
eg

--

-
nR

--

1029
PCI Express System Architecture

-- -

--


- -

-- -

d
-- - -

re
--


te


is

eg

-

nR

-- -

--

1030
Appendix D: Class Codes

-- - -- -

--

- - -
--

- --

d
-

re
-
te
- -


is

eg

-
nR

--
U

-
- - -
--
- - -
- -
-

1031
U
nR
eg
is
te
re
d

--
-

re
te
-- - -
- -- - - - -
- -- -
is
- -
- - --
- -- -- - -
eg

- -

nR

-- - - -
-- - -
-- - - - - --
U

- -
--

- -- - - -

- -

-- -
- -

1033
PCI Express System Architecture

- - - - - ---
- - -
- -- -
- -

- - --


- -
- --
--
--
- - - -- --

d
-

re
- - - -- -
--

- -
te
- -- - - -
- -
is
--
eg

- - -- - -- --
- - - - -- -
- --- - -
nR

- -- -
- - ---
- -- --
- - -
U

-- - -- --
-- -
-
-- - -
- - --- -
-- -- -- -- -

1034
Appendix E: Locked Transaction Series

---
-- - -- -
- -

- - -
- - - --
- -- --
-
-
- - ---
- - - --

d
-
-- - - -

re
--
-

te
- -
-
-- -- - --
is
- -- -

eg


nR

- - - --
- -

- - --
- --
U


--
-
-- - -

- - --
- --

1035
PCI Express System Architecture


-- - - - --
-

- - - -
- -
--- -
- - - -
- - - - -
- -- -
- -- - -- -
-- - --

d
-- - - --
- - -

re
- - --
-- -- -


te
- - - - --
-- - --
-
is
-
- - -
- -- -
eg

- -
- -

- -- - - -
nR

-- - -
--- -
- - -- -
- - -
-- -
U

- -

-
- --
- -

1036
Appendix E: Locked Transaction Series

- -

d
re
te
is
eg
nR


-
U

- - - -
-
-- -
- --- -- --

--- - --

- - --
-- - - -
-

1037
PCI Express System Architecture

- - -
-
- - - --
-- - - -
- --
- - - -
- ---
- -- - - - -
-- -- - -
- -
-- - - -
-

d
- --

re
te
is
eg
nR
U

1038
Appendix E: Locked Transaction Series

---
- -- -
- - - -
- - - - -
- -- - -
- - - -

-
- - - -

d
-

re
-
--
te
-- -- --
is
--
-- -- - --
- -- -- -
eg

--- --
--
--
- - --
nR

-
- - -
--

- -
U

-- - - -

- - - - -
--- - -- - -
- - - --
- --- - -
---
--

1039
PCI Express System Architecture

-- - - ---
- - -- -
-- - -

- -- - - - --
-- - - -
- --- --
-- -
- - - - -
-- - -
-- - -

d
- -

re
- - -- -- --
-- --
- - - -
te
--- - -

- - --
is
-- - --
-- --
- - - -- --
eg

-- - - -
- -- - - -- - -
- - -- - - - ---
- - -
nR

- -- -- -
-- - -
-- -- -
--
U

- - -
- -- --
-
-- - --
-- - -
-- - -- -
-- - -
-- -- -- - -
-- --

1040
Appendix E: Locked Transaction Series

- -- -
- -- - - - -
- - - - -
-- - - -
- -
- --

d
- - -- - -
-- - - -
- -- -- -

re
- --- -
- - -
te
- -
is
- - --- -
- - --- - - -
eg

- -

- -- -
- - - -- --
nR

-- --
-- - --
-
- -
--
U

- -- -- -
--- -
- -- -- --
- - -- - --
-- -- - --- -

1041
PCI Express System Architecture

- -- -
-- - - --
- - - - -

d
re
te
is
eg
nR
U

1042

- - --
- -

- -








-- ---
-- -
- -
-- --

--
--

d
--

re
-
-

-

- -- --

te





-

-
is
-
- -



- -
eg

-

-
- -
-
- -

- -
nR

-


-

- -

-
U

- - - -
- -
-

- -
-
- -
-
-

- -
- -



-
- --
--- --
--- - -
--- -
---
--- -- -

--
--
-- -
--
--
-- -
--
--

d

--
-
--

re
--

--
--

--
te

--
--

--

is
--
--

-- -

--
eg

-
-


-

- -
nR

-
-- ---

-
--

-- -




U

-
- -

-- --



-
-

-

-

-

-
-
--

-

- -


-
-
- -
-
- -
- - -
-
-
-
- -

--
- -
-

d
-

--

re

-



te
-



-
-

is




---

eg



--
-
-
---
---
--
-
nR



-
-

- - -- - -


U

-
-
-
-

-
-

-
-


- -
-
---- --





-
-
-

- - -


-
-

-

--
-
-

--
- -- -
--
- --
-

d
-

-
- -- -
-

re
- --
--



- --
te
-
-
-
-- -- -
--
-- -
is
- -- -

-- -

-- -

eg

-- --
- -- -
-- --


-
nR

-
--
---

-

U



-
- - -

-
- -
--

- -

- -

-
-
-
- -


-

- -
-
-

--





-- ---
-
- -
- --

d
- --
--

re
-- -
-- -
--

te
- --
-
- -
-- --
is
-
-
-
-
eg

- -
--

- -
-

-
--
nR

- -
-

-

-
-
U

- -




- -
-
-
-
-




- --
-
- -
--
- --
- -
-
-
- -
-
- -



re
-

-
- -
- -
te
--
-
-
- -
is
- -
-
- -
eg

- -
- --
- -
- -

nR

-
--

-- -
-
--
U


- -





-
-


- - -
-

-
-
--

- -

-
-


-
-





- -
- -
- - -




re

-
-
-
te
-


is
-


eg



-
-
-
nR
U


U
nR
eg
is
te
re
d

Вам также может понравиться