I m p l e m e n t a t i o n o f VPN R o u t e r H a r d w a r e Pl a t f o r m

u s i n g Ne t w v o r Pr o c e s s o r
Sa n g -Wo o L e e , Y o n g -Su n g J e o n , K i -Y o u n g K i m , J o n g -So o J a n g
Ne t w o r k Se c u r i t y R e s e a r c h D i v i s i o n
E l e c t r o n i c s a n d T e l e c o m m u n i c a t i o n s R e s e a r c h I n s t i t u t e
1 6 1 G a j e o n g -D o n g Y u s e o n g -G u D a e j e o n 3 0 5 -3 5 0 So u t h -K o r e a
E m a i l : { t t o m l e , y s j e o n , k i y o u n g , j s j a n g } @ e t r i . r e . k r
A b s t r a c t -Wi t h t h e I n t e r n e t e x p l o s i o n , t h e d a t a r a t e t h a t a S
D R A M D R A M
n e t w o r k i n g d e v i c e n e e d s t o s u p p o r t h a s i n c r e a s e d d r a m a t i c a l l y . o 1
A c o m m o n d a t a r a t e r e q u i r e m e n t f o r r o u t e r s t o d a y i s 1 0 s A M SR A M D R M M e d i a
G i g a b i t s p e r s e c o n d o r h i g h e r . A l s o , t h e n e t w o r k i n g d e v i c e 2 3
2
F a b r i c
r e q u i r e s t h e f l e x i b i l i t y t o p e r f o r m p a c k e t f o r w a r d i n g a n d o t h e r
c o m p l e x f u n c t i o n s s u c h a s f i r e w a l l a n d Q u a l i t y o f Se r v i c e . T h e
r o u t e r w i t h a n e t w o r k p r o c e s s o r c a n b e a s o l u t i o n f o r t h e s e
r e q u i r e m e n t s . I Ps e c p r o v i d e s a s t a n d a r d , r o b u s t a n d e x t e n s i b l e I n t e l E E E
Pt c h
m e c h a n i s m i n w h i c h t o p r o v i d e s e c u r i t y t o I P a n d u p p e r -
X Sc Pd e 1 0 1 C o n t r o l l e
l a y e r p r o t o c o l s . We c a n p r o t e c t p a c k e t s b e t w e e n h o s t s , b e t w e e n M E M E M E
n e t w o r k s e c u r i t y g a t e w a y s ( e . g . , r o u t e r s o r f i r e w a l l s ) , o r b e t w e e n C A P
h o s t s a n d n e t w o r k s e c u r i t y g a t e w a y s u s i n g
I Ps e c .
T h i s p a p e r
1
SH a C
p r e s e n t s a n i m p l e m e n t a t i o n o f a VPN r o u t e r h a r d w a r e p l a t f o r m M M M
u s i n g
I X P2 8 0 0 w h i c h i s I n t e l ' s n e t w o r k
p r o c e s s o r
a n d Ni t r o x -
M E C l . . t e r M E C l . . t e r
I I
w h i c h i s C a v i u m Ne t w o r k s '
s e c u r i t y p r o c e s s o r .
We d e s c r i b e d
t h e h a r d w a r e a r c h i t e c t u r e o f t h e i m p l e m e n t e d h a r d w a r e p l a t f o r m
a n d t h e s o f t w a r e i m p l e m e n t a t i o n t o b o o t a n d m a n a g e t h e s y s t e m .
A l s o , w e i m p l e m e n t e d I Pv 4 p a c k e t f o r w a r d i n g a p p l i c a t i o n w h i c h
r u n s o n t h e I X P2 8 0 0 . T h e a r c h i t e c t u r e o f t h e p a c k e t f o r w a r d i n g
a p p l i c a t i o n i s i n c l u d e d i n t h i s p a p e r . p r o c e s s o r . A l s o , w e d e s c r i b e d t h e s o f t w a r e i m p l e m e n t a t i o n o f
o u r p l a t f o r m . T h e o r g a n i z a t i o n o f t h i s p a p e r i s a s f o l l o w s .
I . I NT R OD UC T I ON
I n s e c t i o n 2 , w e i n t r o d u c e a n o v e r v i e w o f t h e I X P2 8 0 0 a n d
Ov e r t h e p a s t d e c a d e , n e t w o r k i n g s p e e d s h a v e i n c r e a s e d t h e Ni t r o x -I 1 . T h e h a r d w a r e a n d s o f t w a r e i m p l e m e n t a t i o n o f
d r a m a t i c a l l y . E s p e c i a l l y , r a p i d l y i n c r e a s e d n e t w o r k s e r v i c e s o u r h a r d w a r e p l a t f o r m i s p r e s e n t e d i n s e c t i o n 3 . I n s e c t i o n
n e e d h i g h p e r f o r m a n c e a n d f l e x i b l e n e t w o r k d e v i c e s . A l s o , 3 , w e d e s c r i b e t h e h a r d w a r e a r c h i t e c t u r e a n d I Pv 4 f o r w a r d i n g
p a c k e t s e r v i c e s h a v e g r o w n r a p i d l y f r o m s i m p l e p a c k e t r o u t i n g a p p l i c a t i o n w h i c h r u n s o n o u r h a r d w a r e p l a t f o r m . T h e t e s t
t o c o m p l e x s e r v i c e s s u c h a s f i r e w a l l , q u a l i t y o f s e r v i c e s e n v i r o n m e n t a n d t h e p e r f o r m a n c e i s d e s c r i b e d i n s e c t i o n 4 .
( Q o S) , a n d I n t r u s i o n D e t e c t i o n Sy s t e m ( I D S) [ 1 0 ] . A l s o , t h e F i n a l l y , c o n c l u s i o n s a n d f u t u r e w o r k s a r e c o n t a i n e d i n s e c t i o n
c o n v e r g e n c e o f t h e n e t w o r k d e v i c e s a n d s e c u r i t y a p p l i a n c e s 5 .
s u c h a s VPN( Vi r t u a l Pr i v a t e Ne t w o r k ) i s a n o t h e r c h a l l e n g e i n
* ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ I I . A N OVE R VI E W OF T H E I X P2 8 0 0 A ND T H E NI T R o X -J I
t h i s r e s e a r c h a r e a .
T h e Ne t w o r k Pr o c e s s o r ( NP) i s a p r o g r a m m a b l e d e v i c e s p e - I n t h i s c h a p t e r , w e d e s c r i b e a n o v e r v i e w o f t h e I X P2 8 0 0
c i a l l y o p t i m i z e d f o r t h e t a s k o f p r o c e s s i n g p a c k e t s a t e x t r e m e l y a n d t h e Ni t r o x -J I .
h i g h s p e e d [ 1 , 4 ] . A k e y f e a t u r e o f n e t w o r k p r o c e s s o r s i s t h e
a b i l i t y t o p r o g r a m t h e m , w h i c h m e a n s t h e i r a b i l i t y t o e x e c u t e A I X P2 8 0 0
a d o w n l o a d a b l e s e q u e n c e o f i n s t r u c t i o n s . T h i s f e a t u r e c a n T h e I X P2 8 0 0 h a s t h e X Sc a l e c o r e , m i c r o e n g i n e s a n d m e m -
d i s t i n g u i s h n e t w o r k p r o c e s s o r s f r o m o t h e r f o r w a r d i n g A SI C s o r y c o n t r o l l e r s . F i g u r e 1 s h o w s t h e f u n c t i o n a l b l o c k d i a g r a m
a n d c o p r o c e s s o r s . C o n s i d e r i n g t h e p r o g r a m m a b i l i t y , g e n e r a l - o f t h e I X P2 8 0 0 . T h e X Sc a l e c o r e i s a 3 2 -b i t g e n e r a l -p u r p o s e
p u r p o s e p r o c e s s o r s c a n b e u s e d f o r a r o u t e r , b u t t h e y h a v e n o e m b e d d e d R I SC p r o c e s s o r t o o f f l o a d c o n t r o l p l a n e t a s k s [ 5 ] .
o p t i m i z a t i o n s s p e c i f i c t o h a n d l i n g n e t w o r k t r a f f i c a n d w i l l n o t T h e X Sc a l e c o r e i s A R M v e r s i o n 5 a r c h i t e c t u r e c o m p l i a n t
s c a l e t o h i g h d a t a r a t e s [ 2 ] . A l s o , w e u s e s e c u r i t y p r o c e s s o r t o a n d i s s p e c i f i c a l l y d e s i g n e d f o r h i g h p e r f o r m a n c e a n d l o w
a c c e l e r a t e t h e p r o c e s s i n g o f t h e I Ps e c p r o t o c o l i n o u r h a r d w a r e p o w e r . I t c o n t a i n s i n d e p e n d e n t 3 2 K B i n s t r u c t i o n a n d d a t a
p l a t f o r m . c a c h e s , a n d a m e m o r y m a n a g e m e n t u n i t s . M i c r o e n g i n e s a r e
I n t h i s p a p e r , w e i m p l e m e n t e d a VPN r o u t e r h a r d w a r e u s e d f o r f a s t p a t h d a t a p l a n e p r o c e s s i n g , o p e r a t i n g a t 1 . 4 G H z .
p l a t f o r m w i t h t h e I X P2 8 0 0 w h i c h i s I n t e l ' s n e t w o r k p r o c e s - I t h a n d l e s m o s t o f t h e p r o g r a m m a b l e p r e -p a c k e t p r o c e s s i n g
s o r a n d t h e Ni t r o x -J I w h i c h i s C a v i u m Ne t w o r k s ' s e c u r i t y i n t h e I X P2 8 0 0 . T h e I X P2 8 0 0 h a s s i x t e e n m i c r o e n g i n e s ,
I SBN 8 9 -5 5 1 9 -1 2 9 -4 - 6 7 1 - F e b . 2 0 -2 2 , 2 0 0 6 I C A C T 2 0 0 G
PH Y n F i g . 3 . Pa c k e t f l o w o f t h e Ni t r o x -J I
I n g r e s s
t o t h e r e s t o f t h e s y s t e m . I n g r e s s p a c k e t s f r o m t h e M A C a r e
F i g . 2 . Ni t r o x -I I c o n f i g u r a t i o n t r a n s f e r r e d t o t h e Ni t r o x -I I , i f n e c e s s a r y , a n d a r e s u b s e q u e n t l y
p a s s e d t o t h e n e t w o r k p r o c e s s o r v i a t h e i n b o u n d SPI o u t p u t
f o r f u r t h e r p r o c e s s i n g . E g r e s s p a c k e t s t y p i c a l l y f l o w f r o m t h e
w h i c h a r e c o n f i g u r e d a s t w o c l u s t e r s o f e i g h t m i c r o e n g i n e s . n e t w o r k p r o c e s s o r v i a t h e o u t b o u n d SPI i n p u t , a r e e n c r y p t e d
E a c h m i c r o e n g i n e i s a 3 2 -b i t p r o g r a m m i n g p r o c e s s o r w i t h a n b y t h e Ni t r o x -I k , i f n e c e s s a r y , a n d a r e p a s s e d t o t h e M A C
i n s t r u c t i o n s e t a n d a r c h i t e c t u r e s p e c i a l l y o p t i m i z e d f o r h i g h v i a o u t b o u n d SPI o u t p u t . F i g u r e 3 s h o w s t h e d a t a f l o w o f
s p e e d p a c k e t p r o c e s s i n g . T h e m i c r o e n g i n e s p r o v i d e s o f t w a r e Ni t r o x -I I . A l l i n g r e s s p a c k e t s a r e t e m p o r a r i l y b u f f e r e d b y
c o n t r o l l e d m u l t i -t h r e a d e d o p e r a t i o n . A l s o , t h e m i c r o e n g i n e s t h e I n p u t Bu f f e r L o g i c , u n t i l f u r t h e r p r o c e s s i n g . On c e t h e
a r e a b l e t o a c c e s s a l l s h a r e d r e s o u r c e , a s w e l l a s c o n n e c t i o n s e n t i r e p a c k e t h a s b e e n r e c e i v e d , t h e d e v i c e i n i t i a t e s p a c k e t
b e t w e e n a d j a c e n t m i c r o e n g i n e s . T h e I X P2 8 0 0 h a s SR A M s , p r o c e s s i n g b y e m p l o y i n g t h e L 2 P/ L 3 I l o g i c t o p a r s e t h e
D R A M s , a s c r a t c h p a d , a n d l o c a l m e m o r i e s o f m i c r o e n g i n e s p a c k e t . I f t h e p a c k e t d o e s n o t n e e d t o b e c r y p t o g r a p h i c a l l y
a s m e m o r y m o d u l e s . T h e l o c a l m e m o r i e s c a n b e a c c e s s e d p r o c e s s e d , t h e Ni t r o x -I f p a s s e s t h e p a c k e t d i r e c t l y t o t h e
b y t h e m i c r o e n g i n e s , b u t t h r e e o t h e r t y p e s o f m e m o r i e s c a n a p p r o p r i a t e o u t p u t v i a t h e Pa c k e t Or d e r M a n a g e r a n d t h e
b e s h a r e d w i t h t h e X Sc a l e c o r e , t h e m i c r o e n g i n e s , a n d t h e Ou t p u t Pa c k e t I n t e r f a c e . T h e E x e c u t i o n F l o w L o g i c s e r v e s a s
PC I u n i t s . T h e s c r a t c h p a d i s o n -c h i p 1 6 K B m e m o r y , w h i c h a s w i t c h f o r a l l c o m m u n i c a t i o n t o t h e G i g a C i p h e r Pr o c e s s o r
i s u s e d f o r g e n e r a l p u r p o s e . T h e SR A M c l u s t e r c o n s i s t s o f C o r e s ( G PC s ) . T h e E x e c u t i o n F l o w L o g i c f o r w a r d s t h e p a c k e t
f o u r i n d e p e n d e n t SR A M c o n t r o l l e r s w h i c h c o n t r o l e x t e r n a l d a t a , i n c o n j u n c t i o n w i t h t h e SA d a t a , t o t h e a p p r o p r i a t e
Q u a d -D a t a -R a t e ( Q D R ) SR A M s . T h e SR A M s a r e u s e t o s t o r e G PC f o r c r y p t o g r a p h i c p r o c e s s i n g . E a c h G PC i s a m i c r o -
d a t a s t r u c t u r e s t h a t r e q u i r e s m a l l a n d f r e q u e n t a c c e s s e s . T h e c o d e d e n g i n e t h a t s u p p o r t s t h e s y m m e t r i c D E S/ 3 D E S, A E S,
m i n i m u m a c c e s s s i z e f o r SR A M s i s f o u r b y t e s . T h e D R A M a n d R C 4 e n c r y p t i o n a l g o r i t h m s , d i r e c t h a r d w a r e s u p p o r t f o r
c l u s t e r h a s t h r e eD R a M c o r e r w h i c r o v i d e s a l a r g e m o d u l a r e x p o n e n t i a t i o n , w h i c h i s n e e d e d f o r w m a n y a s y m m e t r i c
a m o u n t o f c h i p s t o r a g e f o r b u f f e r i n g p a c k e t s a n d s t o r i n g o t h e r e n c r y p t i o n a l g o r i t h m s ( s u c h a s D H o r R SA ) . T h e r e s u l t s o f
d a t a s t r u c t u r e s s u c h a s b u r s t -o r i e n t e d d a t a b a s e s w h i c h d o n o t G PC a r e f o r w a r d e d t o Ou t p u t Bu f f e r L o g i c a n d
Ou t p u t Pa c k e t
f i t i n SR A M s . T h e I X P2 8 0 0 u s e s t h r e e R a m b u s D R A M s . E a c h I n t e r f a c e [ 1 G 1 ] .
o f t h e R D R A M c h a n n e l s m u s t h a v e t h e s a m e n u m b e r , s i z e ,
a n d s p e e d o f R D R A M s p o p u l a t e d . M e d i a Sw i t c h F a b r i c ( M SF ) I I I . I M PL E M E NT A T I ON OF VPN R OUT E R H A R D WA R E
i n t e r f a c e s t h e I X P2 8 0 0 w i t h e x t e r n a l M A C / f r a m e r d e v i c e s a n d PL A T F OR M
s w i t c h f a b r i c s . T h e M SF h a s i n t e r n a l l y R e c e i v e Bu f f e r ( R BUF ) T h i s c h a p t e r d e s c r i b e s a h a r d w a r e d e s i g n o f t h e VPN r o u t e r
a n d T r a n s m i t Bu f f e r ( T BUF ) a n d s u p p o r t s SPI -4 . 2 ( Sy s t e m h a r d w a r e p l a t f o r m , a n d a I Pv 4 f o r w a r d i n g a p p l i c a t i o n w h i c h
Pa c k e t I n t e r f a c e ) f o r M A C d e v i c e s o r C SI X -L 1 p r o t o c o l f o r r u n s o n t h e I X P2 8 0 0 .
s w i t c h f a b r i c i n t e r f a c e s . T h e h a s h u n i t s u p p o r t s a p o l y n o m i a l
h a s h a l g o r i t h m a n d a p r o g r a m m a b l e h a s h m u l t i p l i e r t o g e n e r - A . H a r d w a r e D e s i g n
a t e h a s h i n d e x e s . F i g u r e 4 s h o w s t h e a r c h i t e c t u r e f o r o u r VPN r o u t e r h a r d w a r e
B. dNT r a x -J i t Bu f f e r
( T BUF ) a n d s u p p o r t s SPI -4 . 2 ( Sy s t e m
p l a t f o r m . Ou r h a r d w a r e p l a t f o r m i s c o m p o s e d o f t w o b o a r d s ,
B. Ni t r o x -l l
~ ~ ~ ~ ~ ~ ~ ~ ~ w h i c h
a r e t h e NPU c a r d a n d t h e Se c u r i t y E t h e r n e t l i n e c a r d .
T h e Ni t r o x -I I
i s a s i n g l e -c h i p , h i g h l y i n t e g r a t e d , s e c u r i t y A s s h o w n i n F i g u r e 4 , o u r h a r d w a r e p l a t f o r m h a s t h e f l e x i b l e
p r o c e s s o r o r i e n t e d a r o u n d p a c k e t p r o c e s s i n g . A Ni t r o x -I l c o n f i g u r a t i o n o f p h y s i c a l p o r t s w i t h o u t c h a n g i n g t h e NPU
p e r f o r m s m o d u l a r e x p o n e n t i a t i o n , r a n d o m n u m b e r g e n e r a t i o n , c a r d . T h e NPU c a r d c o n s i s t s o f t h e
I X P2 8 0 0 , w h i c h i s t h e
h a s h p r o c e s s i n g . I t a l s o e x e c u t e s p r o t o c o l -s p e c i f i c c o m p l e x Ne t w o r k Pr o c e s s o r Un i t ( NPU) t h a t p e r f o r m s d e e p -p a c k e t
i n s t r u c t i o n s t o s u p p o r t t h e I Ps e c / I K E s e c u r i t y p r o t o c o l s . T h e i n s p e c t i o n a n d t r a f f i c m a n a g e m e n t o f t h e E t h e r n e t l i n e d a t a
Ni t r o x -J I h a s s e v e r a l c o n f i g u r a t i o n s i n o r d e r t o e x e c u t e I Ps e c a g g r e g a t e d b y t h e E t h e r n e t o v e r t h e SPI 4 . 2 i n t e r f a c e . Bo t h
p r o t o c o l [ 1 2 ] . I n o u r i m p l e m e n t a t i o n , w e u s e I n -l i n e c o n -
i n g r e s s a n d e g r e s s f u n c t i o n s
w a e
p e r f o r m e d b y
t h e
s i n g l e NP.
f i g u r a t i o n d e s c r i b e d i n F i g u r e 2 . T h e Ni t r o x -I I a p p l i e s t h e I n a d d i t i o n , t h e NPU a l s o p e r f o r m s
t h e
c o n t r o l p l a n e f u n c t i o n s
I Ps e c c o n v e r s i o n t o i n g r e s s a n d e g r e s s p a c k e t . T h e Ne t w o r k o f t h e h a r d w a r e p l a t f o r m u s i n g t h e PC I , Sl o w -Po r t a n d G PI O
p r o c e s s o r p r o v i d e s o t h e r p a c k e t p r o c e s s i n g f u n c t i o n s , s u c h a s i n t e r f a c e s . T h e Se c u r i t y E t h e r n e t l i n e c a r d h a s a M A C ( M e d i a
e x c e p t i o n p a c k e t p r o c e s s i n g , a n d a l s o p r o v i d e s a n i n t e r f a c e A c c e s s C o n t r o l l e r ) , PH Y s ( PH Y s i c a l l a y e r d e v i c e ) , I Ps e c
I SBN 8 9 -5 5 1 9 -1 2 9 -4 - 6 7 2 - F e b . 2 0 -2 2 , 2 0 0 6 I C A C T 2 0 0 G
Bo o t 1 1 | C o n t r o l
Pl a n e Pr o t o c o l St a c k
F -p c -l -1
PR OM
~ ~ ~ ~ X s c a l e
b r i L D g 4 Bo o t
X s c a l e
|
C o r e C o m p o n e n t s
R e s o u r c e M a n a g e r L i b r a r y
M i c r o e n g i n e s c ) )
Q D R T A
SR A M D a t a Pl a n e L i b r a r a y
Se c u r i t y E t h e r n e t L i n e C a r d NPU C a r d
F i g . 5 . I X A f r a m e w o r k a r c h i t e c t u r e
F i g . 4 . T h e h a r d w a r e a r c h i t e c t u r e o f t h e VPN r o u t e r p l a t f o r m
T A BL E I s i x SF Ps ( Sm a l l F o r m F a c t o r ) a n d s i x R J -4 5 c o p p e r i n t e r f a c e s .
M E M OR Y C ONF I G UR A T I ON
B. I Pv 4 F o r w a r d i n g A p p l i c a t i o n
T y p e T
Si z e ]
C o n f i g u r a t i o n I Pv 4 f o r w a r d i n g a p p l i c a t i o n f o l l o w s I n t e l I n t e r n e t E x c h a n g e
SR A M 2 4 M B 3 *8 M B/ c h a n n n e l A r c h i t e c t u r e ( I X A ) s o f t w a r e f r a m e w o r k . F i g u r e 5 s h o w s t h e
R D R A M 7 6 8 M B 3 *2 5 6 M B/ c h a n n e l I X A s o f t w a r e f r a m e w o r k . T h e s o f t w a r e o n t h e NP c a n b e
T C A M 9 M b i t g r o u p e d t h r e e
l o g i c a l p l a n e s [ 7 , 8 ] .
T h e s o f t w a r e o n t h e d a t a
F l a s h 3 2 M B p l a n e p r o c e s s e s t h e m a j o r i t y o f t h e p a c k e t s i n t h e
s y s t e m .
D a t a p l a n e h a s t w o t y p e s o f p a t h : f a s t a n d s l o w . T h e f a s t
p a t h , w h i c h r e f e r s t o M E v 2 m i c r o e n g i n e s , h a n d l e s t h e m o s t
o f p a c k e t s f o r e x a m p l e I Pv 4 f o r w a r d i n g . T h e s l o w p a t h ,
p r o c e s s o r a n d p h y s i c a l p o r t s . A C a v i u m Ne t w o r k s ' Ni t r o x - w h i c h r e f e r s t o I n t e l X Sc a l e c o r e , h a n d l e s a f e w e x c e p t i o n a l
I I i s u s e d f o r I Ps e c p r o c e s s o r . A n A m p l e H a r r i e r A 2 5 1 1 p a c k e t s . E x a m p l e s i n c l u d e I P p a c k e t s w i t h o p t i o n s i n t h e
i s u s e d f o r M A C . T h e M I A C i n t e r o p e r a t e s w i t h t h e PH Y h e a d e r , h a n d l i n g f r a g m e n t e d p a c k e t s , e t c . T h e c o n t r o l p l a n e
v i a s t a n d a r d R G M I I ( R e d u c e d G i g a b i t M e d i a I n d e p e n d e n t r u n s t h e I P r o u t i n g -p r o t o c o l s t a c k a n d h a n d l e s u p d a t e d t o t h e
I n t e r f a c e ) i n t e r f a c e a n d w i t h t h e Ni t r o x -I 1 v i a s t a n d a r d SPI - f o r w a r d i n g t a b l e s u s e d b y t h e d a t a p l a n e . T h e m a n a g e m e n t
4 . 2 i n t e r f a c e [ 9 ] . We u s e d t h r e e M a r v e l l A l a s k a s f o r t h e PH Y s . p l a n e i s r e s p o n s i b l e f o r t h e s e t u p , c o n f i g u r a t i o n a n d a n a l y z i n g
E a c h PH Y c a n c o n n e c t f o u r p h y s i c a l p o r t s a n d h a s t h e f u n c t i o n s y s t e m l o g s a n d s t a t i s t i c s . T h e f a s t p a t h p r o c e s s i n g o n t h e
o f a u t o d e t e c t i o n a n d c o n f i g u r a t i o n f o r t h e p o r t l i n e s p e e d . m i c r o e n g i n e s i s c o m p o s e d o f l o g i c a l n e t w o r k i n g f u n c t i o n s
T h e s e M A C a n d PH Y s s u p p o r t 1 0 / 1 0 0 / 1 0 0 0 M b p s l i n e s p e e d . c a l l e d m i c r o b l o c k . E a c h m i c r o b l o c k i s a m a c r o u s i n g u n -
d e r l y i n g l o w -l e v e l l i b r a r i e s p r o v i d e d b y d a t a p l a n e l i b r a r i e s .
T a b l e 1 s h o w s t h e m e m o r y c o n f i g u r a t i o n o f o u r h a r d w a r e A m i c r o b l o c k h a s a n a s s o c i a t e d m a n a g e m e n t c o m p o n e n t o n
p l a t f o r m . We u s e d 2 5 6 M B Ne x M o d T y p e R a m b u s D R A M t h e X Sc a l e c o r e , w h i c h i s c a l l e d t h e c o r e c o m p o n e n t s . T h e
p e r c h a n n e l r u n n i n g a t 1 0 6 6 M H z . Q D R I I c h a n n e l o p e r a t e s c o r e c o m p o n e n t i m p l e m e n t s t h e c o n f i g u r a t i o n , m a n a g e m e n t
a t 2 0 0 M H z . C h a n n e l 0 , 2 , a n d 3 h a s t w o 2 M b i t x 1 8 SR A M s . a n d e x c e p t i o n p r o c e s s i n g c o d e f o r a n a s s o c i a t e d m i c r o b l o c k .
Q D R c h a n n e l 1 i s u s e d f o r 9 M b i t T C A M ( T e r n a r y C o n t e n t T h e r e s o u r c e m a n a g e r l i b r a r y i s a s o f t w a r e c o m p o n e n t o n
A d d r e s s a b l e M e m o r y ) . T h e s i z e o f f l a s h i s 3 2 M B. T h e f l a s h t h e X Sc a l e c o r e , w h i c h p r o v i d e s a n A PI f o r h a r d w a r e i n i -
h a s t h e b o o t l o a d e r o f t h e o u r p l a t f o r m . T h e b o o t l o a d e r i s t i a l i z a t i o n a n d c o n f i g u r a t i o n , a n d c o m m u n i c a t i o n b e t w e e n t h e
b a s e d o n R e d Bo o t w h i c h i s t h e s t a r d a r d e m b e d d e d s y s t e m m i c r o b l o c k s a n d t h e i r a s s o c i a t e d c o r e c o m p o n e n t s .
d e b u g g i n g a n d b o o t s t r a p e n v i r o n m e n t f r o m R e d H a t . T h e b o o t F i g u r e 6 s h o w s t h e f u n c t i o n a l d i a g r a m o f I Pv 4 f o r w a r d i n g
l o a d e r c o n t a i n s POST ( Po w e r On Se l f T e s t ) , s e r i a l c o m m u - m i c r o b l o c k s . Pa c k e t r e c e p t i o n f r o m t h e M SF i s e x e c u t e d i n
n i c a t i o n f u n c t i o n , E t h e r n e t c o m m u n i c a t i o n a n d F l a s h i m a g e t h e Pa c k e t R x m i c r o b l o c k . On e m i c r o e n g i n e i s a l l o c a t e d f o r
m a n a g e m e n t . E s p e c i a l l y , t h e b o o t l o a d e r h a s BOOT P c l i e n t t h e Pa c k e t R x m i c r o b l o c k . T h e m i c r o b l o c k r e a s s e m b l e s t h e
t o g e t I P n e t w o r k c o n f i g u r a t i o n a n d T F T P c l i e n t t o d o w n - p a c k e t s f r o m SPI -4 . 2 b u s . T h e p a c k e t s a r e c o p i e d f r o m M SF
l o a d c o d e f r o m t h e d e v e l o p m e n t s e r v e r . We u s e d e m b e d d e d R BUF i n t o D R A M a n d p a c k e t d e s c r i p t o r s a r e f i l l e d i n SR A M
L i n u x f o r o p e r a t i o n s y s t e m o f o u r h a r d w a r e p l a t f o r m . T h e b y t h e Pa c k e t R x m i c r o b l o c k . T h e Pa c k e t Pr o c e s s i n g o c c u p i e s
L i n u x e s p e c i a l l y s u p p o r t s NF S( Ne t w o r k F i l e Sy s t e m ) a n d e i g h t m i c r o e n g i n e s . I n t h i s m i c r o b l o c k , L 2 E t h e r n e t M A C
J F F S2 ( J o u r n a l i n g F l a s h F i l e s y s t e m ) . l a y e r s m u s t b e d e c a p s u l a t e d . T h e n , t h e p a c k e t s c o n t a i n a n
T h e c l o c k f r e q u e n c y o f SPI 4 . 2 i s 3 1 1 M H z . D y n a m i c d e - I Pv 4 h e a d e r , i t i s p a s s e d t o t h e I Pv 4 F o r w a r d i n g m i c r o b l o c k ,
s k e w i s u s e d f o r c l o c k / d a t a a l i g n m e n t . T h e PC I b u s f o l l o w s o t h e r w i s e t h e y a r e t r a n s m i t t e d t o t h e c o r e c o m p o n e n t s . I f t h e I P
6 4 b i t / 6 6 M H z i n t h e s p e c i f i c a t i o n 2 . 2 . E s p e c i a l l y , t o f i t t h e p a c k e t i s i n v a l i d a t e d , t h e p a c k e t s a r e d r o p p e d i n t h e I Pv 4 F o r -
s e n s i t i v e c o n d i t i o n o f R a m b u s D R A M p o w e r c o n s t r a i n t , t h e w a r d i n g m i c r o b l o c k . T o g e t t h e n e x t h o p , t h e m i c r o b l o c k u s e s
i n d e p e n d e n t r e g u l a t o r i s u s e d t o s u p p o r t 1 . 5 V a n d 2 . 5 V. T h e a 5 -t r i e L o n g e s t Pr e f i x M a t c h ( L PM ) a l g o r i t h m . A f t e r d e c i d i n g
h a r d w a r e p l a t f o r m h a s t w e l v e g i g a b i t p o r t s w h i c h c o n s i s t o f t h e n e x t h o p , t h e p a c k e t s s h o u l d b e e n c a p s u l a t e d w i t h a n L 2
I SBN 8 9 -5 5 1 9 -1 2 9 -4 - 6 7 3 - F e b . 2 0 -2 2 , 2 0 0 6 I C A C T 2 0 0 G
C o r e C o m p n e n t s Sc h e d u l e r
* r ; I X I A M L | PH Y M A C
l Ps c
NP
L 2 E t h _ _ . _ _ . _ _ _ _ _ _ _
Pa c k e t l 2 E h I Pv 4 L 2 E t h 0 c Pa c k e t
R x
+[
D c a p s F o r w a r d i n g E n c a p M a n a g e T X F i g . 8 . T h e l o o p b a c k c o n f i g u r a t i o n
Pa c k e t Pr o c e s s i n g
F i g . 6 . I Pv 4 f o r w a r d i n g m i c r o b l o c k d i a g r a m
g r a p h i c a l g o r i t h m
a n d i t r e c e i v e s t h e
i n g r e s s p a c k e t s
f r o m
t h e M A C a n d r e t r a n s m i t s t h e m t o t h e M A C i n t h e Ni t r o x -
I I
l o o p b a c k c o n f i g u r a t i o n . A l s o , t h e Ni t r o x -1 I r e c e i v e s t h e
p a c k e t s f r o m t h e M A C a n d
p a s s
t h e m t o t h e NP w i t h o u t
p r o c e s s i n g c r y p t o g r a p h i c a l g o r i t h s
i n t e t e l Pv 4 p a c k e t
f o r w a r d i n g . T h eNUA C l o o p b a c k a n d t h e Ni t o r x -1 1 l o o p b a c k
s h o w s o OG t o u g
a nt h e i Pv 4 o r w a r i n g o o p b a c a s
8 . 5 G
t h r o u g h p u t
w i t h v a r i a b l e f r a m e s i z e , f u l l d u p l e x , a n d
r a n d o m p a c k e t . T h e
d e g r a d a t i o n
o f t h e I Pv 4 p a c k e t f o r w a r d i n g
l o o p b a c k
o n t h e NP i s c a u s e d
b y p o r t
u n b a l a n c e o f t h e Pa c k e t
T x m i c r o b l o c k s .
R D e Q M 1 Sr s p n 1 b e f r e f m V. C ONC L USI ONS
A ND F UT UR E WOR S
M T h i s p a p e r
d e s c r i b e d
t h e i m p l e m e n t a t i o n o f
VPN
r o u t e r
R D M
o e h a r d w a r e
p l a t f o r m u s i n g
t h e I X P2 8 0 0 w h i c h i s I n t e l ' s n e t w o r k
No w p r o c e s s o r a n e Ni t r o x - w i c i s a v i u m e t o r s s e c
p r o c e s s o r . Ou r h a r w a r e
p l a t f o r m
i s
c o m p o s e o t w o b o a r s ,
Se c u r i t y L i n e C a r d NPU C a r d w h i c h a r e t h e NPU c a r d a n d t h e
Se c u r i t y
l i n e c a r d . T h i s f e a t u r e
F i g . .
T h VPNr o u t r h a d w a r p l a f o r m a l l o w s
u s e r s t o h a v e t h e
f l e x i b i l i t y
o f
c o n f i g u r i n g p h y s i c a l
F e p o r t s w i t h o u t c h a n g i n g
t h e NPU c a r d . A l s o , w e i m p l e m e n t e d
t h e s o f t w a r e t o b o o t t h e h a r d w a r e p l a t f o r m a n d OS b a s e d o n
h p e a d e r . T h e Q u e u e M a n a g e r ( Q M ) r u n s o n o n e m i c r o e n g i n e . e m b e d d e d
l i n u x .
E s p e c i a l l y ,
w e
i m p l e m e n t e d I Pv 4
f o r w a r d i n g
h a e . h e e Q M i s Q u e u p o n s i b e M a n a g e r ( Q M ) o r u i n s o n q u e u e d e u e m r o p e n
a p p l i c a t i o n w h i c h
i s
c o m p o s e d
o f t h e m i c r o b l o c k s
r u n n i n g o n
t h e i Q n M
n r e s p o n s i b l e
f R A
p
i n g
T e n q u e u e / d e q u e u e o e r a
m i c r o e n g i n e s
a n d t h e c o r e
c o m p o n e n t s r u n n i n g
o n t h e X Sc a l e .
t i o n o n t h e h a r w a r SR M l n k e l i t . h e a c k t Sh e d l e r
No w ,
w e a r e
t e s t i n g
t h e I Ps e c
p r o c e s s i n g p e r f o r m a n c e
o f t h e
i s
r e s p o n s i b l e
f o r
s e l e c t i n g p a c k e t s t o b e t r a n s m i t t e d o u t o f
i p e e t d VNr u e
a d a e p a f r . A s , w r
M SF . T h i s m i c r o b l o c k l e t t h e Q M d e q u e u e
a
p a c k e t
f r o m a
d e v e l o p i n g t h e
s e c u r i t y
f u n c t i o n s s u c h a s f i r e w a l l a n d I D S i n
s p e c i f i c p o r t ' s q u e u e .
T h e Pa c k e t T x m i c r o b l o c k
o c c u p i e s t w o
t a i g h e d v n g e o t e p r r m a b l y o f h e I P8 0
m i c r o e n g i n e s .
T h i s m i c r o b l o c k t r a n s m i t s
p a c k e t s
v i a t h e M SF . t a i g h e d v n g e o t e p r r m a b l y o f h e X P0 0
A s t h i s p a p e r m e n t i o n e d a b o v e , t h e I Pv 4 f o r w a r d i n g m i - R E F E R E NC E S
c r o b l o c k s h a v e t h e a s s o c i a t e d c o r e c o m p o n e n t s . R x c o r e c o m - [ 1 ] D . E . C o m e r , Ne t w o r k Sy s t e m s D e s i g n Us i n g Ne t w o r k Pr o c e s s o r , Pr e n -
p o n e n t c o n f i g u r e s a n d i n i t i a l i z e s t h e Pa c k e t R x m i c r o b l o c k . t i c e H a l l , E n g l e w o o d C l i f f s , NJ 2 0 0 3 .
A l s o , i t h a n d l e s e x c e p t i o n p a c k e t s a n d A R P p a c k e t s f r o m t h e [ 2 ] M i c h a e l C o s s a n d R o n Sh a r p , T h e Ne t w o r k Pr o c e s s o r D e c i s i o n , Be l l
L a b s T e c h n i c a l J o u r n a l , p p . 1 7 7 -1 8 9 , 2 0 0 4 .
Pa c k e t R x m i c r o b l o c k a n d s e n d s A R P p a c k e t s o v e r t h e PC I [ 3 ] D a v i d Ni x , Us i n g t h e n e t w o r k p r o c e s s o r t o m i t i g a t e s p e e d v s . p r o g r a m -
Bu s t o t h e T X c o r e c o m p o n e n t . T h e I Pv 4 F o r w a r d i n g c o r e m a b i l i t y t r a d e o f f s , I n t e g r a t e d C o m m u n i c a t i o n s D e s i g n Sp e c i a l R e p o r t ,
c o m p o n e n t g e n e r a t e s I C M P e r r o r m e s s a g e s a n d v a l i d a t e s t h e A g e r e Sy s t e m s , A p r i l 2 0 0 1 .
[ 4 ] D a v i d H u s a k , Ne t w o r k Pr o c e s s o r s : A D e f i n i t i o n a n d C o m p a r i s o n , C -Po r t
I P h e a d e r a n d h a n d l e s f r a g m e n t a t i o n . I n a d d i t i o n , i t h a n d l e s C o r p o r a t i o n , 2 0 0 0 .
p a c k e t s w i t h I P o p t i o n s . [ 5 ] I n t e l , I X P2 8 0 0 Ne t w o r k Pr o c e s s o r : H a r d w a r e R e f e r e n c e M a n u a l , No -
F i g u r e 7 s h o w s o u r i m p l e m e n t e d VPN r o u t e r h a r d w a r e v e m b e r 2 0 0 4 .
[ 6 ] Bi l l C a r l s o n , I n t e l I n t e r n e t E x c h a n g e A r c h i t e c t u r e a n d A p p l i c a t i o n s : A
p l a t f o r m . T h e r i g h t s i d e o f t h e f i g u r e i s t h e NPU c a r d w h i c h Pr a c i c a l G u i d e t o I n t e l ' s Ne t w o r k Pr o c e s s o r s I n t e l Pr e s s , J u n e 2 0 0 3 .
i s c o m p o s e d o f t h e I X P2 8 0 0 a n d t h e m e m o r y m o d u l e s . T h e [ 7 ] I n t e l , I n t e l I n t e r n e t E x c h a n g e A r c h i t e c t u r e So f t w a r e Bu i l d i n g Bl o c k s
l e f t s i d e o f t h e f i g u r e i s t h e Se c u r i t y E t h e r n e t l i n e c a r d w h i c h D e v e l o p e r ' s M a n u a l , No v e m b e r 2 0 0 4 .
[ 8 ] I n t e l , I n t e l I n t e r n e t E x c h a n g e A r c h i t e c t u r e So f t w a r e Bu i l d i n g Bl o c k s
h a s t h e Ni t r o x -I 1 , t h e M I A C , t h e PH Y s , a n d t h e p h y s i c a l p o r t s . A p p l i c a t i o n s D e s i g n G u i d e , No v e m b e r , 2 0 0 4 .
[ 9 ] A m p l e , H a r r i e r A 2 5 1 0 / 2 5 1 1 D a t a Sh e e t , M a y , 2 0 0 4 .
I V. T E ST [ 1 0 ] F . D e Be r m a r d i n i s , L . F a n u c c i , T . R a m a c c i o t t i , a n d P. T e r r e n i , A
Q o s I n t e r n e t Pr o t o c o l Sc h e d u l e r o n t h e I X P1 2 0 0 Ne t w o r k Pl a t f o r m ,
F i g u r e 8 e x p l a i n s t h e l o o p b a c k c o n f i g u r a t i o n . T o t e s t o u r Pr o c e e d i n g s o f t h e 3 r d I E E E I n t e r n a t i o n a l Wo r k s h o p o n Sy s t e m -o n -C h i p
h a r d w a r e p l a t f o r m , w e u s e d t h e I X I A f r a m e g e n e r a t o r . We f o r R e a l -T i m e A p p l i c a t i o n s , 2 0 0 3 .
t e s t e d ~ ~ ~ ~ t h. \A l o p a k v a t e H r i r . h i r x I
[ 1 1 ] C a v i u m Ne t w o r s , Ni t r o x -I I Se c u r i t y Pr o c e s s o r s C N2 x x x F a m i l y So f t -
t e s t e d h e M A C o o p b a c k v 1 a t h e H a r r 1 e r t h e N1 r o x -I I w a r e A r c h i t e c t u r e M a n n u a l , M a y , 2 0 0 4 .
l o o p b a c k v i a t h e Ni t r o x -J I a n d t h e I Pv 4 p a c k e t f o r w a r d i n g [ 1 2 ] C a v i u m Ne t w o r s , Ni t r o x -I I Se c u r i t y Pr o c e s s o r s C N2 x x x F a m i l y H a r d -
i n t h e I X P2 8 0 0 . T h e Ni t r o x -J I d o e s n o t c o m p u t e c r y p t o - w a r e M a n u a l , J a n u a r y , 2 0 0 4 .
I SBN 8 9 -5 5 1 9 -1 2 9 -4 - 6 7 4 - F e b . 2 0 -2 2 , 2 0 0 6 I C A C T 2 0 0 G