Giri

Dikkat
Altsistemi
Ynlendirme
Altsistemi
Ksa Sreli Bellek
Ksa Sreli Bellek
Uzun Sreli Bellek
Kontrol
Birimi
Kontrol
Birimi
F1
F2
ART nasl alyor?
Mete Balc, 2005-2007
Nevroz Aslan, Bitirme devi, 2003
Hatrlatma
Tm bunlar nasl yaplyor?
I
(

+
(

+ + =

j
j i
j
ji j i i i
i
x f x C B z x f D I x A x
dt
dx
) ( ) ( ) ( ) 1 (
1 1 1 1
c
(

+
(

+ + =

= j k
k j
i
ij i j j j
j
x g x C B z x h D x g x A x
dt
dx
) ( ) ( ) ( ) ( ) 1 (
2 2 2 2
c
)
`

+
(

+ =

=

) ( ) ( ) ( ) (
1
1 i ij
i k
k i j
ij
x h z x h L x h x f K
dt
dz
| | ) ( ) (
2 i ji ji j
ji
x h z E x f K
dt
dz
+ =
Mete Balc, 2005-2007
Nevroz Aslan, Bitirme devi, 2003
Ama: Verilen rntleri nceden belirlenmi benzerlik kstasna
gre bekleme, gerekirse yeni bekler oluturma
ART -1

Verilenler: n boyutlu p tane vektr benzerlik kstas uyanklk katsays
{ }
n
i
x 1 , 0 e
{ }
p
k
k
x
1 =
http://en.wikipedia.org/wiki/File:ART.png
A Yaps:
ij
z yukardan aa balantlar
ji
w aadan yukar balantlar
m j
n i
,..., 1
,..., 1
=
=
ilk arlklar
n
w
ji
+
=
1
1
) 0 ( 1 ) 0 ( =
ij
z

renme Kural:
m j x w y
T
j j
,..., 1 = =
F
1
katmanndaki gsterim ile veri nin benzerliinin lsne
uyanklk deerine gre karar veriliyor.
) (w ) (x
) (
iin kazanan belirle x
) ( max
*
j
j
y y =
j ij
j ij
ji
x k z
x k z
k w
) ( 5 . 0
) (
) 1 (
*
*
+
= +
j ij ij
x k z k z ) ( ) 1 (
*
= +
>
x
x z
T
ise kazanan aadan yukarya arlk gncelleniyor ) (w
Kazanan belirlemek iin hangi arlk
kullanlyor? Hangi arlk gncelleniyor?

Arlklarn Gncellenmesi:
Kazanan uyanklk koulunu salamyorsa
ne olacak?
F
2
katmanna yeni rnt yerletirilecek
lgili aadan yukar arlklar, ilk arlk
gncellenmesinde gibi belirlenecek, yukardan
aa arlklar yeni rntnn deerleri olarak
alnacak
0.7 },
0
1
1
1
0
1
1
,
0
1
1
1
0
0
0
,
0
1
1
1
1
0
1
,
0
1
1
1
1
0
0
,
1
0
0
0
0
1
1
{ =
(
(
(
(
(
(
(
(
(

(
(
(
(
(
(
(
(
(

(
(
(
(
(
(
(
(
(

(
(
(
(
(
(
(
(
(

(
(
(
(
(
(
(
(
(

= T
rnek :
Adm 1: Birinci rnt iin m=1, n=7
x w y
T
) 0 (
1 1
=
8
3
1
0
0
0
0
1
1
8
1
8
1
8
1
8
1
8
1
8
1
8
1
1
=
(
(
(
(
(
(
(
(
(

= y
Bakas olmad iin kazanan
Gncellenmeyi hakediyor mu?

Uyanklk katsaysna baklnacak

> =
x
x z
x
s
T
) 0 (
| | 3
1
0
0
0
0
1
1
1 1 1 1 1 1 1 =
(
(
(
(
(
(
(
(
(

= s
= > = = 7 . 0 1
3
3
x
s
Arlklar gncellenecek

=
=
+
=
6 , 5 , 4 , 3 0
7 , 2 , 1
3 5 . 0
1
) 1 (
, 1
i
i
w
i

) 0 ( ) 1 (
, 1 , 1 i i i
x z z =
| |
T
T
W
Z
(

=
=
5 . 3
1
0 0 0 0
5 . 3
1
5 . 3
1
) 1 (
1 0 0 0 0 1 1 ) 1 (
Adm 2: kinci rnt iin m=1, n=7
x w y
T
) 1 (
1 1
=
0
0
1
1
1
1
0
0
5 . 3
1
0 0 0 0
5 . 3
1
5 . 3
1
1
=
(
(
(
(
(
(
(
(
(

= y
Bakas olmad iin kazanan ancak uyanklk katsaysna bakmak da gerekiyor

?
) 1 (
> =
x
x z
x
s
T
| | 0
0
1
1
1
1
0
0
1 0 0 0 0 1 1 =
(
(
(
(
(
(
(
(
(

= s
Yeni bir nron oluturmak gerek

T
T
Z
W
(

=
(
(
(

=
0 1 1 1 1 0 0
1 0 0 0 0 1 1
) 2 (
0
5 . 4
1
5 . 4
1
5 . 4
1
5 . 4
1
0 0
5 . 3
1
0 0 0 0
5 . 3
1
5 . 3
1
) 2 (
Adm 3: nc rnt iin m=2, n=7
x W
y
y
T
) 2 (
2
1
=
(

(
(
(

=
(

5 . 4
4
5 . 3
1
2
1
y
y

?
2
) 2 (
> =
x
x Z
x
s
T
= > = = 7 . 0 8 . 0
5
4
x
s
Arlklar gncellenecek

=
=
+
=
7 , 2 , 1 0
6 , 5 , 4 , 3
4 5 . 0
1
) 3 (
2
i
i
W
x Z Z * ) 2 ( ) 3 (
2 2
=
| | 0 1 1 1 1 0 0 ) 3 (
2
= Z
(

= 0
5 . 4
1
5 . 4
1
5 . 4
1
5 . 4
1
0 0 ) 3 (
2
W
j ij
j ij
ji
x k z
x k z
k w
) ( 5 . 0
) (
) 1 (
*
*
+
= +
j ij ij
x k z k z ) ( ) 1 (
*
= +
.........
Dinamik Yapay Sinir A Modelleri
Yinelemeli Alar
(recurrent networks)
http://www.willamette.edu/~gorr/classes/cs449/rnn1.html
leri yol Geri besleme
nce lineer dinamik sistemler hakknda bildiklerimizi
hatrlayalm...
) ( ) ( ) (
) ( ), ( ) ( ) (
t Du t Cx t y
x t x t Bu t Ax t x
o o
+ =
= + =

durum deikeni
giri deikeni

k deikeni

Bu deikenlere ilikin baka neyi belirtmemiz gerek........
........ e x
........ e y
........ e u
Bu sistemin zm.....
}

+ =
t
t
t A
o
t t A
o
o
d Bu e t x e t x t t
t
) ( ) ( ) (
) ( ) (
ilk koul

Dinamik Sistem

Bir zel hal:
) ( ) ( t Ax t x =

Otonom sistem
zm bir daha yazarsak
) ( ..... ) ( ) ( ) (
0
) (
0 2 2
) (
0 1 1
) (
2 1
t x S e t x S e t x S e t x
n n
t t t t t t
o n o o

+ + =

zdeerler
zvektrler
zm, zvektrler ve zdeerler ile nasl deiir

.............................................................................................................


zvektrleri ayn zdeerleri farkl iki sistem
(

=
2 1
5 0
1
A
(

=
4 1
5 2
2
A
i 2 1
11
=
i 2 1
12
+ =
i 2 3
21
=
i 2 3
22
+ =
(

=
i
S
3651 . 0 1826 . 0
9129 . 0
11
(

+
=
i
S
3651 . 0 1826 . 0
9129 . 0
12
(

=
i
S
3651 . 0 1826 . 0
9129 . 0
21
(

+
=
i
S
3651 . 0 1826 . 0
9129 . 0
22
A1
sistemi
A2
sistemi
Hangisi daha hzl sfra yaklayor ?
zdeerleri ayn zvektrleri farkl iki sistem
(

=
3 . 0 1
5 2 . 0
1
B
(

=
3 . 0 5
1 2 . 0
2
B
i 235 . 2 25 . 0
11
+ =
i 235 . 2 25 . 0
12
=
i 235 . 2 25 . 0
21
+ =
i 235 . 2 25 . 0
22
=
(

+
=
i
S
4081 . 0 0051 . 0
9125 . 0
11
(

=
i
S
4081 . 0 0051 . 0
9125 . 0
12
(

+
=
9125 . 0
4081 . 0 0051 . 0
21
i
S
(

=
9125 . 0
4081 . 0 0051 . 0
22
i
S
B1
sistemi
B2
sistemi
Bu durumda lineer sistemin zmleri neler olabilir?
Tm bu durum portrelerinde ortak bir ey var, ne?
S. Haykin, Neural Networks- A Comprehensive
Foundation2
nd
Edition, Prentice Hall, 1999,
New Jersey.

Dinamik sistemin zel bir zm: Denge noktas
) ( ) ( t Ax t x =

d
Ax = 0
)) ( ( ) ( t x f t x =

) ( 0
d
x f =
Ka tane denge
noktas olabilir?
Sistemin davrann incelemenin bir yolu kararlln incelemektir.
Tanm: Lyapunov anlamnda kararllk

sistemine ilikin bir denge noktas olsun. Verilen
herhangi bir iin

eitsizlii


eitsizliini gerektirecek ekilde bir bulunabiliyorsa denge
noktas Lyapunov anlamnda kararldr.
)) ( ( ) ( t x f t x =

d
x
0 > c
) ( ) 0 ( c o <
d
x x
c <
d
x t x ) (
) (c o
d
x
Lineer sistemlerde denge noktasnn Lyapunov anlamnda kararlln
incelemek iin ne yaplnlyor?
Denge noktasnn kararll neye denk, neden?
Neden hep lineer sistemler ele alnyor?
. . . not to produce the most comprehensive
descriptive model
but
to produce the simplest possible model that
incorporates the major features of the
phenomenon of interest.

Howard Emmons
Lineer sistem modeli neden yetersiz?
Virtually, all physical systems are nonlinear in nature.

M. Vidyasagar
sonlu ka zaman
oklu yaltlm denge noktas
limit evrim
altharmonik, harmonik ve neredeyse periyodik zmler
kaos
oklu davran

Lyapunov anlamnda kararll incelemenin bir yntemi nedir?
2. Yntem
(Dolaysz)
1. Yntem
(Dolayl)
Lyapunovun 2. yntemi
Tanm: Lyapunov Fonksiyonu

Lyapunov Fonksiyonudur

) (x V
0

) ( , 0
1
=
e
e >
) V(x
C V(x)
x B x V(x)
d
d r
Teorem: Lyapunov Fonksiyonu olmak zere, denge noktasnn
kararl olmas iin yeter koul iin olmasdr.

) (x V
d
x
0 s e (x) V B x
r

2. dereceden lineer olmayan bir dinamik sistemin kalc hal zmleri iin
ne diyebiliriz?
Poincare- Bendixson Teoremi:
Kararl denge noktalar
Limit evrim
S. Haykin, Neural Networks- A Comprehensive Foundation, 2
nd
Edition, Prentice Hall, 1999, New Jersey.
Lineer olmayan sistemlerde baka nasl zmler var?
Neden Sonu
Ktle ekim yasas Astronomik olaylar

Atmosferin hareketleri Hava durumu tahmini
Isaac Newton [1643-1727]
G.W.F. Von Leibniz [1646-1716]
Determinizm ngr
Laplaces Demon: If you can imagine a consciousness great
enough to know the exact locations and velocities of all the
objects in the universe at the present instant, as well as all
forces, then there would be no secrets from this consciousness.
It could calculate anything about the past or future from the laws
of cause and effect.
Werner Heisenberg [1901-1976]
Belirsizlik Kuram (1927): Herhangi bir cismin konumu ve hz ayn
anda tam olarak belirlenemez.

In the strict formulation of the causality law-When we know the
present precisely, we can calculate the future- It is not the final
clause, but rather the premise, that is false. We cannot know the
present in all its determining details.
Yaklak olarak birbirine benzer nedenler yaklak olarak birbirine
benzer sonular doururlar.
Ed Lorenz [1917-2008]
Kelebek Kanad Etkisi (1960):
Nasl bir sistem?
Sonu
Determinizm ngr

Dinamik Yapay Sinir A Modelleri

Yinelemeli Alar
(recurrent networks)

Hopfield A, Elman A
Daha gereki sinir hcresi modeli var m?
Bir sinir hcresi modeli: Hodgkin-Huxley Modeli
| | ) ( ) ( ) (
1
4 3
l l K K Na Na
M
v v g v v n g v v h m g I
C
v =
m v m v
dt
dm
m m
) ( ) 1 )( ( | o =
h v h v
dt
dh
h h
) ( ) 1 )( ( | o =
n v n v
dt
dn
n n
) ( ) 1 )( ( | o =
Nasl indirgenecek?
I
n

n n
n
I x W x
dt
dx
+ + = ) (
dt
dx
n
y
1

y
2

y
m

y
m-1

w
1

w
2

w
m-1

w
m

-
x
n

y
n

| | ) ( ) ( ) (
1
4 3
l l K K Na Na
M
v v g v v n g v v h m g I
C
v =