. .

. .
.

2013

 510.5
22.12
77
77

. . .

/
. . , . . , . . | .: ,
2013. | 576 .
ISBN 978-5-4439-0212-8
() , . 1960-
. . ( ) ,
, .
,
: ,
.
,
, , . .
1980- .

.

22.12

ftp://ftp.mccme.ru/users/shen/kolmbook/

. . [64].

119002, , ., 11. . (499) 241-74-83
02.11.2012 . 70100 1/16.
. . . . 36. 1000.
.
"\.
121099, , ., . 6.
ISBN 978-5-4439-0212-8

. . , . . , . , 2013.

(, ,
) 1960- , -

.
.. , 1965 [62],
, , ( ,
). , (
).
. (. [158]
, [83])1 .
, |
,
? , .
: , , | . ( ,
,
.)
1965 . (
) [18] [19], 1966
1969 . , .
1970- . . . . . ( )
( . -).
( ). ( ) ,
, .
, .
( | , ,
, )
, [83] (
1993 ). ,
1
, , [62]

(
).
, .
. [15], A. [125], . . [36];
, ( , ).
,
(, ,
). ( )
. ,
. ,
(
, ).
( ?)
, . , , ,
.
(..),
(23 2005 ; 2006 . ).
, (
), ,
, .
, ,
| . , 2 , , . , , , 1 . , , , .
; , | , |
. ,
,
, - . , { , ,
, 1986 .
.
. . . . . [66, 180, 165, 118].
1

. , , ( ) .
.

.
.
, .
,
, . [63]
:
,
, , , ,
. . -
. h: : :i . h: : :i , ,
, , [158],
1964 . , 1963 { 1964 ., [62]
1965 . h: : :i :
H (x \y )
,
, :

H (x \y ) = A(min
l (P ):
P;y )=x
( ) , . .
.
.
[62] x K (x ). (, ) K (x ) ,
C (x ). ,
K (x ), KS (x )
KP (x ) .
; ( )
KM (x ), | KR (x ). ( | Km(x ),
KM (x ) ,
KA (x ). , .)
, , ;

.

1980- - .. .. ( , ).
, , . , . . ( ), . . , . , . , . , . , . , . , . , . , . , . ,
. , . , . , . , . , . , . , . , . , . , . , . , . , . , . , . , . ,
. , . , . , . .
( ) ; . , ( ,
-) .

, STINT, 01-01-00493-, 01-01-01028-, 03-01-00475-, 06-01-00122-,
09-01-00709-, 12-01-00864-a, CNRS, Agence National de
Recherche ANR-08-EMER-008 NAFIT.
, ( )
, , , , , , , , ,
, , , , , , , , ,
.
(1958 { 2007), ,
,
. .
. . , . . , .

2 2012 .

. ,
( , ). ,
: zip, gzip, bzip2,
compress, rar, arj ( ).
( , , ), (, , ). ( -; ).
, . ,
, ( ).
, , .
| , . : ( ) ( , ).
( 1001, , 4,
0).
:

. , (),
.
D x y , D (x ) = y , x y D ( D ).
.
, .
x D (x ) ( )
.
D : D
.
8

, , , |
. , D , , d , x
, D x ; d (x )
D x . d ,
D , .

, d (x ) D (x ).
, .
() D .
x , y , D (y )
x .
x D :
KS D (x ) = min{l (y ) | D (y ) = x }:

l (y ) y . D , D . , ,
+, KS D (x ) x ,
D ( ,
).
, D , . , D
, KS D . D (y ) = ( )
y , ( D () = l () = 0),
.
: -
D (x ) = x x , (
) KS D (x ) = l (x ).
, x D , x . D () = x , KS D (x )
. , : ,
:
D (bin(n )) = 000 : : : 000 (n );
bin(n ) | n . , bin(n )
log2 n ( log2 n + 1). , n log2 n (
, n ). (
) .
, , .

10

, .
: D1 D2 ,
KS D1 (x ) 6 KS D2 (x ) + c

c x .
c . . , ,
, c
| .
. D1 D2 . ,
D , .
,

D (0y ) = D1 (y );
D (1y ) = D2 (y ):
, , | . , y
x D1 ( D2 ), 0y ( 1y ) x
D , .
KS D (x ) 6 KS D1 (x ) + 1;
KS D (x ) 6 KS D2 (x ) + 1

x , D D1 D2 .
. , zip- , ,
. N , log2 N ( )
.
, :
1 ( { ). D , -

: D 0
c ,
KS D (x ) 6 KS D 0 (x ) + c
x .

, , -

J , . , , . , ,

11

( - self-delimiting; , , , ). , ,
.
, . , ( 0 00 1 11),
01.
D ,

D (py ) = p (y );
p | ( ), y |
. , D ,
-. ( , D , ,
.) D (p ) (y )
. , D : py = p 0 y 0 ,
p; p 0 , .
, D P . p |
, P , .
y x P , py
x D ( ).
P D l (p ),
KS D (x ) 6 KS P (x ) + l (p ):

, ( l (p )) P ,
x . I
, , |
. (self-extracting archives).
, , , . ,
.
,
( ),
.

D x KS D (x ). KS D (x )
D KS (x ).

12

: D1
D2 c (D1 ; D2 ),
|KS D1 (x ) KS D2 (x )| 6 c (D1 ; D2 )

x .
KS D1 (x ) = KS D2 (x ) + O (1);

O (1) x .
x , , ?
| , . , x
y ( ):
, .
,
?
. , { , ( ). ,
, , . ,
.
, (,
) (, ), ,
.
,
. , ,
. : , -
.

x x . , ,

, , - , , ( |
,
, ).
x k , , x k . ,

13

, KS (x ) 6 l (x ). (
, ).
2. c ,

KS (x ) 6 l (x ) + c
x .

J , P (y ) = y y , KS P (x ) = l (x ).
c ,

KS (x ) 6 KS P (x ) + c = l (x ) + c

x . I
: KS (x ) 6 l (x ) + O (1).
, ,
( ).
, : (, ,
).
3.

c ,

KS (A (x )) 6 KS (x ) + c
x ,

A (x ) .
| , . D 0 :
J D

D 0 (p ) = A (D (p ))
(D 0 D , A ). p x
D , A (x ) , p A (x ) D 0 . p x D , ,

KS D (A (x )) 6 l (p ) = KS D (x ) = KS (x );

0

KS (A (x )) 6 KS D 0 (A (x )) + c 6 KS (x ) + c

c x , . I
, | , , -
( , ), , (

14

), .
. x y | . , y
x . ? ,
x y . , | , .
4. c ,

x y

KS (xy ) 6 KS (x ) + 2 log KS (x ) + KS (y ) + c:

( log ,
.)
J 2 log KS (x ),
. . D |
, .
D 0 . , D (p ) = x D (q ) = y , pq
xy , D 0 (pq ) = xy . xy D 0 pq , l (p ) + l (q ).
p q , KS D (xy ) 6 KS D (x ) + KS D (y ),
D D 0 D (
c ).
? , D 0 :
D 0 (pq ) = D (p )D (q ), D 0 p q .
, , :
p1 q1 = p2 q2 , D (p1 )D (q1 ) 6= D (p2 )D (q2 ).
. , ,
, p p .
, 01,
, p .
, bin(k ) k , x
x . (, bin(5) = 101, bin(5) = 110011.)

D 0 (bin(l (p ))01pq ) = D (p )D (q ):
: D 0 bin(l (p )),
. 01, l (p ),
l (p ) p . q ,
D (p )D (q ).
KS D (xy ) 2l (bin(l (p ))) + 2 + l (p ) + l (q );
l (p ) log l (p ) + 1, D 0 - xy 2 log l (p ) + 4 + l (p ) + l (q ),
. I
,
, , (self-delimiting); 4.
0

15

, p q ,

KS (xy ) 6 KS (x ) + KS (y ) + 2 log2 KS (y ) + c .

4 ? KS (xy )
KS (x ) + KS (y )?
, x y . , x = y
KS (xy ) = KS (xx ) = KS (x ) + O (1), xx x
( 3).
, , x , y ( x y ).
x y
( y , y ).
() , D
, y . ( 2), ,

KS (xy ) = KS (y ) + KS (x | y ) + O (log n );
x y | n . : xy y (
y ) x .
KS (x ) KS (x | y ) x
y : , z y x .
,
:
d1 | , , d2 | ,
, KS (d1 | d2 ).
,
:
KS ( | )= KS ():

, .
.  n
p1 ; : : : ; pn .
H ( ) = pi ( log2 pi ):
, , pi , ( log2 pi ) = log2 (1=pi )
; H ( )
.
, , ,
- , . ,
.

16

:
, , , 21000 ,
| .
, , .

KS (x ) 6 l (x ) + O (1) ( 2).
. ,
:
5. n x ,
KS (x ) < n , 2n .

J D | ,
. D (y ) l (y ) < n (
) n . , y ,
n ,

1 + 2 + 4 + 8 + : : : + 2n 1 = 2n 1
( k 2k ). I
, n c
n 2n c =2n = 2c . , 90
100 210 .
, .
: () . ( ) . , , 80000
10000 (8 ). ,
10 . ( ,
280 ,
.)
:
, . , . , 3 ( 000, 001, 010,
011, 100, 101, 110, 111) , . : 10000, .
( ),
, ? .
x l (x ) KS (x ). , : 2

17

, ( ), 5 ,
n ( n )
d 1=2d .
(,
n 1=2)
:
1=2.
( , ); ,
.

, .
, -,
3. : ,
. (, , .)

KS

, , . , KS : , x
. ,
() KS ,
.
6. k | ( )
N. ( ,
.) k
( k (x ) 6 KS (x ) x , k (x ) ), k : .
J .

,
.

,
, .
, , N . ,

18

N , , ( N , N
N ). ? -
.
. k .
B (N ), N , : k (0); k (1); k (2) : : : ,
x , k (x ) > N . x
.
, k .
B N , k (B (N )) > N .
k , KS (B (N )) > N .
, B (N ) bin(N ) N ,
KS (B (N )) 6 KS (bin(N )) + O (1) 6 l (bin(N )) + O (1) 6 log2 N + O (1)

( 3, | 2; O (1) ). ,

N < KS (B (N )) 6 log2 N + O (1);

N . I

: ,
.
. : , ? -
, . , .
, (
), . , ?
: (
) , . , ,
. ,
, (
), ,
( ).

19

,
, .
, . ( MDL-, Minimal Description Length.)
.
, , . ( ,
, .)
| , ,
. - . ?
,
| , , |
. , ,
.
. (
), . , (, , ,
).
( 0101010101 : : :), , . , , ?
, ( 21000 ), ,
. , :  ,
. ,  21000 |
? ? ,
, .
. . ,
( , )
, 1=2.
. .
. : x x
. (, = .) x 2l (x ) . (, 01 ,
, 01, 1=4.)

20

! = !0 !1 !2 : : :
,
! + !1 + : : : + !n 1 :
lim 0
n

, , 1=2. ,
010101 : : : ( 2) , 011011011 : : :
( 3) | .
, ,
, . : A
, " > 0
x0 ; x1 ; x2 ; : : : ;

A x

x1 x2 : : :

2l (x ) + 2l (x ) + 2l (x ) + : : :
( xi ) ".

, - ( ). (. 8.4)
. , - .
{ (
1=2, ,
; . 90 . 166)
,
. , (
-) . ,
, ,
.

. XX
( - Kollektiv) (
).
(
)
9.
. .
.
: x n .
0

21

, xx . 1960- ,
, n 2 . , ,
M , x ,
" > 0, n x n ,
( M ) "n 2 .
.
, ( ) . ,
:
. , ( : =) ,
( ). x n n ,
x , n , n 2 .
, . , ,
( ,
n ).
8.2 (. 261).
.
( . 10, . 348). :
2 KS (xyz ) 6 KS (xy ) + KS (xz ) + KS (yz ) + O (log n )
x; y; z n .
, ,
. ,
[51].

OX , OY OZ , V .
OXY , OXZ OYZ . Sxy , Sxz Syz | .
:

V 2 6 Sxy Sxz Syz :

:

G X , Y Z
|X Y Z |2 >

|X Y | |X Z | |Y Z |
|G |

( |H | H ).
. , . ,
6, .

22

, (, )
.
, KS (x ) > n
x n . (
KS (x ) > n , x n , ,
D x n ;
.)

KS (x ) > n ( x n ).
, , n ( , ). n ,
n xn . . ,
- KS (X ) > N . , ,
KS (x ) > n n > N , . (, 5 ,
.)
x0 ; x1 ; x2 : : :
n0 < n1 < n2 < : : : ; KS (xi ) > ni .
, ,
KS (xi ) > ni . , , xi (
, ni i ). k ,
k (xi ) = ni ,
, 6.

1.

1.1.

( ) .
[62].
, , , .
(, ) , 4,
( ),
.
, , D . ( D , ,
D ; x D (x ).) D (y ) = x , , y x
D .
D
, :
KS D (x ) = min{l (y ) | D (y ) = x }:
+.
, D1 D2 ,
c , KS D (x ) 6 KS D (x ) + c x . ( :
KS D (x ) 6 KS D (x ) + O (1).)
, . { (. 10) , . (
) . - . U | : U (p; x )
p x ( | ).
D (^p x ) = U (p; x );
p 7 p^ , p^
p , , p^ . ( p^
q^ p 6= q , , D
.) D 0
KS D (x ) 6 KS D (x ) + l (^
p );
1

23

24

1.

p | , D 0 . ( ,
y x D 0 , p^y x D .)
x
KS (x ) ( ).
[62] K (x ); [63]
H (x ).
C (x ).
( ) , KS (x ) 6 l (x ) + O (1)
(. 13).
D y 7 A (D (y )), A |
, , KS (A (x )) 6 KS (x ) + O (1) ( , . 13).
,
( ,
, , . .) | , . ,

( ) .
. n | .
. ,
( ):
; 0; 1; 00; 01; 10; 11; 000; 001; 010; 011; 100; : : :
( ) 0; 1; 2; 3; : : : ( , , ,
). , n
n . , , ,
. , ,
,
.
, , .
, n log n +
+ O (1), log n + O (1). (, , log .)
: , . ,

1.1.

25

x 7 x 0, x 7 x 1, , , .
, .
. , 2n ,
KS (n ) + O (1) 6 log n + O (1). k - ( k = 1; 2; : : : ; 2n ),
2n , n . ( . 16, n
n 2n .)
n KS (n )
, , , ( , |KS (m ) KS (n )| 6 c |m n |
c m n ).
1 : |KS (m ) KS (n )| 6 |m n | + c (
c m; n N) |KS (m ) KS (n )| 6 2 log |m n | + c
( m 6= n ).
, x KS (x ) < n 2n .
, ( ).

: ,
n - 2n ,
!
2 , n 2n c
n
2 ( c n ). [: 2n ,
, KS (x ) 6 l (x ) + c c
n c n .]
, n 2n , (,
n ). [:
, 0 11 .]
3 , n
n + O (1). [: k=2k , n ,
n k , 2k .]
( ),
:
7. () Sn = {x | KS (x ) < n } , |Sn | < 2n n . ( |Sn | | Sn .)
() Vn (n = 0; 1; 2; : : :) | ,
|Vn | < 2n n , c , KS (x ) < n + c n

x Vn .

, . ,
(, ) ,

26

1.

, (,
, , ). ( ,
.) , ( ,
).

, n , 2 n , . :
2;
n , -, n .
Vn ( ), {hn; x i | x Vn } . , , , Vn . ,
( ),
, , . , Vn
( ), , . ( ,
n , Vn .) ,
, [173].
J ,
{hn; x i | x Sn } = {hn; x i | KS (x ) < n }

( , |
) . , D | , KS . D ,
. (, k - k
k .) , D (y ) = x ,
hl (y ) + 1; x i ( , , x
l (y ) + 1, y ).
hl (y ) + 2; x i; hl (y ) + 3; x i : : : ( , ).

KS (x ) < n y (l (y ) < n D (y ) = x )
( , D
, ).
. Vn , |Vn | < 2n .
DV . n Vn . , k -

1.1.

27

n k - Vn ( Vn ). |Vn | < 2n , n (,
). DV . , DV (y ),
y l (y ). k . , hn; x i, x Vn ,
k , l (y ). DV (y ).
KS DV (x ) 6 n x Vn .
DV , , c , KS (x ) < n + c
x Vn . 7 . I
:
, ( 2i ) ( i ) , ( | ).
. f (x )

, +. f , hx; k i 7 F (x; k ),
x k ,

F (x; 0) > F (x; 1) > F (x; 2) > : : :

f (x ) = klim
F (x; k ):

x . F +.
, k F (x; k )
f (x ). k . x

- , , (
, , f ).
.
, f ,

Gf = {hx; n i | f (x ) < n };
f , . ( .)
. f F |
,

f (x ) < n

F (x; k ) < n:
, F (x; k ) x k ,
Gf . , Gf , F (x; k )

28

1.

f ,
k Gf . ( , f (x ) < n x n ,
f (x ) x ; x F (x; k ) = +.)
7 :
8. () KS , |{x | KS (x ) < n }| <
< 2n n .
() K |{x | K (x ) < n }| < 2n n ,
c , KS (x ) < K (x ) + c x .
, () ,
|{x | K (x ) < n }| = O (2n ).
, ( ) K ,
|{x | K (x ) < n }| = O (2n ).
, [148].

9. K | ,
. :
() K ; [ ]
() A ,
, K (A (x )) 6 K (x ) + c c x , A (x ) ; [ -

]
() x , K (x ) < n , 2n c 2n +c
c1 ; c2 n . [ ]
K (x ) = KS (x ) + O (1) ( , K (x ) KS (x ) , x ).
J , KS (x ) 6 K (x ) + O (1). , K (x ) 6 KS (x ) + O (1).
1

1.

M0 M1 M2 : : :
( , ,
), Mi 2i K (x ) 6 i + c
x Mi ( i ).
. () K , Ai =
= {x | K (x ) < i + c } 2i ( c ,
c = c1 , i ). () , Ai . Ai 2i ,
, Bi , 2i
. Bi i ( 2i Ai |

1.2.

29

, ). , Bi i , ,
Mi . , M0 B0 , Mi +1 Mi
2i Bi +1 , Mi . 1 .
2. c , K (x ) 6 l (x ) + c
x (, l (x ) | x ).
. Mi . A ,
Mi Mi +1 \ Mi i . ( Mi +1 \ Mi
2i , i .) () , K (A (y )) 6 K (y ) + c 0 c 0
x . y Mi +1 \ Mi , , K (x ) < i + c
x i ( i c , i ).
2 .
. D | . p | x , K (x ) =
= K (D (p )) 6 K (p ) + O (1) 6 l (p ) + O (1) = KS (x ) + O (1). ( ,
(): 2
, D .) I
4 , (, 0; 1; 2; 3), ( )
( ).
5 (.)
n - .
6 f : N N | , lim inf f (n + 1)=f (n ) > 1. , An |
, An f (n )
n , c , KS (x ) 6 log f (n ) + c
n x An .
7 , c x n y , x ,
KS (y ) 6 n log n + c . [. n = 2k 1
y . n 2k 1,
x 0 x , ( )
.]
1.2.

, KS , ( 6,
. 17).

30

1.

, ,
( , ).
, D ,
KS D (x ),
( ).
. , , .
, D (y ) , D 0 ,
D 0 (y ) z , D 0 D .
D D 0 z ,
.
, !
( , ),
( . .
[94] | ,
, ).
,
. ( ,
, ,
.) , , , D (x ) , D
(, D (x ) = 0 ,
D (x ) ).

( | , ., , [173]).
. ( ) , [125, 36].
| .
1.2.1.

. ,
. ,
,
. ( ,
.)
. A ( ), ,
.
x , KS (x ) < l (x )=2.

1.2.

31

10.

J S , KS ( ,
).
, n=2 2n=2 .
n () ,
S .
S ? . , C , ,
KS . ,
t , C , ct 2t . , C
; t , . , ct (
). , t ct ,
KS , 6 (. 17). I
, l (x )=2 :
, KS (x ) < l (x ) 1 (,
, KS (x ) < log log l (x )).

1.2.2.

KS (m ) m ,
. ,
KS (m ) m , c
c .
: ,
n N ,
n . ( ,
KS , . . 17.)
KS
. , [21],
B (n ) = max{m N | KS (m ) 6 n }

( , n ).
KS (m ) m , K (x ) > n
x > B (n ). ( , n ,
KS (m ) > n m . , ,
B (n ) = 1.)
B - KS > (N ) =
= min{KS (m ) | m > N }. KS > (N ) - , N . KS >
, n (B (n 1); B (n )].

32

1.
KS (m )

n +1
n
n 1
B (n 1) B (n ) = B (n + 1)

. 1.1. B : m = B (n 1) KS n 1 ( ),
n 1. m = B (n ) KS n ( ), n (
, n + 1, B (n + 1) = B (n )).
m (B (n 1); B (n )] KS > (m ) n .

KS > B .
B .

11. f | . B (n ) > f (n ) n ,
.

(, , f (n ) n . , n , f (n ) ,
B (n ) > f (n ).)
J ,
KS (f (n )) 6 KS (n ) + O (1) 6 log n + c

c n , f (n ) . ,
f (n ) > B (n ) KS (f (n )) > n ( B ). ,
n

n < KS (f (n )) 6 log n + c;
n . I
B (n ) : D |
, ; B (n )
D n :
B (n ) = max{D (x ) | l (x ) 6 n }:

, ,
D .
1.

1.2.

33

D d ,
, | ,
B d (n ) = max{d (x ) | l (x ) 6 n d (x ) }:
B
:
12.

c ,

B d (n ) 6 B (n + c )
n .

J , d (x ) x n
n + c c ,
d , KS (x ) 6 n + O (1).
, d (x ) | , n + c ,
. I
() . M | . ,
M - ,
x ,
M x .
( )
, (
) .
.
, M . t (x ), M x . ( M x , t (x ) , t
M .) B t (n )
M n . B t (n ) ,
M x
n : ;
, .
, B t (n ) 6 B (n + c ) c ( M ),
B (n + c ) ,
M n .
:

M c
n t > B (n + c )
n , M .
A,

13.

, ,
n
, B (n + c ).

34

1.

M D ,
: n D
n , n
B (n ). ,
n ( n ) , D
.
, :
14. BB (n ) | n .
BB (n ) 6 B (n + c )

n .

B (n ) 6 BB (n + c )

J BB (n ) n + O (1),
n x n .
n + 1, ,
0 : : : 01x ( n l (x ) ). BB (n ) 6 B (n + c ) c n .
, , t > BB (n ) k = KS (t )
n O (1). , u t , k .
u n , n .
t t n .
n , ,
. , u n
n O (1) . k + O (log(n k )) ,
n k u . ,
k + O (log(n k )) > n O (1), (n k ) O (log(n k )) 6 O (1) n k 6
6 O (1). I
, B (
O (1)- ) .
busy beaver function (
). , n n ( ),
, (
).
, ( n ) (,
n ):
(a) n ;
() ;
() B (n );
() BB (n );

1.2.

35

() n ,
(
n );
() ;
()
n ;
() Tn , KS (x ) x
n ;
() n n ,
n (, , x KS (x ) < n
2n ).
, :
15. n + O (1) : Xn Yn | ,
- () { (). c , Xn n Yn c .

J (), (), () (). n ,

n ,
n . , (), (
, ). (), n ,
BB (n ) ( ,
).
n , BB (n ),
, . , n ,
, n ,
( ).
, n
n , (), (), () (),
() { (). ( ) , () { ()
.
, () { () , () { ().
n , ( ()
()). () () : n
( n ), ,
( , ()),
. , () (),
() (), B (n ) BB (n ) (
O (1)). . B (n ),
BB (n c ),

36

1.

n c , BB (n c ). ,
() { ().
() { (), () n |
c , KS (x ) 6 l (x ) + c x . , ()
(). , () (). ,
n n n ,
BB (n O (1)) BB (n O (1))?
.
n ( n ),
n n ; ,
( ). ,
( )
; T . , T > BB (n )
c , n . , c
, T 6 BB (n ). ,
n c ,
n n . u ,
n d . u d , n , n (
u n , n
). u d , (n d ) + 2 log d + O (1) ,
n d + 2 log d > KS ( n ) O (1) > n O (1), d = O (1).
() { () ( ). , n +
+ O (1). Xn | . , Xn
n +c n ( n l ( n +c ) c ), , KS (Xn ) 6 KS ( n +c ) + O (1) 6 n + O (1).
, Xn n d . n c n c Xn n d d (, n , d ). ,
n c 6 KS ( n c ) 6 (n d ) + 2 log d + O (1), d 6 2 log d + c + O (1)
d = O (1). I
15 ,
( ,
). , , ,
:
8 , 15 ,
() { () .
9 , 15 n ,
00 ,
, (
). 00 O (log n ).
, . , -

1.2.

37

c A , n
n c . (
, .) , ,
n n , .
( x , KS (x ) > l (x )): ,
n .
, . , KS , {hx; k i | KS (x ) < k }. ,
(
, ).
10 ( -) ,
{hx; k i | KS (x ) < k },
n .
, B ,
, - ( ).
11 , f | , c , n ,
f (B (n )) , B (n + c ) > f (B (n )). [: f (B (n )) n + O (1).]
12 , U r - [116], V , U , U , R , V
U .
() , {hx; k i | KS (x ) < k } (
KS ) r - . [:
V ,
V ,
KS . , V ,
.]
() , U1 m - U2 ( f , U1 = f 1 (U2 )) U2
r -, U1 r -. [.
V U1 , f (V ) , U2 . R f (V ) U2 , f 1 (R )
, V U1 .]
() , , r - m -
KS . [: .]

38

1.

13 , [58], n
n ,
( ) : , ,
. [: , , . ,
,
; , , , i - i -
.]
14 () , (
) :
, , .
15 () ,
,
( ,
). [: A
. , , A ,
n . T , , n , T - A A . ,
A , T n .]
, (, ,
). , . [125],
[36].

15 n
( ). : , n ( n
n ) ( -
- , ,
, ). n , ?
,
, 00 .
, 5.7, 14.3, .
, 15
( ), : n (), (), () () log B (n ) B (n O (1))
().

2.

2.1.

,
, .
() . x; y , , [x; y ] = x01y , x x .
, , [x; y ] 6= [x 0 ; y 0 ], x 6= x 0 y 6= y 0 .
, 3 (. 13) ,
.
- ([x; y ] ,
x; y ) x; y KS ([x; y ]). :
KS (x; y ). :
KS (x; x ) = KS (x ) + O (1);
KS (x; y ) = KS (y; x ) + O (1);
KS (x ) 6 KS (x; y ) + O (1); KS (y ) 6 KS (x; y ) + O (1).
,
:
16.

KS (x; y ) 6 KS (x ) + 2 log KS (x ) + KS (y ) + O (1);

KS (x; y ) 6 KS (x ) + log KS (x ) + 2 log log KS (x ) + KS (y ) + O (1);
..........................................................

( .
, x y .)
J ( )
( 4 . 14); ,
xy , . .
x 7 x^ , x y x^
y^. (, , , x^ 6= y^ x 6= y .)
: x^z
x z .
39

40

2.

: x 7 x01, x x . 01. ( ). :
x 7 x^ = bin(l (x ))01x
( bin(l (x )) | x ).

l (^x ) = l (x ) + 2 log l (x ) + O (1):

: x 7 x^, ( )
\
x 7 bin(
l (x ))x:
\
\
, bin(
l (x ))x bin(
l (y ))y ,
\
\
bin(
l (x )) bin(
l (y )) , bin(l (x ))=bin(l (y )).
, x y , | x = y . (
, , ,
, .)
,

l (^x ) = l (x ) + log l (x ) + 2 log log l (x ) + O (1);

l (^x ) = l (x ) + log l (x ) + log log l (x ) + 2 log log log l (x ) + O (1);

.
. D | , . D 0 ,
:
D 0 (^p q ) = [D (p ); D (q )];
p^ | p ,
, . p 7 p^ (^
p
p^q ).
p q | x y , p^q
[x; y ], , . ( , ;
.) I
16 ,
KS (x; y ) 6 KS (x ) + KS (y ) + O (log n )

x y n . ,
().

2.1.

41

. ,
x; y; z
n .
: 16 , KS (x; y ) 6 KS (x ) + KS (y ) + O (1)?
, . , , KS (x; y ) 6 l (x ) + l (y ) + O (1).
- N n = 0; 1; 2; : : : ; N . n 2n
x n , 2N n y N n . x y ,
n 2N hx; y i, ( n 0 N ) (N + 1)2N . hx; y i
l (x ) + l (y ) + O (1) = N + O (1), (N + 1)2N
[x; y ], N + O (1), , ( 7, . 25), O (2N ).
17 , c ,
16

KS (x; y; z ) 6 KS (x ) + KS (y ) + KS (z ) + O (log n ),

KS (x; y ) 6 KS (x ) + log KS (x ) + KS (y ) + c

x y . [.
.]
18 (a) , x 7 x^ | ,

2l (^x ) 6 1

( | ).
() ,
f (n ) ( n | ), l (^x ) 6 l (x ) + f (l (x )),
n 2f (n ) .
, 2
16 (. 39):
1
1
1
n 2 ; n (log n )2 ; n log n (log log n )2 ; : : :
,
1
1
1
n ; n log n ; n log n log log n ; : : :
.
, 16.
19 f : N N | .
:
() KS (x; y ) 6 KS (x ) + KS (y ) + f (KS (x )) + O (1);

42

2.

() KS (x; y ) 6 l (x ) + l (y ) + f (l (x )) + O (1);
() n 2f (n ) < .
[. () (); . () (),
l (x ) + f (l (x )) + l (y ) < n ;
4, . 106. , ()
(), , () n + O (1), l (x ) = k ,
l (y ) = n k f (k ) ( k + f (k ) 6 n ).
2k 2n k f (k ) = 2n k 2f (k ) , k , k + f (k ) 6
6 n .]
20 , 16 ,
2 1 ( 1 + "
" > 0). [. . .]
21 ,
KS (x; y ) 6 KS (x ) + log KS (x ) + KS (y ) + log KS (y ) + O (1):
22

() , :
KS (x; y ) 6 KS (x ) + KS (y ) + log(KS (x ) + KS (y )) + O (1)

( ,
).
23 , KS (x; KS (x )) = KS (x ) + O (1). [. ,
KS (x; KS (x )) > KS (x ) + O (1). , p x
x , KS (x ), KS (x; KS (x )) 6 l (p ) + O (1) = KS (x ) +
+ O (1).]
2.2.

, ,
, ( ).
, | .
x y .
D
( D ). , | .
D (y; z ) = x , , y x z ( z , z ). KS D (x | z )
x z :
KS D (x | z ) = min{l (y ) | D (y; z ) = x }:

2.2.

43

, () D1 D2 ,
c ,
KS D (x | z ) 6 KS D (x | z ) + c
x z . () D ,
() .
1

17. .
J { ,

(. 1, . 10).
, , ,
D (^p y; z ) = p (y; z );
p (y; z ) p y z , p^
p . , D 0 |
, p | ,
KS D (x | z ) 6 KS D (x | z ) + l (^
p ): I
, D D KS D . ; ,
.
:
0

18.

KS (x | y ) 6 KS (x ) + O (1);
KS (x | x ) = O (1);
KS (f (x; y ) | y ) 6 KS (x | y ) + O (1);
KS (x | y ) 6 KS (x | g (y )) + O (1):

g f | ( );
, , f (x; y )
( g (y )) .
J ( ), . , D (p; z ) = z . : D | ;

D 0 (p; y ) = f (D (p; y ); y )
. ,
:
D 0 (p; y ) = D (p; g (y )): I

44

2.
24

, :

KS (x | y 0) = KS (x | y ) + O (1); KS (x | y 1) = KS (x | y ) + O (1).

, , x l 6 KS (x ) y , KS (x | y ) = l +
+ O (1).
25 , y x 7 KS (x | y )
KS , y ( 2 KS (y ) +
+ O (1)).
26 , KS ([x; z ] | [y; z ]) 6 KS (x | y ) + O (1) x; y; z ( ).
27 . ( , , ,
[173].)
, KS (x | y ) ( O (1)) , x y . [. D |
, , D p , l (p ) + O (1). , p y x , KS (x | y ) = KS (p (y ) | y ) 6
6 KS (p ) + O (1).]
( ) 13.
( ),
,
(- total ).
28 , KT (x | y )
, y x
, ( O (1)
). , KS (x | y ) 6 KT (x | y ) 6 KS (x ) O (1).
29 , :
n x y n , KS (x | y ) = O (1),
KT (x | y ) > n . [.
n , n , x y n : y x .
, ,
y x . n
( y ) n , KS (x | y ) = O (1)
.]
30 , KT (x | y ) 6 n KT (y | x ) 6 n , , x y
2n + O (1). [. , f g , x y ,

45

2.2.

2n .
, x y () 0. R (x; y ) , 0, R (x; y ) ,
f (x ) = y g (y ) = x .
, , .]
31 , :
k x y n = 2k + O (1),
KS (x ); KS (y ) 6 k + O (1) ( KT (x | y ); KT (y | x ) 6 k + O (1)),
n , x y ,
2k . [. () 2k y n - x . 2k .
-
, x ,
y , .
(2k ) , y .
22k =(2k ) = O (2k ) x , x y k + O (1). x
, y
x , . ,
2k .]
.
(
):
KS (x | y ) ( ,
hx; y; n i, KS (x | y ) < n , );
y n x , KS (x | y ) < n ,
2n ,
y n x n ,
y n .
32 , y z n x
n , KS (x | y ) > n 1 KS (x | z ) > n 1. [:
.]
19. hx; y i 7 K (x | y ) | ,

{x | K (x | y ) < n }

2n , KS (x | y ) 6 K (x | y ) + c
x y .

8.

46

2.

( 16, . 39) :
20.

KS (x; y ) 6 KS (x ) + 2 log KS (x ) + KS (y | x ) + O (1):

J D1 | , D2 | . D 0 ,

D 0 (^p q ) = [D1 (p ); D2 (q; D1 (p ))]:

p^ | p , , . p |
x , q | y
x , p^q [x; y ] D 0 ,
KS (x; y ) 6 KS D 0 (x; y ) + O (1) 6 l (^
p ) + l (q ) + O (1):

, , l (^
p)
l (p ) + 2 log l (p ) + O (1) (. 16 , . 39). I
, 2 log KS (x ) log KS (x ) + 2 log log KS (x )
. ,
KS (x; y ) 6 KS (x ) + KS (y | x ) + 2 log KS (y | x ) + O (1):

D 0 (^
p q ) D 0 (^q p ).
33 :
KS (x | z ) 6 KS (x | y ) + 2 log KS (x | y ) + KS (y | z ) + O (1)

x; y; z .

, 20 : x y
n
KS (x; y ) 6 KS (x ) + KS (y | x ) + O (log n ):

,
( ).
21 ( { ).
KS (x; y ) = KS (x ) + KS (y | x ) + O (log n )

x; y

n .

47

2.2.

J . , KS (x; y ) >
> KS (x ) + KS (y | x ) + O (log n ), x y | n .

x; y | n .
A | ,
a . A O (2a ) (,
2a +1 ), hx; y i | .
t At A :
KS (x; y ) hx; y i a .

At = {u | ht; u i A }
(. 2.1). At t A , O (2a ). A
, .

y
At

. 2.1. At A .

m = blog2 |Ax |c, x | .

, Ax 2m 2m +1 . ,
KS (y | x ) m , KS (x ) a m .
.
a , A . x , A , x ,
Ax . y , a x ,
y . m + O (1) , a m + O (log n ) : ,
a = KS (x; y ) O (n ), x y | n ,
a O (log n ) . ,
KS (y | x ) 6 m + O (log n ):

. B t , |At | > 2m , 2a +1 =2m ( |A | = |At |

2a +1 ). B , a m . ( , A ; 2m
, B .)

48

2.

x ( B ) ,
(a m ) + O (log n ) (a m x B ,
O (log n ) a m ).
KS (x ) 6 (a m ) + O (log n );

. I
. A
.
At ( t , ). KS (x; y ) 6 KS (x ) + KS (y | x ) +
+ O (log n ). . A , p q , |A | 6 pq .
A P Q : P
p , Qx Q (
x , ) q . ( ,
P , q ,
p .) . 10.
, x y ,
. :
22 ( { , ).
KS (x; y ) = KS (x ) + KS (y | x ) + O (log KS (x; y ))

34

x; y .

KS (x ) + KS (y | x ) 6 KS (x; y ) + 3 log KS (x; y ) + O (log log KS (x; y )):

35 , KS (x; y | k; l ) < k + l , KS (x | k; l ) < k + O (1)
KS (y | x; k; l ) < l + O (1). [:

22.]
36 , { O (log n )
( ): n x y
n ,
KS (x; y ) > KS (x ) + KS (y | x ) + log n O (1);

x y n ,
KS (x; y ) 6 KS (x ) + KS (y | x ) log n + O (1):

[. 16
(. 41). , KS (x; l (x ))= KS (x )+ O (1)

2.2.

49

x , KS (x | l (x )) l (x ) + O (1) KS (x ) + O (1). n=2 n ,

.]
37 , n log n + O (log log n ).
KS (x | n ).
, x n x 0
, x , KS (x 0 | n ) < n
log n + O (1). . ,
x , n x 0 x .
, KS (x | n ) , KS (x | n ) 6 n
, x x : n
x n KS (x | n ) 6 n x 0 n , x
, KS (x 0 | n ) > KS (x | n ). , n
O (2n =n ) 1 ( [131], . 484).
(. [14]).
38 () D . ,
c n k :
- x 2k n , KS (x | k ) 6 n k + c .
[. k . n x ,
2k n . ( k )
2n k , 19, . 45.]
:
39 D | () . c , x D - x
c . [. KS (x ) 6 n k + 2 log k +
+ O (1), KS (x ) = n k .]
40 , c : x
n KS (x | y ) 6 k ( y n ;
) 2l , KS (x | n; l ) 6 k + l + c .
[. y n x ,
y k , O (2n +k )
, x , 2n l ,
O (2k +l ). , KS (x | n; l ) k |
!]
: KS (x | y ) x y n ?
, KS (x | y ) 6 K (x | n ) + O (1) ( n = l (y )
y ). , y :

50

2.

41 , c , x
n d y n , KS (x | y ) <
< KS (x | n ) d ( n ), cd 2 =2d .
, KS (x | y ) y n
KS (x | n ) + O (1) ( O (1) x n ).
42 , KS (x | k ) 6 k , KS (x ) 6 k + O (1). [. .
7. , x k
k , k , ,
, .]
( !) :
43 , KS (x ) = KS (x | KS (x )) + O (1). [. x
q KS (x ). x
q KS (x ) l (q ),
x , .]
44 , n n x ,
KS (KS (x ) | x ) = log n O (1). (, ,
KS (x ) 6 n x n .)
( ) . [42].
. . ,
. 2n n , ( ) .
, ,
( ).
( );
. .
:
() 2i i
( 0 n 1);
() .
,
. ( ), , .
: ,
, . - ,
, (,
). ,
, , . ( , ;
, .) ,
. , 2i 1
. ,

2.2.

51

i
j < i , 2j j < i 2i ,
.
: (x; i ) , , KS (i | x ) < log n 1; (x; i ), , x ( n ) i .
, .
(x; i ) , KS (x | n ) > i KS (i | x ) > log n 1; , KS (x | n ) > i + O (1),
i
2i .
, : ,
KS (KS (x | n ) | x ) > log n 1; , n .
45 , ( c ) x
n y n ,
KS (xy ) > KS (x | n ) + n c:

[. n x , KS (xy ) < k
y n , 2k =2n , ,

19 (. 45).]
46 f | ,
f (n ) + "h 6 f (n + h ) 6 f (n ) + (1 ")h " > 0 n h . , !,
n f (n ) + O (1) n .
[.
h : f (h ),
f (h ); ,
. , , , . ,
h ,
.]
47 , x0 x1 x2 : : :
, KS (x0 : : : xn 1 | n ) ( ) .
[.
S (),
.
S . ,
, S , . ,
S ( ,
S .) !
S n ln rn S

52

2.

!. L R | ln rn , N | ,
. L , R N ,
!: ,
L S ( N )
R S (, ,
N ) ; ,
!.]
48 , KS (x0 : : : xn 1 | n )
: KS (x0 : : : xn 1 ) 6 log n + c c n . [: S (
), N
O (N ). ,

. ,
x , 2l (x ), S .]
47 x = (x0 x1 x2 : : :) :
x0 : : : xn 1 n (
, xn n ),
KS (x ),
, n
x0 : : : xn 1 n , KS (x ) ( n n
),
max{KS (x0 : : : xn 1 | n ) | n = 0; 1; : : :}, M (x ),
lim supn KS (x0 : : : xn 1 | n ), M (x ).
:

M (x ) 6 M (x ) 6 KS (x )
( )

M (x ) 6 KS (x ) 6 KS (x )
( ).
49 , ,
KS (x ) M (x ) ( KS (x )). ,
x m , KS (x m )
O (log m ), M (x m ) m . [.
x m = ym 000 : : : ; ym m
m m .]
50 ,
M (x ) KS (x ). , x m

2.2.

53

, M (x m ) O (log m ), KS (x m )
m . [. x m = (1BB (m ) 000 : : :);
BB (m ), . . 34.]
51 , KS (x ) 6 2M (x ) + O (1). [.
47.]
, 2 ,
.
[39].
52 n , n . (
.) () ,
2n c 2n 2n c ( c ). () ,
n n O (1) ( !). () , x
2n , x1 x2 ( n )
n O (1). () , x n , k k O (log n ). () ,
c < 1 n bc log2 n c . [. ()
n 2n 1, :
n d d n ,
. , , n , k , 2 log k + (n k ) . ()
n t ;
n k , t log k n ,
n ,
. () ,
, ( ) . () ,
( , ).
() n , k ; , n
,
x = 2 (1=x k ), .]
53 , ( c ) x0 x1 x2 : : : n ,
KS (x0 x1 : : : xn 1 ) 6 n log n + c .
, x0 x1 x2 : : : c , KS (x0 x1 : : : xn 1 ) > n 2 log n c n .
[. 1=n , 1=n 2 . . 95 99.]
54 x n d (x ) = n KS (x )
dc (x ) = n KS (x | n ). ,

dc (x ) 2 log dc (x ) O (1) 6 d (x ) 6 dc (x ) + O (1):

54

2.

[. , KS (x | n ) = n d , KS (x ) 6 n d + 2 log d +
+ O (1). , p n d
d , , d , n , x .]
55 , d (xy ) = d (x ) + d (y | x ) + O (log d (xy ))
x; y n , d (u ) = l (u ) KS (u ). [:
35.]
( 5 14.)
56 , c (x; y ), KS (x | y ) < c ,
(
). [: 15.]
2.3.

( 18), KS (y | x ) KS (y ) ( ). KS (y ) KS (y | x )
, x y . x y . : I (x : y ).
18 , I (x : y ) (
): c , I (x : y ) > c x y .
57 f .
c I (f (x ): y ) 6 I (x : y ) + c .
58 . , f (x; r ). r
n . l
I (f (x; r ): y ) > I (x : y ) + l 2l +O (KS (n )+KS (l )) .
. ,
[80]. [. 40.]
,
KS (x; y ) = KS (x ) + KS (y | x ) + O (log KS (x; y ))

( 22, . 48), :
KS (y | x ) = KS (x; y ) KS (x ) + O (log KS (x; y )):

I (x : y ) = KS (y ) KS (y | x ) = KS (x ) + KS (y ) KS (x; y ) + O (log KS (x; y )):

2.3.

55

23 ( ).

I (x : y ) = I (y : x ) + O (log KS (x; y )):

, I (x : y ) I (y : x )
KS (x; y ). , I (x : y ) I (y : x ),
KS (x; y ).
59 , x | n , KS (x | n ) > n ,
I (x : n ) = KS (n ) + O (1), I (n : x ) = O (1).
( , ) I (x : y ) ( I (y : x )) x
y . , (. 2.2).

x
KS(x |y )

I (x : y )

KS(y |x )

. 2.2. .

, x y I (x : y ) I (y : x ) . KS (x | y ) (, x , y ,
),

I (y : x ) + KS (x | y ) (KS (x ) KS (x | y )) + KS (x | y ) KS (x )
( x ). KS (y | x ) KS (y ). ,

KS (x | y ) + I (x : y ) + KS (y | x ) = KS (x ) + KS (y | x ) = KS (x | y ) + KS (y ) = KS (x; y )

( O (log n ), x y
n ).
. , , r = r1 : : : rn n , KS (r1 : : : rn ) > n .
u l (u ) O (log n ). , u r , r = tuv t
v . l (r ) 6 KS (r ) 6 KS (t ) + KS (u ) + KS (v ) 6 l (t ) + l (u ) + l (v ) = l (r )
( )
( ).

56

2.

x y (. 2.3), KS (x )
x , KS (y ) y ( O (log n )).

x
x |y

x :y

y |x

x; y
. 2.3. .

KS (x; y ) (
x; y ,
O (log n ) ).
, KS (x | y ), KS (y | x ), I (x : y ) ( ) .
. (. 11), x y ,
I (x : y ), z , KS (z | x ) 0, KS (z | y ) 0 KS (z ) I (x : y ).
( z x y .)
60 , x n
x n
O (log n ).
. |
. .
(. 39) ,
KS (x; y ) 6 KS (x ) + 2 log KS (x ) + KS (y ) + O (1):

( z ),
KS (x; y | z ) 6 KS (x | z ) + 2 log KS (x | z ) + KS (y | z ) + O (1);
x; y z
: KS (x; y | z ) = KS ([x; y ] | z ). ,
( O (1)).
, z : p x ( z ) q y ( z )
p^q () .
,
: KS (x; y | z ) = KS (x; y; z ) KS (z ), KS (x | z ) = KS (x; z )
KS (z ) KS (y | z ) = KS (y; z ) KS (z ) ( ).

2.3.

57

:
24.

KS (x; y; z ) + KS (z ) 6 KS (x; z ) + KS (y; z ) + O (log n )

x; y; z

n .

.
21 (. 46), . ( ):
25.

KS (x; y | z ) = KS (x | z ) + KS (y | x; z ) + O (log n );
x; y; z n .
KS (x | y; z ) x hy; z i,
KS (x | [y; z ]). ,

( ).
J 21,
z . KS (y | x ) KS (y | x; z ).
,
x; y; z , xy .
,
:
KS (x; y | z ) = KS (x; y; z ) KS (z );

KS (x | z ) + KS (y | x; z ) = KS (x; z ) KS (z ) + KS (y; x; z ) KS (x; z );

( ). ( ,
O (log n )-.) I
61 , 25 ,
KS (x | z ) KS (y | x; z ) n .
, I (x : y | z )
KS (y | z ) KS (y | x; z ). , ( O (1)).
( ),
I (x : y | z )
KS (y | z ) KS (y | x; z ) = KS (y; z ) KS (z ) KS (y; x; z ) + KS (x; z ) > 0;

24.

58

2.

,
, ( ),
| 21 24.
, , [191, 192], . 10.13,
.
. x y , I (x : y )
0. ( , ,
O (log n ) , n | ( ) .)

. : 
h;  i,  
.
( x hy; z i, )
I (x : hy; z i) > I (x : y )
( z y ). (
, ), ,
:
KS (x ) + KS (y; z ) KS (x; y; z ) > KS (x ) + KS (y ) KS (x; y );
24.
. ,
( . 21) :
26.

2 KS (x; y; z ) 6 KS (x; y ) + KS (x; z ) + KS (y; z ) + O (log n );

| n .
J KS (x; y ) KS (x; z ) , KS (x; y; z )
KS (x; y ) KS (x; y; z ) KS (x; z ) KS (z | x; y ) KS (y | x; z ),

x; y; z

:
KS (z | x; y ) + KS (y | x; z ) 6 K (y; z ) + O (log n ):
KS (y ) + KS (z | y ) ,
KS (z | x; y ) 6 KS (z | y ) KS (y | x; z ) 6 KS (y ) ( ). I
(
):
KS (x; y; z ) + KS (y ) 6 KS (x; y ) + KS (y; z ) + O (log n );
KS (x; y; z ) 6 KS (y ) + KS (x; z ) + O (log n );

2.3.

59

KS (y ) . ( ,
, , .) 10.

. (
, ). ( , ) .
, , . a1 ; a2 ; : : : ; a7 , . 2.4.

x
1

2 3
5
4 6
7

. 2.4. a1 ; a2 ; : : : ; a7 .

,
KS (x ) = a1 + a2 + a4 + a5 ;
KS (y ) = a2 + a3 + a5 + a6 ;
KS (z ) = a4 + a5 + a6 + a7 ;
KS (x; y ) = a1 + a2 + a3 + a4 + a5 + a6 ;
KS (x; z ) = a1 + a2 + a4 + a5 + a6 + a7 ;
KS (y; z ) = a2 + a3 + a4 + a5 + a6 + a7 ;
KS (x; y; z ) = a1 + a2 + a3 + a4 + a5 + a6 + a7 :

, ( a1 ; : : : ; a7 ).
(
) , . , I (x : y ) = KS (x ) + KS (y ) KS (x; y ) = a2 + a5 ,
KS (x | y ) = KS (x; y ) KS (y ) = a1 + a4 .
? , a1 = KS (x | y; z )
( ). a3 a7 . a2 ( ) I (x : y | z ); a4 a6
(. . 2.5). , , , x; y; z a1 ; a2 ; a3 ; a4 ; a6 ; a7 (
O (log n ), x; y; z n ).

60

2.

x
I (x : y |z )

KS(y |x; z )

KS(x |y; z )

I (x : y : z )

I (y : z |x )

I (x : z |y )
KS(z |x; y )

z
. 2.5. .

a5 . , x; y; z . I (x : y : z ). ,
, a5 . . x y | 2n .
KS (x ) = n , KS (y ) = n , KS (x; y ) = 2n I (x : y ) = 0 ( ). z n , x y
2. x; y; z
, , KS (x; y ); KS (y; z ) KS (x; z ) 2n ( ), KS (x; y; z ) 2n .
z n ( n , n ,
, y 2n ).
a1 ; : : : ; a7 (. 2.6).
0

. 2.6. n mod 2.

a5 , a5 + a2 ,
a5 + a4 a5 + a6 , , -

. ( .)

2.3.

61

z
: x , y ,
z ( I (x : z ) 0 I (y : z ) 0),
z , x y .
, ( ai ,
a5 , )
, .
10.

2 KS (x; y; z ) 6 KS (x; y ) + KS (x; z ) + KS (y; z ):
a2 + a4 + a5 + a6 > 0 (
, , ai
). , a2 + a5 > 0, a4 > 0 a6 > 0.
62 , I (xy : z ) = I (x : z ) + I (y : z | x ) + O (log n ) x; y; z
n . [: .]
, xy z :
x z y z ( x ). KS (x; y ) = KS (x ) + KS (y | x ),
z . ,
xy z , x z , y c z x .
( .)
, y z , x z y .
63 , x y x y
z : ,
.
64 , x; y; z; t (
), I (x : z | y ) I (hx; y i : t | z )
(, ). , , I (t : y | z ) I (ht; z i : x | y ) . [.
I (hx; y i : t | z ) = I (y : t | z ) + I (x : t | y; z ),
; .]

3.

, | -, , . ( ; 5,
.)

.
3.1.

= BN ,
. .
x x
. , 00 , , = ( ).
x . .
,
, :

d (!; !0 ) = 2n ;
n | , !n 6= !n0 . ( !n
n , : ! = !0 !1 !2 : : :)
65 , ,
, ,
.
, , , . -, ,
.
-, x (
), .
-, .
, -
62

3.1.

63

, - :
A A0 ; A1 ; A2 ; : : : ; -, ,

(A ) = (A0 ) + (A1 ) + (A2 ) + : : :

(
).
; , , ( ), (A )
A .
1,
,  - , (A )
A .
( A B , (A ) 6 (B )). , (B )
(A ) = (B \ A ) > 0.
| : B

B0 B1 B 2 : : : ;
(B ) (Bi ) i . ( ,
Ai = Bi \ Bi 1 .) .
 p ,

p (x ) = (x ):
,
:
p (x ) = p (x 0) + p (x 1)
x . ( , x
x 0 x 1 .)
( )
. , p , , , (x ) = p (x ) x .
(
, , [65] [49]),
, .
, p , . p (x ) x .
, A , " > 0

64

3. -

A
".
, A , h"; i i 7
7 x ("; i ) ( | , |
, ),
A x (";0) x (";1) x (";2) : : :
p (x ("; 0)) + p (x ("; 1)) + p (x ("; 2)) + : : : 6 "
". , , x ("; i ) " i (
).
, , . (
.)
, :
" ( 2k ).
.
.
( ,
",
"=2; "=4; "=8; : : :)
p , ( ,
! = !0 !1 !2 : : :
p (!0 : : : !n ) n ).
.
, x 2l (x ) :

p (x ) = 2n x n:

(, [0; 1]): A
, , A
. ( :
, - : , 0;01111 : : : = 0;10000 : : :
,
.) , ,
x n , 2n .
, I [0; 1] , I ,
I .

3.2.

65

. , n
2n . x
x 2l (x ) .
, -
. ( ) q; p ( ; , p; q > 0 p + q = 1).
,
x , q u p v , u v | . ,

x 7 q u (x ) p v (x ) ;

u (x ) v (x ) x . ,
.
3.2.

,
.
p + q = 1, p; q > 0. Ap !0 !1 !2 : : : ,
p ,
! + !1 + : : : + !n 1 = p:
lim 0
n

27. Ap 1 ( p q ).

, Ap , ,
, p , .
J ( p = q = 1=2)
. p
(. 9.6).
,
n . n , , n=2 .
" > 0. ,
(1=2 + ")n . ,
n - , .
n ,
, n . (
, n ,
. , n .)

66

3. -

n!
k ! (n k )! ;
k | (1=2 + ")n .

 m

m ! = (2 + o (1))m me ;

e | . u = k=n , v = (n k )=n ,

n!
(n=e )n
nn

=
k ! (n k )! (k=e )k ((n k )=e )n k k k (n k )n k

nn
un
(un ) (vn )vn

1
H (u;v )n ;
u un v vn = 2

H (u; v ) = u log u v log v:

H (u; v )
, u v . ( 7.) 3.1

H (u; 1 u )
1

1=2

1 u

. 3.1. u .

(, v = 1 u ). , H (u; 1 u )
( 1) u = 1=2.
: n , (1=2 + "), poly(n )2H (1=2+";1=2")n ,
2cn +o (n ) , c | , (
"). n . ,
(1=2 ").

3.2.

67

. " > 0
:

. n , 1=2 ", n
n , n n .

(
)
( ).
, n n .
, A1=2 ,
1=2, 1.
, , ( B ) .
B " > 0 B" , B"
,
1=2 + " 1=2 ".
, " (, ),
. , , B"
".
B" , ( ,
1=2 ").
N B" x , x
N . ()
N + N +1 + N +2 + : : : ;

, i i .
( { . , A0 ; A1 ; : : : , ,
Ai , .) I
n . , ( 1=2 + "). n . ( L ) | :
2n . ( S )
n , p = 1=2 + ". u v
q u p v ( q = 1=2 " | ). x ,
S (x )=L (x ). , 2n =2H (p;q )n ; L -

68

3. -

S -, 1. , 2H (p;q )n =2n ;
. ( ). ,
, ( p ).
66 . [. p0 q0 | , p0 + q0 =1. p0 log p
q0 log q , p; q | ( p + q = 1),
p = p0 , q = q0 . . 9.6, . 307.]
: ( ) 1=2
( ). , : 
, , ,
.
:
. , - , , . ,
, ,  :
;
, ,
.
, 1 ,
. :
1,
.
, : , .
.
1965 - , , ,
.
, , 
, ,
, . -.

3.3.

69

3.3.

; x
p (x ).
, A ( ), " > 0 A
, ".
. -, ", ( ,
"). , , .
:
. A (
), x ( | , | ),
,
1) A x (";0) x (";1) x (";2) : : : ;
2) p (x ("; 0)) + p (x ("; 1)) + p (x ("; 2)) + : : : 6 "
" > 0. , x
; x ("; i ) , (
) .
67 , , ,
" > 0, ( ),
( ) ". ( ,
, .)
68 , ,
", 2k k . ,
, 6
.
69 , , , " i 7 x ("; i )
(, ).
70 , , . [: , ,
, .]

.
, . :

70

3. -

" > 0, k , 2k < ",

00:::0 ( k ).
, x ("; 0) = 0k , 0k k
, k | , 2k < ".
x ("; i ) i 6= 0 .

; 0k k .
, :
71 , ! , {!} . [. x , . .
A ,
( "). () . ,
! .
. - ( 28, . 72),
(
). , {!} , !
-.
!, {!} .
! = 0?0?0?0 : : : ( ). , {!} .
, 2n ,
2n , n n ( !). 2n , 22n ,
2n .
, , , .
( ) .
, , .
x , (2) (
). , (1) ,
A " > 0
x (";0) x (";1) x (";2) : : :

3.3.

71

, x ,
\[
\
(x (";0) x (";1) x (";2) : : :) =
x (";i ) :
">0

">0 i

, () x ( ),
(
), |
.
-, .
 , ,
 " > 0. ,
 , " 7 a ("),
,

| a (")| < "

" > 0.
72 , , ,
,
a (") <  ". [: ,
( ).]
73 , , ,
.
74 , e ( )  .
75 , (, , , . .) ,
. ( , ,
.)
 , , , ,
(x ) x . :
.  , hx; "i 7 a (x; "), x
",
|(x ) a (x; ")| < "

x ".
, ,
,  (
).

72

3. -

28 (-).  | . 
.

: ( ) .
J , x
. ,
, ,
.
, , . ,
.

. , x ,

p (x ("; 0)) + p (x ("; 1)) + p (x ("; 2)) + : : :

". (, p (x ) = (x ).) ( ", ", ). ,
, ", , "=2.
, (
), .
, x .
. ( )

hq; "; i i 7 X (q; "; i )

(q i | , " | ),
q Xq
( )
.
.

( ) ,
q q - .
X (q; "; i ) q "; i , ; , X (q; "; i ) .
, Xq
.
X (q; "; i ), q

("; 0); ("; 1); : : : ;

3.3.

73

, . . ("; i )
, . , z p (z ), ,
". , ,
, " ,
p (z ). , 
, p (z )
z .
, ( , "). (
| , "; ,
.)
X (q; "; i ) q
("; i ),
.
q ,
() Xq .
, Xq .
, q -
("; 0); ("; 1); : : : ( )
, ";
.
.
76 , :
? [: , ",
.]
-. X |
. q = 0; 1; 2; : : : Zq ,
Xq . ,
Zq ; ,
Z0 Z1 : : : .
,
. ,
S
" q Zq , "=2 Z0 ,
"=4 Z1 , .
, x ("; i ), :

x ("; [q; k ]) = X (q; "=2q +1 ; k );

74

3. -

[q; k ] q; k - . (
, .) I
- .  .
. ! -
,
.
: -,
.
: ! -,
{!} .
. - ( ) . , ,
( ). | (,
, | ). |
,
. ,
, . .
-: ,
,
,
-.
, ,
( -).
, ,
(
). ,
.
- (-, ) , ( ) .
, ,
( ):
29. A , - ( ).

3.3.

75

, () , 1.
J , ; , A , A
. I
, ,
, .
( ) ,
.
, ,
|
- .
( -) .
, ,
( ).
:
30. .

,
-,
( [190]). , .
,
- .
- , [23].

31. ! - 
, , , x0 ; x1 ; x2 ; : : : ;

(xi ) <

! xi

i .

J ! -, {! } " ".
" = 1; 1=2; 1=4; 1=8; : : : 2 ! (
).
, ! , x0 ; x1 ; x2 ; : : : ; -

76

3. -

c , . ! ", , N , N ,
c=N ". , (N - )
,
, x0 ; x1 ; x2 ; : : :
N . {!} , ! | -. I
. { ( A0 ; A1 ; : : : , , Ai , ),
{ . :
. ( , , ) ,
" , ".
, . , , (  ) , .
. - Hippocratic randomness [57] ( . | () , blind randomness ).
: ( ),
(uniform randomness
tests, { , . [8]).
77 ,
. ( ,
1; .)
78 () , .
[. ,
(
), , ,
,
. ,
.]
79 , . [:

3.4.

77

, ,
.]
3.4. -

( ).
32. ,

1=2 ,
.

J , " > 0 ,
1=2 + " ( 1=2 "), . , ,
( 27, . 65), :
,

. I
- :
33. ! = !0 !1 : : : | - -

!0 + !1 + : : : + !n 1 = 1 :
lim
n
n
2
.
p; q , p + q = 1, p q
. q; p (
p , . . 65).
, ( p q ).
34. - q; p , p .

J ,
p ( ,
p , . 66, . 68), ,
. I
(-) :

35. ! | . ! ,
, .

78

3. -

J ,
, .
, ! , : "
". , ,
. 0! .
, ! , 0! . (
1!.)
, , ,
, ,
!0 , ! . , !0
. I
80 , ( ).
, .
81 n0 ; n1 ; n2 ; : : : | (ni 6= nj i 6= j ). , ! =
= !0 !1 !2 : : : ,

!|n = !n !n !n : : :
0

. [. x !|n
, n0 ; n1 ; : : : ; ni 1 x ( i | x ), .
x .]
( ) , ( 9, . 291).
82 ! (-) .
00 , 01, 10
11 | . ,
1=4; 3=4. [.
. U
, (1=4; 3=4)- U .]
83 (.) , (1=4; 3=4)- , .
[. B B 0
!, F 1 ({!}) B ( , B ,
B ). , B 0 . ,

3.4.

79

B , B 0 , B 0 B . .
( 123, . 205).]
, - ( ) .
, .
.

36. A | .
a0 a1 a2 : : : ; ai = 0 i
=A
ai = 1 i A , - .

J k | .
A , k .

k -
(- ,
). k + 1 (
0 k ). ,
(k + 1)=2k
. (,
,
.) I
, - - . (
, , , , [173]), ,
2 2 ( | 00 ).
37. 00 ,

- .

J , x0 , x1 ,
x2 ; : : : ; 2l (xi ) < 1=2, 00 , xi . (
1=2,

-.)
, xi ( , ).
1=2, , , , 1=4. , xi , (
, ).
00 , ( 1=4 ). ,

80

3. -

1=8. .
( 00 ) :
. ,
, . I
, , [0; 1] .
- [0; 1], - . (
, .) .
X [0; 1] [0; 1],
, " > 0
, ".
, (=
). ( [0; 1] - , ). ,
:
84 , ,
,
.
.
1,
. ,
. .
( ) .
85 , [0; 1], , , (
00 ).
( ) 5.7 . 178.
37 :
86 x0 ; x1 ; x2 ; : : : ;

2l (xi )
i

1 . , xi
.

3.4.

81

[. S ,
.
!0 !1 !2 : : : : U = xi
!0 : : : !k S .]
-, [141]. ,
, " > 0
( ")
. , " > 0  > 0 i p (x ("; i )),
 . ( , , , ".) ,
,
. ( total rekursive Nullmenge, . 8.1 [141], -,
rekursive Nullmenge, . 4.1.)
87 , , ",
, . ( .)
86 , , . (
, .) , , ( , ).
, , ( ).
: ( 5), , -.
88 , ! =
= !0 !1 !2 : : : ; ,
KS (!0 : : : !n 1 ) = O (log n ).
[. 86 , ,
.
-
, ,
( ).
.
( ),
,

82

3. -

, . ,
,
.]
9.8,
.
89 , ! ,
x0 ; x1 ; : : : ; i p (xi ) xi !.). [.
-, 31,
. , , { .]
, ( )
: " > 0
", . (
.) ,
.
90 , ,
.
, (=
),
(Kurtz random). ,
-, , ,
, , .
91 , . ,
.
[. , . , . 5.9,
. 202.]
3.5.

-, A
" > 0 A ,
". ".

. (. 69), ,

3.5.

83

. :
( ).
:
38. A
T
 , A n Un , Un |
(Un ) 6 2n . , U1 U2 : : : .

, ,
n , Un .
J . -, " 2n (, ,
).
-, ,
, . ,
:
, ,
.
.
, . ,
U1 ; U1 U2 ; U1 U2 U3 ; : : : | ,

( ).
, , U1 U2 .
U1 U2 ,
, U1 U2 ( ,
).I
- [95]; Un .
U1 ; U2 ; : : : ; , : ! i ,
! Ui . , ! TUi .
n Un ,
, ( ,
).
, . - ,
:
39. ,
.

84

3. -

J :

U 1 : U11 U21 U31 : : :

U 1 : U12 U22 U32 : : :
U 2 : U13 U23 U33 : : :
........................

(U21 U32 : : : Ukk+1 : : :) (U31 U42 : : : Ukk+2 : : :) : : :
1=4 + 1=8 + : : : 6 1=2 ,
1=8 + 1=16 + : : : 6 1=4 . .;
d i i , d i | i - . I

: , , Un !,
n , ( n ).
. , u , (, ), ,
r !, u (!) > r , r . .
,
-. , m ,
2m , 2m ,
.

40. v ,
(, ) , :
() v ;
() v ;
() v ;
() v , .
J , .

3.5.

85

, ,
.
, (, ). v = supi vi . , supi vi (!) > r ,
vi (!) > r i , {! | v (!) > r } () .
, r ,
u (!) > r , u ,
r . I
, :  u ,

({! | u (!) > c }) < 1=c

c . : , ( c ), (
1=c ).
41.  ( ); 39 O (1).

2n ,
u (!) , u (!);
, . ,
. 39. I
, .
R
u : u (!) d(!) 6 1.
J

42. -

).

( -

J
(, ). , , ,
() 2 . (
,  .) u1 ; u2 ; : : : ; (
2). , ui
, 1=2 . I

86

3. -

( )
 (
) dE dP , \expectation" \probability".( 
.)
43.

dP (! ) 2 log dP (! ) 6 dE (! ) 6 dP (! ):

O (1)- (
).
J ,
. ,
, 2 dP 2 log dP (
, x 2 log x ;
, ,
, ). ,
, EdP (!) n n + 1,
1=2n , 2d 2n ,
O (2n =n 2 ); , 1=n 2
. I
92 , 2 43 ,
1.
, , - (
): , .

( )
(. ).
1960- 1970-
(
-;
.. . ), ( ) .
[8].

4.

4.1.

(, ) .

b := random
b . ( , ,
b .) .
,
( ). ,
( ) .
A .
.
u u
2l (u ) .
x ! A (x; !) A x , ! ( random ). A (x; !) |
(, );
x !. y
{! | A (x; !) = y }. ( ); z
z , y . y
x .
, . : ,
, .
: pi i 2(i +1) . , p0 ,
, p1 | ,
, | .
87

88

4.

pi : ,
( , ) .
.
, ,
, p0 ; p1 ; : : : ; pi
i . p0 ; p1 ; : : : ? : pi 6 1. , ,
: , p0 ; p1 ; : : : | .
:
( )? ,
.
,  ,
.
93 ,  ( , " > 0 
"),  . [.
.]
94 ,  ,
  .
: 
, , , .
,  a0 6 a1 6 a2 6 : : : ; , - ai ,
, . ,
, , . , ,
.
:
44. () M | ( ).
.

() .

J () pn n ( )
: n n
, , 1=2n ,
1=2n .
pn , . n (, )
( ).

4.1. N

89

() q | . ,
q = lim qn
q 0 6 q1 6 q2 6 : : :
. , q .
b0 ; b1 ; b2 ; : : :  = 0;b0 b1 b2 : : : ;
q0 ; q1 ; q2 ; : : : ,
, ,  < q . , , 0;b0 b1 : : : bi 111 : : : (  )
qi ( q ).
. 4.1.

q0 q 1 q 2 : : :

. 4.1.  = 0;b0 b1 : : : q = lim qi .

,  < q . .  q , . ,
qi q ,   ,
- qi . ,
 < q .
,  < q ,
[0; q ), q (  , ,
[0; 1]). I
,
. . , p0 ; p1 ; p2 ; : : : , p
( ),

p (i; 0) 6 p (i; 1) 6 p (i; 2) 6 : : :

i .

p (i; n )
pi = nlim

90

4.

, pi i .
-, :

45. p0 ; p1 ; p2 : : :
, hr; i i, i | , r |
, pi , .

J , , ( , ;
, ).
, p0 ; p1 ; p2 ; : : : pi =
= limn p (i; n ). hr; i i,
. n - hr; i i r c p (i; n );
, r < p (i; n ), hr; i i . ,
(r < limn p (i; n )
, r < p (i; n ) n ).
, r < pi . , . p (i; n ), n ;
hr; i i i r . p (i; n )
r ( i , p (i; n ) = ).
, n p (i; n ) , limn p (i; n ) pi (
, pi ). I
,
.
46. () M | -

, . pi |
i . pi i pi 6 1.
() p0 ; p1 ; : : : | , i pi 6 1. M , i
pi .

J ( )
, ,
i ( i ).
.
.
; i i . pi
. |
. ,
( ) . ( !)

4.1. N

91

. , i ( ,
).
 , ,  , .
. pi = limn p (i; n )
.
, p (i; n ) ( ),
n p (i; n ) ( p (i; n ) = 0 i > n ). ,
. , n -
, i , p (i; n ).
n , p (i; n )
i , .
[0; 1] , p (i; n ) 6 pi pi 6 1.
:
i , b0 b1 : : : bk , , ,
b0 b1 : : : bk ,
, i . ( [u; v ] (u; v ).)
, i ,  , i ,
( ) pi . I
N pi , . (
p (i ) pi .) , : (1)
; (2)
1. ,
.
(
),
. , N
i 7 pi , i pi 6 1.
N {}, |
. i pi ,
1 i pi . (
).
( )
.
( ). , , ,
.

92

4.

: 5 .
,
. x ,
x ,
.
,
, ,
, 5.
4.2.

N . m , ,
m 0
m 0 (i ) 6 cm (i ) c i . ( ,
, .)
.
47. N.

J M :
M 0 i M M 0
.
: M ( ,
,
), . ,
M 0 , p , m (i ) i M p m 0 (i ), m 0 (i ) | i
M 0 . c = 1=p .
, , . - ; M0 , M1 ,
M2 ; : : : ; . M , . Mi , i |
. I

. , ,
,
( )
. ( , ,
, ,
.)

4.2.

93

: 1, ,
. , , ( ). , ,
.

p : hi; n i 7 p (i; n ). ( ). p (0) ; p (1) ; p (2) ; : : :

n
p (i; n ) = k p (k ) (i; n );
k =0

k | k k 6 1 (, k = 2k 1 ). p
n ( i ),
.
lim p (i; n ) = k nlim
p (k ) (i; n )

i , k .
, , . ,
p (i; n ) . , , , , ( ).
, p (k ) | , k - (
). , k - ( ,
, ).

. P
P 0 ,
, . ,
P , (
P 0 ) .
. P | ( -

). P 0 (i; n ) , n P (i; 0); : : :

: : : ; P (i; n ) ( n
, P 0 (i; n ) = 0). - P 0 , .
, ( i ) P (i; n ) n , n , limn P 0 (i; n ) = limn P (i; n ).

94

4.

, pi0 6 1, pi0 = limn P 0 (i; n ). ,

P 0 (i; n ) n < i . (, limn P 0 (i; n ).) P 0 (i; n )
i n , .
, . , P 0 : P 0 n ,
. (
n = 0, n = 1 .) .
( ,
; .)
,
,
47.
, m . m (i ) i
i . .
| ,
( ) .
, (a priori,
) i .
, ,
m (i ), ( | ).
, i .
, , .
: ,
( ) i log m (i ).
4.3.

, : ,
, . ( ) . , .
f | , .
, f ,
:
(f (x ) ) (x | y )

f (y ) f (x ):

48. -

J , , .

4.3.

95

, , , ( -
). ,
D ; , D 0
KP D (x ) 6 KP D (x ) + O (1).
KP KS , ,
, D KP D (x ) KS D (x ).
( ) :
D (^p y ) = p (y );
p^ | - p (, p^ = p01, p
p ), p (y ) | p
y ( p
).
D ? , ,
p , . -
p , , p (0) = a p (00) = b a 6= b , D (^
p 0) = a
D (^
p 00) = b , D .
p (y )
[p ](y ), :
(1) p . -
, .
hyi ; zi i, zi = p (yi ).
(2) .
: y y 0 ,
( : ). :
- hyi ; zi i hyj ; zj i j < i ,
. , yi yj ,
zi 6= zj . (, hyj ; zj i, .)
(3) y . [p ](y ),
() hyi ; zi i, yi y .
, zi [p ](y ).
, p , y 7 [p ](y ) . , [p ](y ) = z . ,
hyi ; z i, yi y . y y 0 . [p ](y 0 )
hyi ; z i. () hyj ; zj i ( yj yi , yj
y 0 ), ( yj yi , zi = zj ).
p , , [p ](y ) = p (y ) y . , 0

96

4.

, [p ](y ) p y
- ( p ).
, D
( ).
, D (^
p1 y1 ) D (^p2 y2 ) , p^1 y1
p^2 y2 . p^1 p^2 ( p^2 y2 ) , p1 = p2 . , y1
y2 , [p1 ] (, , [p2 ]).
D . , [p ](y ) = p (y )
p , D 0 ( p ) D p^. I

, KP (x ) x .
, ,
( ).
,
. , , ,
.
- , ,
.
,
, . , 48:
49. .
J , . p y 7 {p }(y )

:
(1) , p , hyi ; zi i, zi = p (yi ).
(2) : - hyi ; zi i
yi - yj ( j < i ), .
(3) , y , () hyi ; zi i
yi = y . {p }(y ).
, y 7 {p }(y ) .
48. I
( KP 0 ).
KP KP 0 ?
. (. 4.5), O (1) ( ), , ,

4.3.

97

, . . , -
( ).
(, 4.6)
.
( . [11]; , , , - , .
K (x ).)
(KP , KP 0 )
? ?
:
KS (x ) 6 KP (x ) + O (1)

KS (x ) 6 KP 0 (x ) + O (1);

, , KS .
, KS (x ) 6 l (x ) + O (1) ( ). , , . 4.5, :
.
.
( KP 0 , KP .) ,
KP 0 (x ) 6 2l (x ) + O (1). , D ,

D (x 01) = x
(x x ), .
x^ x01,
:
KP 0 (x ) 6 l (x ) + 2 log l (x ) + O (1)

, x^ = bin(l (x ))01x ; ,
KP 0 (x ) 6 l (x ) + log l (x ) + 2 log log l (x ) + O (1)
.
:
KP 0 (A (x )) 6 KP 0 (x ) + O (1)

98

4.

( A , x ). , , D | , x 7
7 A (D (x )) . , KP KP 0 . ( , , . .), .
, :
KP (x; y ) 6 KP (x ) + KP (y ) + O (1)

( 60 4.6, . 112).
, A D
( ) . p
x D , D (p ) = x l (p ) = KS (x ),
KP (x ) = KP (D (p )) 6 KP (p ) + O (1) 6 l (p ) + 2 log l (p ) + O (1) =
= KS (x ) + 2 log KS (x ) + O (1):

KP (p ) 6 l (p ) + 2 log l (p ) + O (1), ; ,
KP (x ) 6 KS (x ) + log KS (x ) + 2 log log KS (x ) + O (1)

.
4.4. :

. ,
.
, , . ,
, , ( , ,
, ).
, : ( )
.

4.4. :

99

4.4.1.

. , , , ,
. #,
(. 4.2).
#

. 4.2. .

(
). , , ( ) ,
. . ,
,
. ( ).
M | . .
, :
, ( x ), (y ).
hx; y i `M .
hx1 ; y1 i hx2 ; y2 i `M , x1 x2 . ,
x1 x2 , x2
, x1 ( )
. y1 = y2 , x1 6= x2 , x2
, `M .
, `M , `M M , .
, M . , M : M (x ),
M x , x , .
, M (
). :
50. .
J , F , ( ) f , , , . :

100

4.

f , M ,

M = f .

. M
F ,
( ,
). x; y , f (x ) = y , x ( ).
x , ( ). x ,
y . x ,
| ,
x ( M
y ), - , x .
hx; y i , .
? .
hx; y i, , x . , (
) y . ,
, x , x (
, x ).
y ,
hx; y i .
, ,
, ( r ):
(1) f (r ) , f (r ),
(2) r x hx; y i,
r 0 r
. ( | , .)
, , : r ,
, f
r , f (r ) ,
, . I

. ,
b := NextBit
,
. (,
0 1), b ,
.
: x
; y ,
y , x .

4.4. :

101

( , x ,
, x .)
, , , |
. ( .)
4.4.2.

, ,
( ). ,
, ,
0 1 ( ). .

b := NextBit
,
b := NextExists
, . , ,
NextBit . , ,
, ( ). ,
, ,
. -
while not NextExists do {nothing};
b := NextBit

.
, .
: ,
, ,
.
,
: x
, ,
.
(
).
51. () .
() .

102

4.

J () : ,
( ), , . .
( 4.3) , y
x , x 0 ,
x . , x . y . ,
, x x 0
. , -
y x 0 . y
x 0 .
( : ,
,
.)
() , . f | .
. f , ,
( ). , f (x ) = y x y ,
x x ,
y .
f (x ) = y , y ,
x . , , x
, f (x ) .
y , .
, f (x 0 ) x 0
. x 0 x f (x 0 )
y , f .
.
, f (x ) , f ,
f (x 0 ) x ,
. I
, ,
.
95 , , p
( NextBit NextExists) p 0
, p 0 , p ,
p . [.
51 .]
96 (.) , , p , . [. :
. ., , [173].]

4.4. :

103

4.4.3.

, .
,
( | ! | ). ,

. ,
.
: = . () x x
. , ,
x 6 y , y x .
,
x ( ,
x ). , ( ).
( ) :
52. A
, :
(1) (
) ;
(2) A ,

A.

J (1)
(2). , A ,
x () x , A . I
N
().
, , ,
(. 4.3).

0 1 2 3 4 :::

. 4.3. N .

, , N {}. ( ,
; .)

104

4.

N N ,
(
). (, ,
):
53. F : N ,
:
(1) F ( x 6 y , F (x ) 6 F (y )
N );
(2) F (x ) 6= x , F (x 0 ) 6=

x0 6 x.

J F . (1). x 6 y . F (x ) 66 F (y ),
F (x ) ( ) F (x ) 6= F (y ).
{F (x )} x , y .
(2). F (x ) 6= x ,
{F (x )} x
x .
, F (1) (2), F . ,
( , ). (1)
(2) , . (,
x 0 x F (x 0 ) 6= , F (x 0 ) = F (x ) .) I
F : N `F
hx; n i N, F (x ) = n . , `F
F ( x
.)
54. F 7 `F N A
N, :
(1) hx; n i A , x 6 y hy; n i A ;
(2) hx; n i A , hx; m i A m = n .
J F . F (x ) = n N, (1) , F (y ) = n y , x .
(1) `F . (2),
F (x ) . , F `F (1) (2).
, `F F : F (x ) x , hx; n i `F . , F (x ) = .
x F (x ) .
, A , (1) (2),
`F F . , F (x ) x

4.5.

105

n , hx; n i A ( (2) )
, n . (1) ,
( ) .
. x F (x )
F (x 0 ), x 0 6 x , F (x 0 ) 6= ; x 0 , F (x ) = . ( F (x )
x 0 6 x ) (1). ,
F (1) (2) . , `F = A . I
, (1) (2) , A .
N
.
F : N ,
`F . , N. ( N
, .)
N ,

.
4.5.

, | (KP KP 0
),
O (1).
log m (x ) 6 KP (x ) 6 KP 0 (x ) 6 log m (x )

( O (1)). .
55.

KP (x ) 6 KP 0 (x ) + O (1):

J ,
. :
D - u , u (
).
. D | . D 0 . D
y x , D 0
x y . , D 0 (y ),
D y . D (y 0 ) ( y 0 |
y ) ( ).

106

4.

y 0 , D 0 (y ) D (y 0 ). , D 0 (y ) = x
, D (y 0 ) = x y 0 y .
, D 0 , D . D 0 D . ( D 0
D ,
.) I
. , D
D 0 , D ( D 0 (y ) = z , D (y ) = z D (y 0 )
y 0 y ).


. ,
( ) .
97 , . [.
A | , . f (0n 11x ) = 0
n x f (0n 1x ) = 0 n A x .]
,
, (. 4.4).
56.

log m (x ) 6 KP (x ) + O (1):

, log m (x ) 6 KP (x ) + O (1) 2 KP (x ) 6
6 cm (x ) c . m , x 7 2 KP (x )
. (, ,
, ,
, . 4.1.)
, . D ,
KP . ( ) D
. , D
b0 ; b1 ; b2 ; : : : ;

J

D (); D (b0 ); D (b0 b1 ); D (b0 b1 b2 ); : : :

, . ,
, ( , ).

4.5.

107

x p x (
D ). x
2l (p ) . , l (p ) p ,
x . x 2l (p ) = 2 KP (x ) , . I

. , , ,
x 7 2 KP (x ) . :
57.

2 KP (x ) 6 1:
x

J , px | x .
px py ( x 6= y ). .
. p0 ; p1 ; p2 ; : : : | ( ,

). i 2l (pi ) 6 1.

, 2l (pi ) ( ) pi
() pi . pi ,
( pi )
. ( 57) . I
, ,
KP (x ) 6 l (x ) + O (1). , ,

2l (x )
x

. n x n ( 2n 2n ),
.
98 , KP (x ) 6 l (x ) + log l (x ) + O (1) ( KP (x ) l (x ) log l (x ) ).
[. .]
, :
58.

KP 0 (x ) 6 log m (x ) + O (1):

J . m (x ). ,
m (x ). m (x ) ,
KP 0 (x ) , x
p . . .
p , ,
p . , [0; 1]

108

4.

I0 () I1 (), I00 ; I01

I10 ; I11 . p1 p2 ,
Ip Ip . l (p ) 6 log2 m (x )
2l (p ) > m (x ): Ip m (x ).
: x m (x ), ,
1

, .
. -,
m (x ), "m (x ) " (
). -, ,
(, Ip ). , (
[0; 1])
.
, ,
4.1.
[0; 1]. - ( ).
, , ,
, .
(
). ,
|
. : ( ) , .
( 2 ).
, .
. , , . , { (. [22]). ( , . . 243.)
. l0 ; l1 ; l2 ; : : : |
,

2li 6 1:
i

x0 ; x1 ; x2 ; : : : ; l (xi ) = li .

,
xi li , Ixi
2li . ,
.
. . 1 ( [0; 1]). , -

4.5.

109

(, ).
1, 1=2, 1=4, 1=8; : : : ; , . 1 . 1=2
( ).
1=4 (
), . 2l
l . , , ,
. , ,
.
( : ; 1=2k , , [aligned]; ; ,
,
, .)
: , .
, , . (
.)
, 1.
w . w , : .
. ,
w . ( , w=2; w=4; : : : ;
w . , .)
, , w 0 > w . (
best t). w ,
w; 2w; 4w; : : : ; w 0 =2 ( w + w + 2w + 4w + : : : + (w 0 =2) = w 0 ).
. w 0 , ( w w 0 =2) ,
(, )
. .
99 , :
. [:
: .]

. li | ,
i 2li 6 1. KP 0 (i ) 6 li + O (1).

, xi
li . D , D (xi ) = i .
xi , .

110

4.

xi D ( x ,
xi , i ).
(, , ,
, .)
. () m . ,
m (x ) = ilim
m (x; i );

m (x; i ) | i . m (x; i )
( 1; 1=2; 1=4; 1=8; : : :), . m 0 (x; i ). - m 0 |
, . , m 0 (x; i )
m (x; i ), m (x; i ) .
hx; i i , m 0 (x; i ) m 0 (x; i 1) (
i = 0 m 0 (x; 0) > 0). , m 0 (x; i )
i ( x ).
, m 0 (x; i ) hx; i i 4. , m 0 (x; i ) i
( x ) 4m (x ). . (
x ) , . ,
, m (x; i ) - i . ,
m (x; i ) 6 m (x ), , 4m (x ),
.
hx; i i . ,
, , m 0 (x; i )
m 0 (x; i 1).
- ,
hx0 ; i0 i; hx1 ; i1 i; : : : . ln ,

2ln = m 0 (xn ; in )=4:

2ln = (1=4) m 0 (xn ; in ) 6 1;

n

KP 0 (n ) 6 ln + O (1). xn n ,
( )
KP 0 (xn ) 6 KP 0 (n ) + O (1) 6 ln + O (1) = log m 0 (xn ; in ) + O (1):

x xn ,
hx; i i. hxn ; in i | x i , m 0 (xn ; in )

4.6.

111

m (x; i ) i ( , ). m 0 (xn ; in ) > m (x ).

,
KP 0 (x ) 6 log m (x ) + O (1);
. I
, , KP , KP 0 log m
O (1). , KP
KP 0 ( , -
).
,
. :
p x x , p .
: ,
. : x
2k , x (2k ), ,
, ( ) |
.
( ) : KP A KP 0A
log m A O (1). (
), (
, ).
(
, 5.6),
:

59. p0 ; p1 ,
p2 ; : : : ; i pi 6 1,
D , KP 0D (i ) 6 log2 pi + 2.
( , , hr; i i,
r < pi .

.)
4.6.

. ,

( ).
1=n 2 , , . , (

112

4.

). n c=n 2
c ,
KP (n ) 6 2 log n + O (1):
xn | n , 0, 1, 00, 01,
10, 11, 000; : : : ;
KP (xn ) 6 KP (n ) + O (1) 6 2 log n + O (1) = 2l (xn ) + O (1)

( , xn n + 1 1
log n + O (1)). ( , n = 0
, 1=02 log 0 , .) KP (x ) 6 2l (x ) + O (1).
(
. 97),
1

n log2 n
( , , ). KP (n ) 6 log n +
+ 2 log log n + O (1),
KP (x ) 6 l (x ) + 2 log l (x ) + O (1):

, 1=(n log n (log log n )2),

1=(n log n log log n (log log log n )2 ) .
.
60.

KP (x; y ) 6 KP (x ) + KP (y ) + O (1):

J KP (x; y ) [x; y ], hx; y i 7 [x; y ] | - . ( ,

| .)
m 0 ,

m 0 ([x; y ]) = m (x )m (y );
m | . ( , m 0 (z ) = 0 z , .) , m 0
( , m (x )
m (y ), ). ,

m 0 (z ) = m 0 ([x; y ]) = m (x )m (y ) = m (x ) m (y ) 6 1 1 = 1:
z

x;y

x;y

4.6.

113

, m 0 | .
, , m 0 ([x; y ]) 6 cm ([x; y ]) c ,
KP ([x; y ]) 6 KP (x ) + KP (y ) + O (1);

. I
100 , y m ([x; y ]) m (x ) ( ).
maxy m ([x; y ]).
101 , f : N N
{m (k ) | f (n ) 6 k < f (n + 1)} m (n )
( ):
m (n ) , (
) !
60 . : , . , ,
KP 0 ([x; y ]) 6 KP 0 (x ) + KP 0 (y ) + O (1). D |
, KP 0 .

D 0 (pq ) = [D (p ); D (q )];
pq p q . , D (p )
D (q ) . , , , ,
x
x = pq = p 0 q 0 , D (p ); D (q ); D (p 0 ); D (q 0 ) .
, p p 0 (
x , p p 0 ), D (p )
D (p 0 ) p 6= p 0 ( D
). p = p 0 , q = q 0 .
, D 0 : pq p 0 q 0 , p p 0 . D (p ) D (p 0 ) ,
p = p 0 . q q 0 ; D (q ) D (q 0 ) , q = q 0 .
D 0 : D 0 (x ), x p q
D (p ) D (q ) .
, ,
( ).
,
KP D 0 ([x; y ]) 6 KP D (x ) + KP D (y ):

, p q | x y D ,
pq | [x; y ] D 0 , KP D (x ) + KP D (y ).
D 0 : ,
x . y .

114

4.

102 60,
.
103 ,
. , A B | ,

AB = {ab | a A; b B }
.
, , .
.
61.

KP (x; KP (x )) = KP (x ) + O (1):

( )
23.
J , KP (x ) 6 KP (x; KP (x )) + O (1), x
[x; KP (x )]. ( , .)
KP 0 , . D |
.

D 0 (p ) = [D (p ); l (p )];
, D , . p |
x D , l (p ) = KP 0 (x ), p [x; KP 0 (x )] D 0 . KP D ([x; KP 0 (x )]) 6
6 l (p ) = KP 0 (x ).
? , .
KP 0 , . KP (
), .
, , KP
.
, , KP (x; n ) (
, )
n . ,
[x; n ] 7 [x; n + 1] [x; n ] 7 [x; n 1]
. I
. m (x ) | x . m 0 ,
:
0

k
k
m 0 ([x; k ]) = 2 ; 2 < m (x );

4.6.

115

( x k ,
, 2k < m (x ), 2k ).
m 0 ([x; k ]) k ( x )
2, 2m (x ) ( m (x )). , m 0 ([x; k ]) x k .
m 0 , ,
KP (x; k ) 6 k + O (1)

2k < m (x ). k = blog m (x )c + 1, 2k < m (x ) ,

KP (x; blog m (x )c + 1) 6 KP (x ) + O (1):
( ) ,
,
.
104 61 : KP (x; m ) 6 m + O (1) KP (x ) 6 m .
61, ?
KP (x )? , ,
() .
( KP (x ) 6 2 KS (x ) + O (1),
KP KS .)
( 8, . 28) , KS (x ) K , {x | K (x ) < n }
O (2n ). :
62. KP ( O (1))
K , x 2K (x ) .
J , KP x 2 KP (x ) . K | ,
M (x ) = c 2K (x ) c (
1). , M (x ) = O (m (x ))
, log M (x ) 6 log m (x ) + O (1);
KP (x ) 6 K (x ) + O (1). I
: f
. KP (x ) 6 f (x ) + O (1)
x 2f (x ) < .
K , 8 . , C , ,
", C=". ,
KS (x ) 6 KP (x ) + O (1).

116

4.

:
.
.
, n () n +
+ O (1) ( . 16, 2 . 25). ,
.
63. () KP (x ) 6 l (x ) + KP (l (x )) + O (1).
() c , n d
x n , KP (x ) < n + KP (n ) d , c 2d .
J () m (x ) | x .
m (n ) n (, ,
). m 0 (x ), 2n m (n ) x
n . n
m (n ), x m 0 (x ) 6 1. m 0 .
m , , m 0 (x ) 6 cm (x ) c
x . ,
KP (x ) 6 n + KP (n ) + O (1)

n ( O (1) n ).
()

m 0 (n ) = m (x )
l (x )=n

( ).
n m 0 (n ) 6 1, m 0 (n ) = O (m (n )) ( m (n ) |
n ). , n (
) , n ,

c1 m (n ) 6 m (x ) 6 c2 m (n ):
l (x )=n

, m (x ) n
m (n ), m (x ) |
m (n )=2n . , , 2d
, 2d ( ). I
105 , , n n + KP (n ) + O (1).
( 3, . 25.)
.
64.
KP (n ) + O (1).

x,

KP (x ) < n ,

4.6.

117

J cn | , KP (x ) < n . , 2 KP (x ) , cn . cn +1 cn , n ,
n 2n (cn +1 cn ): , ,
n (2(n 1) 2n )cn = n 2n cn . cn ,
, 2n cn m (n ) n ,
cn 6 m (n )2n ( ).
, K , ,
, m (n )2n , n . , , n n ,
+, , m (n )
n .
2K (x ) , KP (x ) 6 K (x ) + O (1),
cn +O (1) > m (n )2n . , m (n ) 2n
n . I
,
( , ). ? :
an bn , KS (an ) KS (bn ) +,
KP (an ) KP (bn ) ? . . . . , [116]. (. [102],
).
.
KP (x ) 6 l (x ) + KP (l (x )) ,

KP (x ) 6 l (x ) + l (l (x )) + KP (l (l (x )) + O (1);
KP (x ) 6 l (x ) + l (l (x )) + l (l (l (x ))) + KP (l (l (l (x ))) + O (1)

. , , D |
( ) , KP (D (y )) 6 KP (y ); KP (x ) 6 l (x ) + KP (l (x )) + O (1),
:
65.

KP (x ) 6 KS (x ) + KP (KS (x ))) + O (1);

KP (x ) 6 KS (x ) + KS (KS (x ))) + KP (KS (KS (x )) + O (1)
.

, .

118

4.
106

,
KS (x; y ) 6 KP (x ) + KS (y ) + O (1)

x; y . [. ,
n , .]
, n ,
() , n .
, , ,
n + KP (n )? ,
.
107 , x n
n d , n + KP (n ) d + O (log d ).
[: n d
x .]
, .
(. [102] [115]).
4.7.

4.7.1.

? , .
.
D
,
:

D (y; z ) y 6 y 0

D (y 0 ; z ) = D (y; z ):

, ; y 6 y 0 , y 0 y .
2.2 ,
. ( .) D (y; z ) = x : y x z . x z .
,
( ).

. .
48 . 94 (
),

4.7.

119

z . ,

D 0 (^p y; z ) = [p ](y; z );
[p ](y; z ) p ( y z ).
, KP (x | z ) (: x z ).
, .
;
KP 0 (x | z ). ,
:
KP 0 (x | z ) = KP (x | z ) + O (1);

x , z .
, ,
m (x | z ). ( ) . . M | .
z :
x ( z ) pM (x | z ). hx; z i 7 pM (x | z )
( ), z x pM (x | z )
. pM :
hx; z i 7 p (x | z ), x p (x | z ) 6 1 z , M ,
pM = p .
pM
. ,
x z
m (x | z ).
, log m (x | z ) 6 KP (x | z ) + O (1) KP 0 (x | z ) 6
6 log m (x | z ) + O (1). KP (x | z ) 6 KP 0 (x | z ) + O (1), , , :
KP (x | z ), KP 0 (x | z ) log m (x | z ) .
, z .
, , .
. ,
, A . ( A | . ,
, x A ,

120

4.

x .) (A -) .
, ,
A KS A (x ) KP A (x ) (. 6.4). :
z . ,
( z ),
, , z ,
. KS (x ) KS (x | z ).
: I (x : y | z )
z I (x : y ).
.
, (), .
, ,
.
. (
, . 5 6).
(. 6.3);
, .
, , ,
( ). , ,
, |
. - , 27 (. 44),
:
108 , KP (y | x ) , x y , ( O (1)). ( ; .) [. , KP (y | l (y )) 6 l (y ) + O (1),
l (y ) .
, 2n n .]
4.7.2.

.
KP (x | z ) 6 KP (x ) + O (1).

, ( )
y 7 D (y ) -

4.7.

( ) hy; z i7
( ).
: , .
q (x ) q 0 (x | z ) = q (x ) z .
KP (x | x ) = O (1).
D (y; z ) = z ( y , z ) KP D (x | x ) = 0.
: D (; z ) = z , | ;
D . ,
: q (x | x ) = 1 q (x | z ) = 0 z 6= x .
KP (f (x; z ) | z ) 6 KP (x | z ) + O (1) f
x; z , f . ( O (1)
f , x z .)
D | [] , D 0 : hy; z i 7 f (D (y; z ); z ) [ ] KP D (f (x; z ) | z ) 6 KP D (x | z ),
.
: m (x | z ) | x
z ,
q (x | z ) = {m (x 0 | z ) | f (x 0 ; z ) = x }
( z x 7 m (x; z )
x 7 f (x; z )); , q , x q (x | z ) 6 1 q (f (x; z ) | z ) > m (x | z ). m , (
).
KP (x | z ) 6 KP (x | f (z )) + O (1) f
x; z ( f (z ) ; f , x z ).
( hy; z i 7 D (y; f (z ))
q (x | z ) = m (x | f (z )).)
KP (f (x ) | x ) = O (1) f x ,
f (x ) .
( .)
KS (x | z ) 6 KP (x | z ) + O (1)
, ( ) ,
KS (x | z ).
KP (x | z ) 6 KS (x | z ) + 2 log KS (x | z ) + O (1)
. D |
( ).
KP (D (y; z ) | z ) 6 KP (y | z ) + O (1) 6 KP (y ) + O (1) 6 l (y ) + 2 log l (y ) + O (1):
7 D (y )

121

122

4.

y x z , l (y ) =
= KS (x | z ).

KP (x | z ) 6 KS (x | z ) + log KS (x | z ) + 2 log log KS (x | z ) + O (1)
.
4.7.3.

( 60, . 112), KP (x; y ) 6 KP (x ) + KP (y ) + O (1).

:
66.

KP (x; y ) 6 KP (x ) + KP (y | x ) + O (1):

J :
. .
D | , Dc | .
D 0 ,
D 0 (uv ) = [D (u ); Dc (v; D (u ))]
( u v , ).
60, , D 0 ; x
y ( x ) [x; y ].
(, u v :
vu ( uv ), v , : Dc ,
D (u ) .)
: m (x ) | x , m (y | x ) |
y x . m 0 ,
m 0 ([x; y ]) = m (x )m (y | x )
( , m 0 (z ) = 0 z , ). m 0
( ),


m 0 (z ) = m (x )m (y | x ) = m (x ) m (y | x ) 6 m (x ) 6 1:
z

x;y

m ([x; y ]) > "m ([x; y ]) = "m (x )m (y | x ), . I

109 , KS (x; y ) 6 KP (x ) + KS (y | x ) + O (1).
[. ,
x y x . , KP (x ) + KS (y | x ) 6 n . k , 2k m (k ) 2n k = 2n m (k ),
k 2n O (1).]
0

4.7.

123

. , ,
(
). ,
. (
O (1) ):
KP (x; y ) 6 KP (x; KP (x ); y ) 6 KP (x; KP (x )) + KP (y | x; KP (x )) =
= KP (x ) + KP (y | x; KP (x )):

KP (x; KP (x )) = KP (x ) ( 61), .
, KP (y | x; KP (x )) 6 KP (y | x ) (x [x; f (x )]). . . (. [42]) . [22],
:
67.

KP (x; y ) = KP (x ) + KP (y | x; KP (x )) + O (1):
J (. ). :
hx; y i, x
y x KP (x ) ( KP (x )
x ). , x , KP (x ),
y .
. m 0 ,

m 0 ([x; y ]) =

2 <2m (x )}

{k |

2k m (y | x; k ):

, x; y ( m (y | x; k ) y
1; 2k k , 2k < 2m (x ), 4m (x ),
x 4).
m , k = blog2 m (x )c
.
:
KP (x ) + KP (y | x; KP (x )) 6 KP (x; y ) + O (1):

(, ) (, )
KP (x ) + KP (y | x ) 6 KP (x; y ) + O (1):

124

4.

, :

m (x )m (y | x ) > "m ([x; y ])

( " x; y ). m ( ).

y ]) :
m (y | x ) > " mm([x;
(x )
,

y ])
m 0 (y | x ) = " mm([x;
(x )
x ( "),
m (y | x ). m 0 (y | x ) y .
,

m 0 (y | x ) = "
y

y m ([x; y ])

m (x )

.
? , x 7 y m ([x; y ])
( x x;y m ([x; y ]) 6 1)
m (x )=" ".
? , . : y m ([x; y ]),
, , m . m ([x; y ])=m (x ) , m (x )
, (
), .
,
. , z = KP (x )

y ]) :
m (y | x; z ) > " mm([x;
(x )
, , ,
. z = KP (x ) m (x ) 2 KP (x ) 2z

m 0 (y | x; z ) = m ([x; y ])2z :
. ,
y m 0 (y | x; z ) . ,

m ([x; y ]) 6 2z :
y

4.7.

125

, y m ([x; y ]) = O (m (x )) = O (2 KP (x ) ), c :

z 6 KP (x ) c

m 0 (y | x; z ) 6 1:
y

, : ,
x z , .
m 0 , m 00 :
hy; x; z i 7 m 00 (y | x; z ) ;

m 00 (y | x; z ) 6 1

x z ;
c

z 6 KP (x ) c

m 00 (y | x; z ) = m 0 (y | x; z ):

4.2:
, ,
, , .
m 00 ,
,

z 6 KP (x ) c KP (y | x; z ) 6 KP (x; y ) z + c 0
c c 0 x; y; z .
, z = KP (x ) c , z KP (y | x; z )

(
, ),
KP (y | x; KP (x ) c ) = KP (y | x; KP (x )) + O (1): I

, 22 (. 48), ,
KS (x; y ) = KS (x ) + KS (y | x ) + O (log n )

n , .
, KP KS
O (log n ). , KS (y | x; KP (x )) KS (y | x )
O (log n ). 21,
.
, m (x ) y m ([x; y ])
( 100, . 113), 67 :
m (y | x; KP (x )) mm([([x;x;y ])y ]) :
y

126

4.

, y , x .
110 ,
KP (x | z ) 6 KP (x | y ) + KP (y | z ) + O (1)

x; y; z . ( , KP (x | y )
KP (x | y; z ).)
111 67:
KP (x; y | z ) = KP (x | z ) + KP (y | x; KP (x | z ); z ) + O (1):

67, . ,
hx; y i, | z . ,
KP (x; y; z ) = KP (z | x; y; KP (x; y )) + KP (x; y ) + O (1):

67, :
68.

KP (x; y; z ) = KP (z | x; y; KP (x; y )) + KP (y | x; KP (x )) + KP (x ) + O (1):

( z 67):
KP (x; y; z ) = KP (y; z | x; KP (x )) + KP (x ) =
= KP (z | y; KP (y | x; KP (x )); x; KP (x )) + KP (y | x; KP (x )) + KP (x )

( O (1)).
68:
, . , z , KP (x; y )
KP (x ) KP (y | x; KP (x )) | ,
KP (x; y ) 67.
, KP (x; y ). , ( x y )
. , z hKP (x ); KP (y | x; KP (x ))i;
(, O (1)).
, :
69.

KP (KP (x ) | x; y; KP (x; y )) = O (1);

KP (KP (y | x; KP (x )) | x; y; KP (x; y )) = O (1):

(, KP (y ) KP (x | y; KP (y )).)

4.7.

127

112 69. [. x , y KP (x; y ),

d KP (x ), KP (y | x; d ) + d
KP (x; y ). O (1) , d =
= KP (x ) + O (1): d KP (x ) m , KP (y | x; d )
O (log m ),
.]
67 , ( 24,
. 57) O (1) (
):
70.

KP (x; y; z ) + KP (x ) 6 KP (x; y ) + KP (x; z ) + O (1)

J

x; y; z .

,
KP (x ) + KP (y | x; KP (x )) + KP (x ) + KP (z | x; KP (x ));

KP (x ) + KP (y; z | x; KP (x )) + KP (x );

,
KP (y; z | x; KP (x )) 6 KP (y | x; KP (x )) + KP (z | x; KP (x ));

60 (. 112). I
70 .
, ( )

m (x; y; z )m (x ) > m (x; y )m (x; z );

m | . m (x ),

m (x; y )m (x; z ) 6 m (x; y; z ):

m (x )
, ( x; y; z ).
,

y;z

m (x; y )m (x; z ) 6 m (x )
m (x )

( y m (x; y ) 6 m (x ) z m (x; z ) 6 m (x )). ( O (1), .)

, , : - m (x )

m (x; y )m (x; z )
m (x )

128

4.

, . ( 67):
.
: n mn (x; y ) m (x; y ), x y m (x; y )
2n . , y m (x; y ) m (x ) ( , ), mn (x; y ) = m (x; y ) n = KP (x ).

mn (x; y )mn (x; z ) :
hx; y; z i 7
2n
n >KP (x )
n = KP (x ). ,
mn (x; y )mn (x; z ) 6
y mn (x; y ) z mn (x; z )
6

n
2
2n
x;y;z n >KP (x )
x n >KP (x )
6 2n 6 2m (x ) 6 2:
x n >KP (x )

( , |
.)
113 , 26 (. 58) O (1):
2 KP (x; y; z ) 6 KP (x; y ) + KP (x; z ) + KP (y; z ) + O (1)
x; y; z . [: KP (x; y; z ) +
+ KP (z ) 6 KP (x; z ) + KP (y; z ) KP (x; y; z ) 6 KP (x; y ) + KP (z ).]
114 , c x n
y n ,
KP (x; y ) > KP (x ) + n c:

[: z n y n , KP (y | z ) >
> n .]
,
x n (
45 . 51):
71.

max{KP (xy ) | l (y ) = n } > KP (x | n ) + n O (1):

, c x n
x n , n c ,
KP (x ), KP (x | n ).

4.7.
J

129

,
2n min{m (xy ) | l (y ) = n } 6 m (x | n ) O (1):

{m (xy ) | l (y ) = n } (
, ).
n ( x ) ,
. I
115 , KP (x ) KP (n )
KP (x | n ) 114.
4.7.4.

( 65). . ,
:
72. KS (x ) i ,
KP (x | i ) = i . , KP (x | KS (x )) = KS (x ) + O (1);
, KP (x | i ) = i +  , KS (x ) = i + O ( ).
J 43 (. 50), KS (x ) 6 KS (x | KS (x ))
O (1). , KP (x | KS (x )) 6 KS (x ) .
,
( ).
. , i 7 KP (x | i ) : i d O (log d ).
i KS (x ), ,
i KP (x | i ). I
, ,
.
:
KP (x ) = KP (x; KP (x )) = KP (KP (x )) + KP (x | KP (x ); KP (KP (x )))

O (1). O (KP (KP (KP (x )))),

hKP (x ); KP (KP (x ))i KP (x ) KP (KP (x )),

KP (x ) KP (KP (x )) = KP (x | KP (x ) KP (KP (x ))) + O (KP (3) (x ))

( KP (i ) (x ) i KP ). , ( [159]):
73.

KS (x ) = KP (x ) KP (KP (x )) + O (KP (3) (x )):

, KP (x ) KS (x ) KP (KP (x )) + O (KP (3) (x )).

130

4.

, KP KS ,
KP (x ) KS (x ) = KS (KS (x )) + O (KS (3) (x )). O (KP (3) (x ))
O (KS (3) (x )) | , KP (KP (x )) KS (KS (x ))
. , ,
KP (x ) KS (x ) ,
|KP (KP (x )) KP (KS (x ))| 6 KP (3) (x ) + O (log KP (3) (x ))

|KS (KP (x )) KS (KS (x ))| 6 KP (3) (x ) + O (log KP (3) (x ));

. , KP (y ) KS (y )
y = KP (x ) ,
KP (KP (x )) KS (KP (x )) = O (KP (3) (x )):

, x (
) O (KP (3) (x )). ,
KP (KP (x )) KS (KS (x )) = O (KP (3) (x ));

, |u v | = O (KP (u )) |KP (u ) KP (v )| =
= O (log KP (u )). , KP (KP (KP (x ))) KP (KS (KS (x ))) , a b |a b | =
= O (log a ). , ( ) ( O -). , KS (v ) KP (v ) ( v , v = KS (KS (x ))),
KP (KP (KP (x ))) KS (KS (KS (x )))
O (KP (3) (x )) O (KS (3) (x )) | .
, [159]:
74.

KP (x ) = KS (x ) + KS (KS (x )) + O (KS (3) (x )):

, 65 (. 117) .
116
KS (x ) 6 KP (x ) KP (KP (x )) + KP (3) (x ) + O (1);

, .
[. ( 64, . 116), ,
KP (x ) 6 n , n KP (n ) + c n .
, ( n ),
, n .

4.7.

131

n KP (n ) + c ( , ). ,
n KP (n ) ( c ),
n KP (n ),
KP (KP (n )).
, ( x KP (x ) 6 n ,
n ) KP (KP (n )) + n KP (n ) + c ,
x .]

5.

5.1.

4,
(), . ,
.
, (
).
, , :
while true do
b := random;
OutputBit(b );
od

(
) . (
, ).
A ,
:

a (x ) = Pr[ A x ]:
, .
A A (
) . , A(!) , ,
! ( b := random !). ,
, A(!) = !.
a (x ) x
A ( x , x ).
132

133

5.1.

A a A , (
).
, .
117

75. A | ,
. :
() a (x ) > 0 x ;
() a () = 1 ( );
() a (x ) > a (x 0) + a (x 1) x ;
() a .

4.1 (. 87) . :
a (x ) = limi a (x; i ), a | , a (x; i ) x i , (
) i .
J :
() .
() a () = 1, .
() a (x ) > a (x 0) + a (x 1), x 0 x 1
x .
, () :

a (x ) a (x 0) a (x 1)
, x
.
() a ,
a (x ) x .
A .
,
x , , A
x - x . a (x ) , a (x; i )
, i . I
a , ,
() { () 75, ( ). , () { (); ()
.
(
): ,

134

5.

- ( ) . , , .
118 , ( () { ())
( ) . x . [: a | ,
n

n = {a (y ) | y x n }:
n n > l (x ) a (x ) n = l (x ).]
119 , x a (x )
. [. , .]
75 :
76.
.

J , 46 (. 90). , . (
0 1)
( [0; 1]),
,
.
( 0
00 01, 1 10 11),
, .
,
( ).
000, 001 :
x ( ) ,
a (x ), a | .
.

: ,
x , , x (
).
, ,
. ( ).

1. a | .
i
hx; i i 7 a (x; i ), x

5.1.

135

i , | - ,
limi a (x; i ) = a (x ) i x 7 a (x; i ) ,
.

, ,
:
- ( k=2n k n );
;
( ).
. a
( ).
, -. ,
a (x; i ) -
2i ( ).
, a (x; i ) = 0
x i .
, ,
a (x; i ) := max(a (x; i ); a (x 0; i ) + a (x 1; i ))
. a (x )
, a (x; i ) 6 a (x ).
, ( limi a (x; i ) x )
. 1 .
,
. - .
. (, z ,
z . , ,
.)
Ax , x , ,
, , x Ax 0 Ax 1 Ax . x 7 (Ax ),
 | , .
2. , .
. ,

-.
Ax Ax 0 Ax 1 (
). , . 2 .

136

5.

3. b (x ) Bx . c , c (x ) > b (x )
x . Cx ,
c , Cx Bx x .
. 2,

, ,
. , .
3 .
2 3 ,
.
3 , i = 0; 1; 2; : : : a (x; i ).
U (x; i ),
U (x; i ) ( )
x i ;
U (x; i ) a (x; i ) ( a (x ) i );
x i U (x 0; i ) U (x 1; i ) U (x; i );
U (x; i ) U (x; i + 1) x i .
, a ,
: U (x; i ) x i , !. , ! U (x; i ) - x i ,
x .
, ! U (x; i ), U (y; i ) y x . , !
U (x; i ) U (x 0 ; i ) x
x 0 (, ).
.
x
, ! U (x; i ) i = 0; 1; 2; : : : ;
U (x; i ), a (x ),
. I
75 76 ,
,
.
, (
). ,
. , :

5.1.

137

77. ()  | .
p , p (x ) = (x ),
, p (x ) = p (x 0) + p (x 1) x .
() p p (x ) =
= p (x 0) + p (x 1) x ,
.

, p () = 1;
, p (),
.
J ()  , an | 1=n , bn = an 1=n
2=n . , bn
(),

cn = max(b0 ; b1 ; : : : ; bn )
, . , . x ,
, .
x x 0 x 1 ,
p (x ) = p (x 0) + p (x 1) ( ).
() p | , p (x )= p (x 0)+ p (x 1)
x . x , p (x )
. p () 1 . p (x ) ,
p (x 0) p (x 1), , p (x 0) p (x 1) ()
p (x ). , p (x 1) ,
p (x ) ( ) p (x 0). I
.
, , p ( ,
x , p (x )).
76 77 , , ,
.
,
, 76. ,
[0; 1] p (0) p (1).
p (00) p (01), | p (10)
p (11) . z
z p (z ); z z
[0; 1].

138

5.

,
 . (
).  z ,
 z (
 z ,
).
z (
 , z ). , .
, ,
 z , , 0. z
,  z ,
.
, T   = T ()
p .
( .
[0; 1] ,
, 0 1 , , 2=3 1=3, 2=3.
[0; 2=3] [2=3; 1]
2 : 1. .)
76 , , , (
)
. , (
) :
120 , 75
. [:
.]
121 , 76
,
. [. P
, z P -
x , z Ix (,
x ).]
: , A , .

5.2.

139

,
.
, , , ;
,
. . . [188] ,
. [193]. .
5.2.

78.
( ) a :
a 0 a 0 (x ) 6 ca (x )
c x .

J N ( 47, . 92),
A , , . a 0
A 0 , a 0 (x ) 6 (1=")a (x ), " | ,
A 0 . I
, a0 ; a1 ; : : : ;
a = i i ai , i |
1 (, i = 2i 1 ).
,
, u (i; x ), : (1) i ui : x 7 u (i; x ) ; (2) ui
.
, ( ),
, .
( 4.2, 92),
. ( , p (x ) > p (x 0) + p (x 1) p (x ), , p ()
.)
122 .
( : 78 ,
. ,
x ( p (x )), x ,
p (x ) p (x 0) p (x 1),
, .)
123 , , ( ) ,

140

5.

( ).
.
124 (.) m |
.
, 1
4,
( 78).
125 , a (0n 1) m (n )
, a | 78, m (n ) |
n 4. ( 0n 1
.) [: .
79.]

a (x ). . a (x ) x (
), 4.
, .
KA (x ) = log a (x )

x . ( , 4 .) , (
).
KM (x ) ( , , Km (x ) Km (x )).
.
,
( ) .
O (1),
log a (x ) n , 2n < a (x ).
: ,
.
, ( ) .
5.3.

79.

() : x y ,

KA (x ) 6 KA (y );

5.3.

141

() KA (x ) 6 l (x ) + O (1) x ;
() KA (x ) 6 KP (x ) + O (1) x ;
() x0 ; x1 ; : : : | (
), KA (xi ) = KP (xi ) + O (1) = KP (i ) +
+ O (1);
() KP (x ) 6 KA (x ) + 2 log l (x ) + O (1);
() , KP (x ) 6 KA (x ) + KP (l (x )) + O (1);
() , KP (x | l (x )) 6 KA (x ) + O (1);
()
, ;
() f : N | , KP (f (x )) 6
6 KA (x ) + O (1) x , f (x ) ( ).
J () .
() p (x ) = 2l (x ) ,
p (x ) 6 ca (x ) c .
() , ( ) , , . m (x ) 6 ca (x ), m |
4, .
. m 0 (x )
m (y ) y x , m | . ( m 0 () = 1.) m 0
m (x ) 6 m 0 (x ) = O (a (x )).
() xi | ,
a | ( ),
i 7 a (xi ) N. , , xi , .
KP (i ) 6 KA (xi ) + O (1).
, KP (xi ) = KP (i ) + O (1), i xi ; , KA (xi ) 6 KP (xi ) + O (1) ().
() a | .
u (x ) = a (x )=l (x )2 . a (x ) n
1, ,

a (x )
1
u (x ) = n 2 6 n 2 = O (1);
x
n l (x )=n
n
.
() , u (x ) = a (x )m (l (x )),
m | N.
()

u (x; n ) = a (x ); l (x ) = n;
0;
l (x ) 6= n:


142

5.

n x 7 u (x; n )
( 1), .
() !
( ) ,
!. 1 , ( )
.
.
! " > 0.
B , a (x ) > ". B
!. ( ). , ,
, 1=" ( 1).
, B ( a (x ),
x , a (x ) > ").
, , ! . , x1 ; : : : ; xN B . xi , B . ( xi
N ). B
xi , ( B ). !
( ! xi ,

N ).
() 4, f
,
, N ( KP +O (1)). I
, ( ) . , ,
, ,
.
126 , x ,
x R ( ) | .
(: c , n x KA (x ) < c
KA (x R ) > n .) [: x ,
.]
( ) , , .

5.3.

143

n O (log n ), ,
, , , ,
, | .
127 , x KA (x 0)
KA (x 1) KA (x ) + 1. ( , KA (x )
log a (x ) .) , x n N
y n , KA (xy ) > KA (x ) + n . ,
!,
.
(. 71 . 128 45 . 51; , n
O (1).)
128 , KS (x ) KA (x ) KA (x ) KS (x )
log n n ( n ). [. KS (x ) KA (x ), .
,
KA (x ) = l (x ) + O (1), KS (x ) , . 53.]
129 ,
KA (xy ) 6 KP (x ) + KA (y ) + O (1);

xy | x y . , : , .
[. U | 4,
(), V |
, .
, U , V (
). , KA (yx ) ,
y = 0n x = 1.]
.  .
c x
KA (x ) 6 log (x ) + c:

,  (
) ,
.
() ,
-: !  , x
, log (x ) KA (x )

144

5.

(
).
{ ( ) 5.6.
( 5.5),
( 5.4).
, | ,
8 (. 28) 62 (. 115)
. , :
80. KA
K :

2K (x ) 6 1

x M

x M , x .
, K ,
.
, ( ) 2K .
, 2K , x ,
x 0 x 1, , . |
, . , a (x )

2K (y )
J

y M

M x . , ,
2K , . I
130 b : [0; 1],
: a , b (x ) 6 a (x ) x .
() , .
() , , , .
5.4.

4 ,
, , | ( ).
, : ?

5.4.

145

, ,
. (. 5.5) ,
.
(), ( ) , :
, , , , .
, (
) . , ,
( ,
).
5.4.1.

f : , . , :
(1) : x y , f (x ) f (y );
(2) f !
( ) f (x )
x .
x 4 y x y ; , x; y , .
x 4 y x , x = y . (1) f 4 .
, f (x ) x !
; ( 4-) (2) f (!).
131 , , 4.4.3 (. 103). [: . N .]
f : `f , f ;
hx; y i, x; y , y 4 f (x ). : f `f
:
(1) hx; i `f x ;
(2) hx; y i `f , hx 0 ; y 0 i `f x 0 < x , y 0 4 y ;
(3) hx; y1 i hx; y2 i `f , y1 y2 (
).

146

5.

, , , , . ,
.
81. f 7 `f ,
(1) { (3).
J F , (1) { (3). (1) { (3) , x y , hx; y i F , . (
) f (x ). (2) ,
x 4 x 0 f (x ) 4 f (x 0 ) ( x y
). f (!) f (x )
x 4 !. f
. , F 7 f
f 7 `f . I
f : , `f . ( .)
,
- . ,
() .
5.4.2.

,
( ,
). 4.4.2,
. 101. , ,
OutputBit(b ) .
, , ,
( 0 1), . , (
, ).
.
82. ( );
.

J M x x 0 , x 4 x 0 . , M (x ) 4 M (x 0 ), M (z )
M z ( , ,

5.4.

147

z ). x
( x = x 0 ). x . x
, M (x ). , M (x ) ,
x 0 . M (x 0 )
M (x ).
, ! M (!) M (x ) x 4 !,
!.
hx; y i, y 4 M (x ), ,
, M . , (
) .
, f .
M , . , M `f . `f
hx; y i, x , y ( (2) (3) ,
y , ). I
5.4.3.

, ( ) : , ,
. : , .
, |
,
,
.
83. U hn; x; y i (
n | , x y | ) :
() n Un = {hx; y i | hn; x; y i U } un : (
(1) { (3) 81);
() un
.

J W , Wn . W , Wn . ,
(1) { (3) ( 81),
.

148

5.

: , . hx1 ; y1 i hx2 ; y2 i,
x1 x2 , y1 y2 . ( , .) :
, ( ).
. : hx; i; hx; y i,
hx 0 ; y 0 i x 0 < x y 0 4 y .
; , . I
, ,
.
5.5.

() D : . x D
y , x 4 D (y ). KM D (x ).
( x , ,
.)
132 , .
84. , D : , KM D
: D 0 : c ,

KM D (x ) 6 KM D 0 (x ) + c

x .

J U | ,
( 83, . 147). Dn | , Un . D

D (^n z ) = Dn (z );
n^ | n (,
, 01), z | . : hn^ u; v i, hn; u; v i U . ,
D 0 n ( D 0 Un ), KM D (x ) 6
6 KM D (x ) + l (^
n ) x . I
0

5.5.

149

, ( D ,
) x KM D (x ). :
KM (x ). ( , , [83], Km (x ), KM (x ) , KA (x )
.)
85. () : KM (x ) 6 KM (y )
x 4 y;
() KM ;
() KM (x ) 6 l (x ) + O (1);
() KM (x ) 6 KP (x ) + O (1);
() KA (x ) 6 KM (x ) + O (1);
() , ;
() f : | , KM (f (x )) 6 KM (x ) +
+ O (1) ( O (1) f , x );
() f : N | , KP (f (x )) 6 KM (x ) +
+ O (1) ( O (1) f , x ).

( 79, . 140). ( ()),
. , , KP (x | l (x )) 6 KM (x ) + O (1)
KP (x ) 6 KM (x ) + KP (l (x )) + O (1). , ,
O (1) | : x0 ; x1 ; : : : | , KM (xi )= KA (xi )+ O (1)=
= KP (xi ) + O (1).
J () : D (u ) < y ,
D (u ) < x x y . ,
, , (
).
() : , hx; y; r i,
l (y ) < r hy; x i D , , KM .
(), ,
, D (x ) = x x , .
KM KP ( () ), , N
( N : ). , D | ,
KP , , -

150

5.

, D ,
.
KM KA ( () ) , : ,
, . D |
, . , D . ,
x - . , 2l (y )
y , D (y ) < x ,
2l (y ) , y , D , x . (
KM KA . 87 .)
() 79, : ! ,
, ! .
() , f (x ) ( , f (x )). ,
( )
f .
, () , f
. , . I
133 , KM (xy ) 6 KP (x ) + KM (y ) + O (1) ( xy | x y ). , KM (xy ) 6 KP (x ) + l (y ) + O (1). [.
Dp Dm . D 0 (uv ) = Dp (u )Dm (v ) ( Dp
, ,
Dm ).]
134 , KM (y )
KM (y | x ),
( x ; . 6).
135 , () , KM
KA ( ). [: f
; ,
.]

(, , ) . . , . : x y , x 4 y

151

5.5.

y 4 x . D ,
: x1 ; x2 ; y1 ; y2
hx1 ; y1 i D; hx2 ; y2 i D

(x1 x2 )

(y1 y2 ):

y D x , hx; y i D ,
.
136 , ,
. [.
. , D , (. 83)
.]

( D ,
), KS
KM . : x D
hx; y i y ; , y , -
. . ,

(, KM (0n ) , KS (0n ) = KS (n )
n ).
, : x
- y , x
, y . . , ( ): ,
log n
n .
( , ,
O (log n ) n ),
:
86. KS (x ) KM (x ) O (log n )
n log n O (1) n
n .

6. :
87. KM (x ) KA (x ) ; ,

n n ,
log log n O (log log log n ).

. [35], . ,
[44].

152

5.

,
.
, KM (x ), KA (x ) f : . x .
KA KM , , | y ,
. , KA f 6 KM f , , . ,
.
. [0; 1] , . 46
(. 90) 58 (. 107). N - , , | .
.
, . -
( , ) .
5.5.1. {

:
. , -

d > 1. ,
( ).
, |
1=d .
;
. , .
( x ). , , , , . ( ,
.)
. .
( ), .
. , . | :
i .

5.5.

153

( , ,
.)
, - ; , ,
.
, : - ,
, .
,
| , . . , ( ,
).
88 ( { ). d > 1 T O (d )
Od

2O (d )
.1 ( , , ,
d , .)
O (d ), , .
,
.
, { 87.
, .
, : , 2n
n (
). { O (d )O (d ) ,
.
d = 2c , c | . {

2O (c 2c ) .
,
f :
. ,
hy; x i, x 4 f (y ), y x ,
x
y x (
x 2O (c 2c ) ). , , (
,
). ( ) , ,
. ( ,
( )

O (d )
O (d )
2O (d )
2d
. ,
d = 1 2, .
, d = 1 2,
O (d )
2d
.
1

154

5.

, : ,
, , ,
| .)
,
. , x , 2O (c 2c ) ,
2 KM (x ) . ,
c : x x .
, x KM (x ) > log c (x ). c 2c =c 2 . ,
"c (x )2c =c 2 ( " c;
x ). ,
c x 2O (c 2c ) ,
KM (x ) > KA (x ) + c 2 log c O (1):
n . c log log n O (log log log n ),

KM (x ) > KA (x ) + log log n O (log log log n ):
,
n , n .
137 , n :
x n KM (x ) KA (x ) log log log n .
,
. [: -
,
- , .]
J { . ?
( )
. : , (
), .
,
|
, , , . ,
,
.
, "- . " 6 1, . "- X
",
X . , (, k );

5.5.

155

1, 1=k
.
, , , "-
 . ( ,
.)
, , :
, ;
", , ;
 ;
 ( "-
).
, , "- ( | )
 , .
1. " | ,  = ", 
 . ,
: ; ,
"- ".
, ( =) ,  . ,   ",
,
( ).
, k ,
k . k 6 =
, ,
,
.
2. T m ,
( ). " | ,  =  = m",
k = 3=2 ( k : , ,
, m" ).
.
,
"=2. ( ; .) ,
( "=2
"),

156

5.

( ). ,
, "=2 |
" " (
; ). ,
: "=2
", " (3=2)".
3=2.1

k . ( | , .) T
T1 T2 . T1 - 1 ; 1 ; "
( k ) ( , ),
T2 2 ; 2 " k .
: T1 , ( ),
T2 . ( ,
T1 T2 , .) 1 + 2 ,
. , ,
, : "-
"- . , - , ,
.
, "1 "2
"1  "2 . "1 , "1 -
T1 . , ( , ). ,
: T2
"1 - T1 , T1 "2 - T2 , . ,
, - A ,
. .
:
T , ;
A ( );
1
, 3=2 , "=2:
, ". , , (
),
. , "=2,
" , . ,
.

5.5.

157

 (, );
" (, );
() ;
 ;
k .
T ( ),
 , .

, , A . , ("-  - A )  ,
k ( ,
). , ",  .
 ,  k .
:

. T1 "1 ; 1 ; 1 ; 1 ; k1 ,
T2
"2 ; 2 ; 2 ; 2 ; k2 . "1 = 2 k1 = k2 ( k ). T ,
T1 T2 ,
"2 ; 1 ; 1 + 2 ; 1 + 2 ; k .

( )
(=) .
, ,
: , (
). , ,
. "
 : "
(  ). ,
, - .
, , .
, =k .
, - ,
, ( ).
3. ,
k > 2. 2, "=2
2.
, 2.  ",  , 2,  = "=2 A

158

5.

 ()  1;5.
,  = "=2
. m = =" ,
. , 2 , ".
, ":
, . ,
, 2 .
( , ), , " . "
, "
( k > 2, "-
).
2.
k > 2 ",  = m"
 ,
,  = m".
? m , . . , ,
12 ( ). ,
- ,
: 2,
4.
, , , ", - ,
( )
. , | , (1) (2) ,
". ( )
( , )  = "=8.  , ,
=1;5 = "=12 (. ). ,
( , , A ). , ,
| : - (7=8)" ,
", , , ".
"=12,
.
(12m ).

5.5.

159

? , .
" .
, , ( );
, , . : ,
- , . ,
| k = 20=9 > 2,
.
: - . (3=2) , ,
(3=2) + m" + m ("=8) . ( , 3=2 , 8 ,
, ).
, 6 m"
h3
i 20 h
"i

+ m" >

+m
2
9
8
( , ). ,  =  = m" k = 20=9 > 2 .
.
k = 20=9, (
6 | , ).
, , k 1.
, " "=8,
( ) , m"
k . ,
m",
, , .
, , (
)
". , O (k )
k ,
( ).1
.
k > 1 , " 6  6 1  6 " ,
"; ; ; ; k
4(k 1).
1
. k , =:
1 1=d . . ,
k = 2d  = 1=4d
, 1=d 1=4d ,
 = 1=d  = 2d (1=d 1=4d ) = 3=2, .
4(2d 1) + 1.

160

5.

(k = 1) . : k k + 1=2. 3
4(k + 1=2 1), k , (
4(k 1)). 
, ("=6k; "=3k ].
( , .)
, "=6k 2 ,
| 6mk 2 . , ";  . ,
| 6k 2 .
, , . , -
. k , , k + m" + m ("=3k ) .
6 m", k + 1=2 :
k + m" > (k + 1=2)( + m"=3k );
.
, 4(k 1) , "; ; k .
88. , . "; ; k
=" . , . ,
0 ="0
0 "=3k "0 , .
"0 ,
(=")6k 2 " 7  .
, "0 ".
, ,
( , ,
, ).1
1
, k "=
fk (=") k =". fk +1=2 (=") (=")6k 2 f( 0 ="0 ). "0 0 ,
| "0 fk (1) "0 , fk (fk (1)) . (=")6k 2 -
fk 1.
fk +1=2 (=") 3k fk (1) fk (fk (1)) fk (fk (fk (1))) : : :
( (=")6k 2 , "0 "=3k ). , f3=2 (=") 2 (. 2).
f2 (=") =": f2 (=") > 2=" , f2;5 (=") ,
=". ( 3 , k 1, |
k .)

5.5.

161

, ,
. O (k 2 ) ( O (k 2 =")). , =".
k + 1=2- , ,
, , . ,
, ,
( )
. , |
,
. ( .) |
, .
.
: ,
. , ( |
, ).
, ( , k
, 1/2), . |  . ,
|
(
, ). :
(3=4)=k , ,
, , (3=4)=k .
,
", ", ". ,
.
, k + (3=4)m" k + m",
( , ,
m ), , | + m"=3k . , "=3k
,  . k + 1=2,
| "=6k .
, . :
,
m"=k 2 . m",
O (k 2 ).
, , .
, k; "; ; ;  , T
A , l . "; ; A . 

162

5.

,  | l . , k

.
, . k; T; . ,
"1 ; 1 ; ; 1 ; k A ( T ) .
"2 ; 2 ; ; 2 ; k ( , A ) , , .
"1 = 2 . "2 ; 1 ; ; 1 + 2 ; k
A .
k
" 6  6 1,  = (3=4)  6 "
4(k 1), . "; ;  . l A .
(k = 1) . k k + 1=2: , =" , | O (k 2 ) (
). .
" , " "=6k . , , .
, .
k , 
("=12k; "=6k ].
, .

(3=4)m ("=12k 2 ), m | .
m" | ,
" ( ",
).
O (k 2 ). , ,
=" .
, (3=4)m", .
.
, , . k
, , k + (3=4)m" + m ("=6k ) . 6 m",
k + 1=2 :
k + (3=4)m" > (k + 1=2)( + m"=6k );
.

163

5.5.

, k =" (, ).
(. ),
 ". k ,  ck ", ck
k , ck .
k = 1  = ", c1 = 1. k + 1=2
O (k 2 ) k -. "=
" "0
( 12k ,
0 "=12k "0 ). ,

ck +1=2 = O (kckO (k ) );
2

ck = 2O (k ) k .
T , k =". ,
k + 1=2- =" O (k 2 ) .
O (k 2 ) ( , ).
0.
0 "0 . ,
 ". , k - 0 "=6k "0 , "=ck +1=2 .
6kck +1=2 . , k .
, k -
4( 1)

max{="; O (k 2 ); 6(k 1=2)ck } = max{="; O (k 2 ); 2O (k ) }:

k .
{ . d
.  = 1=d -  > 1, T .

k = 2d  = 1=4d T ,
1=d 1=4d .
1=d , 2d (1=d 1=4d ) > 1.
, (3=4)(1=4d )(1=k )
O (d 3 ). O (d 3 )
. 2d -  = 1=4d " = (1=4d )=c2Od(d )
O (d )
k

4( 1)

max{c2Od(d ) ; 2O (k )
{ . I
3

4( 1)

} = 2 O (d )

O (d )

164

5.

138 , { d=4: ( )
, .
KM KA : KM (x ) ( KP (x )) KA (x )
O (log n ) n . . ,
, n KA (x ), .
139 , KM (x ) 6 KA (x ) + O (log KA (x )). [. : KM (x | KA (x )) 6 KA (x ) + O (1). ,
KA (x ) = k , x
k + 1. (
) 2k +1 ,
2k +1 , .
. 127, . 218.]
5.6. {

,
p KA (x ) 6 log p (x ) + O (1). , p , KA ,
(, ) KM .
89.  |
p (x ) = (x ). c ,
KM (x ) 6 log p (x ) + c
x .

J : KM KA - [0; 1] .
- , , , , .
, , .
, |
.
x x | [0; 1],
(. . 5.1):
x p (x );
 = [0; 1] ( | );
x x x 0 (
) x 1 ( ).
x
: Ix ,
x . Ix .

165

5.6. {

p (0)
0

p (00)

p (01)

p (1)
p (10) p (11)

. 5.1. x .

G hx; y i, ()
Ix y . G :
p , y ,
( ) ,
. , hx; y i G ,
x ( Ix )
y ( y ). hx; y1 i G hx; y2 i G ,
y y ( Ix ),
y1 y2 . 81 (. 146)
, G .
D . KM D (y )
,
y . , () h
h=4, . I
140 , . [. u | , h=4 6 u <
< h=2. h u , .]
89 ( . . ).
, ,
.
log p , p | . ( )
: ,
(
), .
, ;
- 0;5,
0;3,
. ,
; , , ( ,
).
1

166

5.

(arithmetic coding) (
, 1970- ).
( -) ; ,
.  |
p (x ) = (x ).
90 ( { ). ! -

 ,
log p (x ) KM (x ) 6 c

! .

J . ,
! log p (x ) KM (x ) , ( {!} ).
c . x ,
log p (x ) KM (x ) c . ( , |
, ; ;
14.) Dc .
Dc ( p , KM , ).

1. , Dc , 2c ( ).

, , 
2c (
). .
x
x Dc . x Dc ,
x , Dc . x0 ; x1 ; : : : (
, ,
).
xi pi (
: xi 4 D (pi ), D : | ). l (pi ) = KM (xi ) < log p (xi ) c . , pi
( xi ). i 2l (pi ) 6 1 ( pi ).
p (xi ) 2c , . .

5.6. {

167

! c . , (
) {!}
- 2c , Dc .
, , ( , ). Dc ,
2c ( ), ,
c
2
. , Dc
, .
:

2. x0 ; x1 ; : : :
, S
i xi . (,
,
).

, , ( ). y , ()
x ,
y \ x y , .
2 .
2
; , Dc , . ,
( 1) - 2c .
{ ,
,
( ) . :
, ( ).
. ! ( ) U . c
U x ; x ; : : : ; 2c .
2c , . pi = 2c (xi ) 59 (. 111),
, i log (xi ) c + 2.
i 7 xi Dc ,
KP 0Dc (xi ) 6 log (xi ) c + 2:
( Dc , c .) ,
0

168

5.

( c ), .
.
,
c^u v , u v Dc . c^ | c O (log c ).
D ,
c :
KP 0D (xi ) 6 log (xi ) c + O (log c ):
,
KP 0D (xi ) KM (xi ) , xi ( c )
c O (log c ).
U
c ,
.
{ . I
141 , ( , ) P , | .

. :
91. KM (x ) KA (x ).

J ,
; . 1,
i 2 KA (xi ) 6 1,
xi . I

92. KM (x ) KP (x ).

J , , , , .
. I
( { ) (., , [83];
[11]).
( ) , (.
). , ,
, , : , log (x ) x ,

5.6. {

169

(
), . 63, . 116.
,
:
93. ! ( - ) , log p (x ) KM (x )

, .

J : xi
, xi pi , pi ( xi ) log (xi ) c . , ( i )
pi xi , , 89
(. 164).
KM (xy ) 6 KP (x ) +
+ KM (y | x ) ( 134) 89, , KM (y | x ) 6 log x (y ) , () x . x ,
x , x (y ) = (xy )=(x ).
( log (x ) = l (x ))
, pi z xi z
z . I
, :
142 A | ( ), ! | . KP (x ) > log (x ) c c
x !, A ,
! . [. 90 92 .]

-. ,
:
( ),
. ,
, ,
.
F | , ! |
. !(F ) ! F ,
, !i i F ( ).

170

5.

 . F
Z , F ,
!(F ) = Z . F;Z .
143 , ! ( -) , c ,
KP (F; ! (F )) > log F;!(F ) c
F .
[. ,
c , 2c ,
F; Z , 2c .]
(, F | , F !(F ),
.)
, . , , .
144 F0 F1 F2 : : : |
, N.
! c
KP (Fi ; ! (Fi )) > log Fi ;!(Fi ) c
i , ! -
.
[: , Fi | . 142:
{ , ( ).]
, ,
( Z2 {0; 1}) -
( , ) ,
N N ( N )
N 2 O (1).
, { . ,
(. 3.5):
145  | . ,
t (!) = m((xx))
x 4!
( x !; m (x ) x , (x )
x ) .

5.6. {

171

[.
.

,
. u
, x (x )u (x ) 6 1.
m (x ) 1=(x ). ,
(x ) = 0 x m (x )=(x ) .]
146 ,
( )
. (,
supn [n KP (!0 : : : !n 1 )].)
[. ,
a , , a
. t
t (!) = tk (!), tk (!) = 2k , t (!) > 2k ,
tk (!) = 0 . tk , ,
.
O (1)-.]
[43].
145,
\ample excess lemma" [103].
147 (a) , !
, log (x ) KP (x )
!,
. , KP (x ) 6= log (x ) + c
c !, .
() , KP (x ) 6 log (x ) + log l (x ) + c c
!,
.
[: \ample excess"
( 145).]
,
147 (
(!)n !, n ):
94. () : x
KA (x ) 6 KM (x ) + O (1) 6 l (x ) + O (1):

() : ! ( - ) ,

172

5.

:
KA ((! )n ) = KM ((! )n ) + O (1) = n + O (1):

() ( - ) ! n KM ((! )n ), n KA ((! )n ),
.
() ! ( - ) , KP ((! )n ) > n c c
n . KP ((! )n ) n + n . ( ,
KP ((! )n ) n
+ ; .)
() ! ( - ) , KP (F; ! (F )) > |F | c c
F .

(): ! , n 2n KP ((!)n ) ( 145).

- , ,
( ).
, (. [103]), 1960-
(. [194, 97]),
, .
95. f : N N | 2f (n ) . ! | ( - )
.

KS ((! )n | n ) > n f (n ) O (1)

( c , n KS ((!)n | n ) >
> n f (n ) c ).
J . , c
n ,
KS ((! )n | n ) < n f (n ) c:
, c , !
x ,
KS (x | n ) < n f (n ) c;

n | x . n 2n f (n )c ,
2f (n ) 2c n
c

2 (n )
f

5.6. {

173

. !
: c ,
. , . (, 2f (n )
; ,
.) I
. , f (n ) = KP (n ):
! KS ((!)n | n ) > n KP (n )
O (1). 98, .
95 , , (
) n 2 log n
O (1) n log n 2 log log n O (1),
.
f ,
. , f
.
96. f , n 2f (n ) < ,
: !
c n

KS ((! )n | n ) > n f (n ) c;

.

( - )

J , ( , ) . (,
f ) .
? , ,
". F | ( u u F ). F
( ) n , n . f
, 2f (n ) . ( f (n ) , ,
. .)
n 2f (n ) ". ,
F 2n f (n ) n
( n ) ,
n f (n ) , F .
F .

174

5.

? . " > 0
",
f n 2f (n ) 6 ". -
" . .
c = 0; 1; 2; : : : 23c
f , 2c .
c fc ,

2fc (n ) < 2c
n

( 23c 2c , 2c ), Fc , 2n fc (n )2c n ,
Fc .
f (n )
2f (n ) = 2fc (n ) ;
c

2f (n ) = 2fc (n ) = 2fc (n ) 6 2c 6 1;
n

n c

c n

f (n ) 6 fc (n ) n c . , Fc c (
), x n Fc ( n c ) ,
n fc (n ) 2c :
KS (x | n; c ) 6 n fc (n ) 2c + O (1);

KS (x | n ) 6 n fc (n ) 2c + O (log c ) < n f (n ) c

x Fc n ( c ).
! | . ,
( c ) Fc ; n | ( c
),
KS ((! )n | n ) < n f (n ) c;

.
, , | ,
f , Fc (
,
). , , ,
z zt ,

5.6. {

175

t .
fc | ,
.
n n ,
.
c , c 2fc (n )
n .
, : f
, . I
, ( ) . . ,
KS ((! )n | n ) KS ((! )n )
KP ((!)n | n ).
, , 96. : , A x A
KP (x | A ) 6 log2 |A | + O (1) ( log2 |A |).
n ( , ). x Fc ,
n , Fc;n
n Fc , Fc (
). , ,
log(|Fc;0 | + |Fc;1 | + : : : + |Fc;n |);
, |Fc;n |
(
). , ( ). ,
c , c , (
O (log c )).
:
97. ! ( - )
,
n 2f (n )

KS ((! )n ) > n f (n ) O (1):

{ .
, f .
( f ,
; 96),

176

5.

- f . ,
:
98. ! ( ) ,
KS ((! )n ) > n KP (n ) O (1):

n 2f (n ) ( f ), KP (n ) 6
6 f (n ) + O (1). ! , 97.
, ,
95. I
, KS ((!)n ) KS ((!)n | n ) ( ).
148 .
[43] (c. 391).
149 , 96 f (n ) = 2 log n . [.
95 , ! KS ((!)n ) > n log n 2 log log n O (1). ,
, , KS ((!)n ) > n 2 log n O (1), . ,
2f (n ) .]
, , :
f , KS ((!)n )
n O (1) ( )?
, ,
-, : , n , k ( k ). n k + 2 log k + O (1) ( k
2 log k ), k 2 log k O (1). k ( k ),
n n + O (1)  < 1.

(. [194, 97]):
J

99. c , ! n

KS ((! )n ) 6 n log n + c:
J n n ,
1=n n . ,

5.6. {

177

.
? 1=n ,
, . (
) |
, . ( , , 2n =n | ,
.)
n ( n ) , n log n .
( n ) n log n + O (1). ,
, (
2,
O (1) ).
. I
150 , : k N ( ,
), N k + N .
151 , c ,
c ( ). [. 2f (n ) ,
f , :
g , g (n ) f (n ) 2g (n ) .]
152 , 99 ( )
f , 2f (n )
.
- [97] ( ) f . (
-) [194]. (
, .)
, 95 [97]
:
153 , ! ( - ), f 2f (n ) , KS ((! )n | n ) > n f (n ) n , . [.
, ,

.]

178

5.

,
( ) , ?
- [97] :
154 , ( ) ! c , KS ((!)n | n ) > n c n .
[: , c N ,
n n c . c N
2c ; N N 2c .]
155 KS ((! )n | n ) > n c c n . ! - ( ). [. !
2c , ( )
,
, 2 log c + n c .]
156 , ,
KS ((!)n ). [:
6 , , 54.]
, ,
- . ( , ,
- | .)
, | ,
, - 00 . 2- (
- , , 1-). 2- : , KP ((!)n ) n + KP (n ) c
c n . . [101, 126]; [9].
5.7.

.
m |
(, m (x ) = 2 KP (x ) ,
, . 4). .
= m (n )
n

( ) :

5.7.

179

100. -
.

, ,
.
J n .
n , 2n . m (0); m (1); : : : ,
m (i ), n 2n . (
,
.) i , .
, i , m (i ) > 2 2n
( ,
2n ), i KP (i ) < n c ( c ,
m , n ). ,
, n c . , ,
n , ,
n c 0 c 0 n . (,
n , n .)
(. 92
94). I
, - ( ), ,
" > 0
".
157 , .
158 , (, )
. [. ,
.]
159 ? [: .]
(, , ) | . ,
[16, 68].
, [82].
5.7.1.

,  , .
( : , ,

180

5.

.) - , .
ai  bi  | ,   . , ai
, bi  , h ,

 ah (i ) 6  bi

i . ( .)
, , ,
( ) . ,
( ). ,
  ,
. ,
,
,
.
: ,  41  (   ),
ai  , bi  .
, ;
, ,  41  ,
', r <  ,

'(r ) <   '(r ) 6  r

r <  .
160 , 
,  41   .
:

101.  41  ,
  ,  =  +  .
J ,   ,  41  + .
, s <  + , ,   s .
 ,  + .
:  41  ,  =   .
, bn
 . an 
. bn an 6   bn an  . , bn an , ,
n - n . I

5.7.

181

:
ai bi (,
, a0 b0 , ). ai 6 bi
i > 0,    41  .
:  41  , ai = 
bi =  (0 6 ai 6 bi i > 1). ,  =  + 
;  = ai  = ri bi = ai + ri .
161 , ai
( ), bi . ,  41  = bi , bi > 0,  = ai ,
0 6 ai 6 bi i > 0. ( .) [.
ai , : ()  ,  .
 ,  41  , . ai
bi , ; , bi
.]
, 

 41 2 41 3 41 : : : ;
( ) . ,
,  (  
,  ). , 41
:  2,
. ? ,
, .
,   ,  4  ,  41 c
c > 0. ( :  4c  ,  41 c .  4  ,
 4c  c .) , , .
102.
.
J : wi ( wi = 2i ) i
[0; 1].  = wi i wi i
( ), . I
.
, :
 c ,  41 c .
 | ;

182

5.

, .
 ,  .
,
[159, 16].
103.
. ,
(0; 1) .

J , 
.  ai
( ) . ( , i 7 ai ,
.) ( ) .
, 
.
,  (0; 1) .
? - m0 ; m1 ; : : : . mi 41  c ,  = mi =c +   . mi c
 () m0 ,
. I
( ):
(0; 1).
, .

5.7.2.

:
, ,
. ( ,
0 1,
.)
( [82])
, {
.
, (. 85). , : 
 4  ,  .
,  41  ( ). ,  . 

5.7.

183


. bi |  . bi
 .
, bi , (
). ,
bi , , bi
( ,  ). , bi ,
, aj , , bi (  ). ,
 ,
, . 
, .
, .
. : 
 ; ,  +  .
, :   ,  +  . (
.)
5.7.3.

(
),
.

( ).
:
 .  | ( ). , ,
(1) ;
(2)  (
" > 0, ).
, , ,
( )  . , , . , ,
, ,
.
:
104. ai |
, ( ) .

184

5.

, ,
 .

J , " ; .
,  , , . . , , , ,
. ,
. . ( ) , . ,
, ,
. I
.

105. ai |
, .  , " > 0 h0 ; h1 ; : : : ;
i hi < "  6 ai + hi i .

J , .
, , hi .) I
-, ( 31, . 75);
", ,  .
:

106. ai |
, .  , hi i hi ,  6 ai + hi i .

J  , " =
= 1; 1=2; 1=4; 1=8; : : : ; , i - i (
). i ,
 6 ai + hi , i .
,  6 ai + hi i , , 
( , , ). | : , m ,
O (1=m ). I

5.7.

185

( ). ai , ai . -

,
. ( , hi -

.)
:
107.

J : :
 h ,  k ,
 +  h + k . :
, h
k .
,   . ai + bi ( , ), , ai bi
(   ).
h k , (ai ; ai + h ) (bi ; bi + k ) ( ) .
(ai + bi ; ai + bi + 2 ),  = min(h; k ) ( , ,
ai + bi 2 ).
. -, ,
. ,   - ,
- -  > 0. ai
bi ,
, h k ,
 +  , .
-, , .
, (ai + bi + 2 ) ,
, ai , bi  .
,
 , (
). ,
(ai ; ai +  ) (bi ; bi +  ) , ,
h k . I
105.
. -, hi .
-, hi ( ) hi + hi +1 + : : : :

108.
ai . , " > 0 -

186

5.

hi , hi
 6 ai + hi + hi +1 + : : : i .  .

<"

J , i ,
hi , ai , . ( hi
, , , .)

hi ( ).  < ai + hi +
+ hi +1 + : : : ;  ,
ai .
( , ,
hi , , . , 
, .) I
:
109.  = ri | ( ). 
, " > 0 W N, (1) i W ri < " (2) W
( , ).
J  ,
W i , [r0 + : : : + ri 1 ; r0 + : : : + ri ] . 108,
ai = r0 + : : : + ri 1 hi = ri i W ( hi = 0 i = W ). I
,
( W1 W2
), 107.
108
, , (
. , [68] ).
162 U | , 1
(, -). ,
U . [. U .  ,
U .
 , ,
U . ( - ),
U ( , ,
).]

5.7.

187

5.7.4.

[68]:
.   ai  bi  . hi = ai +1 ai
. . , (a0 ; a1 ) ,
b1 . , bi .
bi | . (a1 ; a2 ) ,
bi , bi . .
1

a0

a1

b0

a2

bi1

a3 a4

bi2

bi3

. 5.2. ai  .

:
(1) , - bi , ik ;
(2) .
 41  ,  
( ).
,   .
,   ,
,  .
=2 ( ),
, =4 .
; =2; =4; : : : ;
 . (  ,
, .)
 , 
. ,  ,
:
110.
, .
5.7.5.

188

5.

, . [7, 52].
ri . ri O (m (i )), m (i ) | i ( 4), KP (i ),
log m (i ), log ri ( ).
, ,
ri O (1)- i , ri > "m (i )
" > 0 i . :
( ), ri =m (i ) 0.
(Solovay function) S (i ) KP (i ), , KP (i ) 6 S (i ) + c c i ,
KP (i ) > S (i ) c c i . , ri ,
log ri . (, ,
, .) ,
, [7, 52].
111. ,
.

,  = ri ,
ri =m (i ) 0.
J ri =m (i ) 0. " > 0
hi = "m (i ) ,
108. ,  .
, ,  . 103: ri 6 m (i ), ri 41
41 m (i ). ri 6 cm (i ), ri 4c m (i ). , ri 6 cm (i ) i , . , ri =m (i ) 0,  = ri  4c m (i )
c > 0.  ? , . ,
m (i ) 4d  d .  4cd  c > 0,
. ,  41=2 , :
!
: ,  = ri
, , ri =m (i ) 0. [0; ],
r0 ; r1 ; : : : ( ).  , ,
( ). , . 22n ,
ri 2n 2n . ,
, , .

5.7.

189

M n , M n (i )=ri > 2n i , i M n (i )
2n . M n , M , ri =M (i ) 0. ,

. I
( ) , : ,
, .
, (
, .
. ,
,
( , ).
163 U | .
f (p; x; n ), l (p ), U p
n x , () 2l (p ) + 2l (x ) + 2 log n .
, f (p; x; n ) KP (p; x; n ), ,
p x n .
.
: | , . : ,
, , , ,
, . ;
,
( ).
5.7.6.

: . , 
: m ((i )) = (m (i )). . ,
i;j aij .
:

 = aij = (a00 + a01 + : : :) + (a10 + a11 + : : :) + : : : = Ai ;

i;j

Ai = j aij .
, Ai aij (
) . ( ,
, .)

190

5.

, , . -, Ai , . , ,
: , ,
O (1)- . ,
, : , , A1 ;
Ai , aij
. :

112. Ai
. Ai =m (i ) 0 aij =m (i; j ) 0 .

m (i; j ) = 2 KP (i;j )+O (1) | hi; j i (

- ).
J , m (i ) = j m (i; j ) . ( ,
. , m (i; 0) m (i )
.) aij =m (i; j ) 0 Ai =m (i ) 0:
hi; j i ai;j > "m (i; j ),
.
: Ai =m (i ) 0 aij =m (i; j ) 0. (
, .)
m~ (i; j ) ,
aij =m~ (i; j ) 0, , Ai =m (i ) 0.
: m (i ) m~ (i; j ) , Ai aij . , , Ai ,
. , , aij i , ,
. (
.)
. m~ (i; j ) caij
c , j m~ (i; j ) 6 m (i ).
m (i ) ,
, caij . ( ) Ai =m (i ) 0, c i
cAi 6 m (i ) m (i ) . , aij =m~ (i; j ) 6 1=c i ,
hi; j i, ( i ). , c m~ (i; j ),
aij =m~ (i; j ) 6 1=c ( m (i ) 6 1). c = 22n m2 n
2n . I
, . ,
i ai = j bj , 2

5.7.

191

. 5.3. .

(
-, . 5.3).
, 111: ri ( )
, , ,
() . ,
, ri = limn r (i; n ), r | , n
i ( n ) . ri ri =m (i ) 0. , ri
,
.
( ),
( ).
, f (n )
KP (n ) O (1),
n 2f (n ) < ( 62). :
113. n (KP (n ) > f (n ) c
c n ), n 2f (n )
.

J , f (n )
( ) 2f (n ) ,
. I

BB (n )
. , , .
. an , " > 0 N ,
|an | < " n > N . N (
") an , , ( ").
, .
, 1.2 (c. 29) B (n ) ,
n . (
), : BP (n ) ,
n .
5.7.7.

192

5.

164 , . ,
n BP (n c ) BP (n + c ) c
n . [: , (.
1.2).]
.
114.
( )
, : N (2m ) > BP (m c )
ri

m.

J  = ri = lim ai , ai = r0 + : : : + ri 1 . , 
. , | ai | < 2m KP (i ) > m O (1),
, N (2m ) > BP (m O (1)). KP (i ) > KP (ai ) +
+ O (1), , 2m - 
m O (1). , { , ,
m . .
.
c | . Uc , . r
r 2 KP (r )c ; Uc
. KP , .
2 2c r 2 KP (r ) 6 2(c 1) .  Uc , . , Uc , |
, 2m - 
m O (1).
{ - : N (2m ) > BP (m c ), KP (i ) > m c i ,
ai  2m . , m -
 m O (1): ,
ai ,  2m . I
. .
: . ,
( , )
.

BP (m ) , BP (m ) N , n > N
2m . , : BP 0 (m ) N ,

5.7.

193

n > N 2m . ,
BP 0 (m ) BP (m ), , BP 0 (m )
:

115. ai |
, . N (2m ) >
> BP 0 (m c ) c m .

i > N (2m ) ( )
, ai . , 2m - 
O (2m ). ( , i > N (2m ) ai .)
, ,
, .
c ,
: c . ,
O (1=c ) (
2=c ).
.
, ,
( ).
:
J

(l0 ; r0 ); (l1 ; r1 ); (l2 ; r2 ); : : : ;

l0 6 l1 6 l2 6 : : : ; , (
): r0 6 r1 6 r2 6 : : : ,
, (
, , , ).
:
. ; c ,
, 1=c .
2=c , .
, 
c . I
(
). BP (m ) BP 0 (m )?
BP (m )
- ? { ?
, , x X 2l (x )
X ,
?

194

5.

, , n , 15 (. 35). .
116. n | , n . n ,
15 n :

n n ( | O (log n )
n ).

J , n t , BP (n ) ( , n ).
(- B (n ) BP (n )) n O (log n ).
, : B (n ) n , n O (log n ) .
, B (n ) . ,
n O (log n ) ( ).
,  2n O (log n ) , .
n O (log n ); ,  , , B (n ) | ,
 . O (log n )
. I
, n + O (log n )
n .
, , n ,
, |
| , , ,
.
, , ,
00 ( , ,
, , ).
5.8.

( ). .

 > 0 | . , A -, " > 0

Ik
(Ik ) < ":
k

, A , .

5.8.

195

, ,
x , x .
x 2l (x ) .
.
(1) - - .
(2)  = 1 .
(3)  > 1 A - ( 2n , 2n n , -
n ).
(4) 0 <  < 0 , - 0 -
( (I ) I 1, (I ) < (I ) ).
165 - , A [0; 1] -
, A - . [: , , ,
.., .]
, A
d [0; 1] :  > d A -,
 < d | . (  = d -,
.) A .
166 , (1=3; 2=3),
. , , log3 2.
[. , , | ,
. , , (1) ; (2)
, , ;
;
 , ,
, .]
167 (R3 ) . , 3, | 2,
| 1, | 0. ,
0 3.
, (c. [161, 128]). , A - (  > 0), ,
" > 0 A ,
- ".
0

196

5.

,  ( A )
. (
) :
117.  > 0

- .

J 3. -
() -; - -. , ( )
 - (,
, ) | ,
. I
168 ,
!, n KP ((!)n ) . [: {
.]
. ( ), .  |
.

118. -
,  .

J  . ,
 .
( - ")
, (
) , . ,
, .
, - . .
. , "
,  - ", :  .  , " ,
.
,
. , 0 < .
- 0 -,
, (
, . 169, . 198). I

197

5.8.

. A , A -. [0; 1]
() . (

, . [91, 98], ;
. 9.10.)
,
, , ,
| .
.

119. .

( ! ,
{!}.)
J , . , , A , r ,
r 0 r ( ), r 0 . 117:
r 0 - , A r 0 . I
? ,
.
120. {! },

! = !0 !1 !2 : : : ;

lim
inf
n

KS (!0 !1 : : : !n 1 )

( . : O (log n ) n ,
n .)
J .
, r . , {!} r 0 -
r 0 > r .
n n , rn .
O (2rn ). ,
n !
. z , z .
z r 0 2r n , r 0 - 2(r r )n ,
n . n 2(r r )n ,
0

198

5.

( N ),
r 0 - (
N ).
- !. .
, {!} r
r . , , ,
r .
" > 0 , ,
! r - ".
" = 1; 1=2; 1=4; : : : ,
r - ! . , x0 ; x1 ; : : :
:
2rl (xi ) < ;
xi ! i .
, m (i ) > c 2rl (xi ) c i ( m | , 4). ,
KP (xi ) 6 KP (i ) + O (1) 6 rl (xi ) + O (1): , xi ( ), xi
! . ( ,
r ,
r .) I
169 ,  [0; 1]
( ) c . [: ,
, , .]
170 ,
(
) . [: ,
.]
171 ( 166),

.
172 ,  [0; 1] () . [. , .]
173 ,
, "

5.9.

199

" ,
. [.
, 0 , ,
. ,
, .]
,
( 9.5 ).
120 ( )
.
5.9.

5.9.1.

: . , ,
p Bp , .

,
.
: , (, ,
). . , () 79,
. {!} " . - x ,
x | !. x , ".
, 1;1". x
x 0 x 1 0;9", , , .
, 0.
.
121. 1 2 | .
- 1 2 , .

, M12 M21 ,
1 !, M12! 2 , , ( ) .

200

5.

J [194], , 1 , [0; 1] (
). , , [0; 1]
: 0 1 (0 ) 1 1 (1 ),
. !
x , x | !. , .
, 1 [0; 1] .
, , . ,
, | , (
,
x 000 : : : x 111 : : :).
1 2 .
1 2 . I
, (
: ,
) ( ), (= ). .
, ,
( ) 
.
174 , , P ( ), ,
, . [. ( !),
, . , ! . z ,
!. , ! ,
z : , z , z ()
.]

5.9.2. ,

!. , ! ?
, .
122. ,
.

5.9.

201

, , [194] (
\proper").
.
, , .
( -) P
. x
dP (x ) = log2 P (x ) KA (x ):
x
P . : ! (
-) , .
;
, 14
. , , dP , .
, P (x ) > 0; P (x ) = 0,
.
( , . 89).
175 , x x 0 x 1
, x . ( ,
, .)
,
( ) , . , , - ( ,
).
, 122.
J ! , , P !
P . : P c
, P c .
,
: , . , ,
x P y x , P . , x ,
P () .

202

5.

, , ,
- . I
. , A , . ,
( | ) ( ).
176 , ,
.
( ) .
, ( ) . , , .
,
,
, (
).
177 ,
. [. ,
N , 99% ,
. .]
178 , . [. , , .]
,
.
179 , . [:
.
( - )
.]
[194] : 4.4 , ,
. ,
, . ,
, :
180 , ,
.

5.9.

203

[. , ,
. ; i - i - . ,
, i - , i - , ,
. ( 123). , i - ;
, ( ) .]
, :
181 ,
.
[ (. ). ai | , [0; 1].
: , [0; 1], !, !i = 1 ai <  !i = 0
ai > . ( !i ,  a1 ; : : : ; ai .)
. | ,
| , . (
ai [0; 1].) . 5.7 5.9.3.]
,
. , , . ( , ,
,
.) , :
182 , A :
A .
[. , . -, , ,
i - . , , , i -
, ,
. , , ,
.
, .]

204

5.

( ) , . . [184]:
,
, .
: , , (
). , |
, ? ,
,
.
-, ( ) , . [125] { [36]: A ,
(
, ). A - ,
A -. (, A .)
, , , .
: (. 126, . 212).
,
00 ( ) , . 188 . 216.
183 , , ( ) ,
. [.
, | , . ,
P ,
P , . 123.]
, ,
(. 14.2). , ,
,
( 346, . 473).
5.9.3.

, : , ()
( ).

5.9.

205

, 1 , .
( ) : , ?
.
-, - ,
.
-, : ? , - . ,
.
,
. .
 | , f : |
.  ,  ,

 (U ) = (f 1 (U ))
U . ,  | f (!),
! | . , 

, , . , ,
 . ( , , 
.)
123. () ! |  ,
f (! ) ,  .
() 
( f (! )  ! ).
( ,
-.)
J , - . , , z ,
z \ (z 0 z 1 ). z ( ), z 0 z 1 | , . , ( )
, 
. :
1.  | , U V | , (V \ U ) = 0. V \ U

206

5.

( ).
. , I -

V ( U ). U I , U .
I ( ),
, ",
" > 0 . 1 . ( ,
V ; .)
(), , - !  -,
 - . f (!) , f - ,
! (
).
() .
184 :
f (!)  ! 
, ,
!. ( , ,
3.5 .)
(), (
, . 201).
  . , . ,
() :
2. u | ,  (u ) > 0.
w , u 4 f (w ) ( u
f (w )) d (w ) 6 d (u ) + O (1).
( , O (1) u ,
f ,   ; d d .)
. u f .
, Fu . - Fu ( )
 (u ). d (u ) ,
u .
Fu ,
, M Fu ,
, , , f M ( M f ) u .
f M , , Fu
u ,

5.9.

207

2d (u )  (u ), - Fu .
Fu ( ,
A , ):
A (Fu ) 6 O (2d (u ) ):
(Fu )
Fu ( ) , , w
:
A (w ) 6 O (2d (u ) ):
(w )
w Fu , f (w ) < u , d (w ) 6 d (u ) + O (1),
. 2 .
() ,
t0 ; t1 ; t2 ; : : :   ( 0; 1; 2; : : :).  - ,
w0 ; w1 ; : : : -, f (wi ) ti . wi ,
. . ,
, wi , ,
, ! ( , !
, ).
 ,
w , wi .
, (
)  -, !
- w ( ,
- w (w ) > 0).
,
wi !.
,
, . { ( 91 93). , - ,
| . , , ,
. ?
.

124. P .
c , x y
:

dP (y ) > dP (x ) 2 log dP (x ) c:

208

5.

: ( ) . : () ( ) .
J k , k .
Sk , P - 2k .
Pk , Sk 2k P Sk . ( , U 2k P (U Sk )). ,
Pk ,
1 ( , ). Pk
( 1 ).

1
2k 2 Pk ;
k
S (
, 1=(2k 2 ) ;
).
log S (x ) 6 log P (x ) k

+ 2 log k + O (1)

x , - k . S (
O (1)-), .
, x ,
P (x ) 6= 0. , y P (y )
, . I
123. ( wi ),
! . wi . , :
(1) !
wi , - , 124 -
! , ! -;
(2) () f (!) ;
(3) f (!) ,  , !
,  , ( ) wi ,
 .
() . I
123 .
. . :
185 (), .

5.9.

209

[. " Z"
- - "; F | -

, .
F , f
F ( | ). F
, 1 " ( F ); , " ,
F . |
, F
, ".]
(), , 184 :
 - ! O (1)- - f -
.
186 , () 123: u w | , u 4 f (w ),

d (u ) 6 d (w ) + 2 log d (w ) + O (1):
[.  -
 -, -
-. , 124.]
123 . .
187 ! | - ( ) 1=3. , !0 ,
, ! .
[. , [0; 1], ,
, , |
. , 2=3, , .
, , 1=3,
.
1=2, .]
123 .
5.9.4.

, !0 !1 !2 : : : ; -

210

5.

!0 !2 !4 : : : ( ). , , 123
:
() !0 !1 !2 : : : | ,
!0 !2 !4 : : : ;
() !0 !2 !4 : : :
!1 !3 !5 : : : ; !0 !1 !2 : : :
.
, .
:
 | ,  , (;  ) ( ,
).
: ,  , , (;  ) ? , 
( ), . ,
 = , (; ) . (
!0 !1 : : : ; .)
: 
, ( )  . [71].
P Q | .
;
( , ).
125. h;  i -
P Q ,
:
(1)  - P ;
(2)  - 
Q .

, , , ,  (
, | ).
,   , (1)
,  . , :
, , ,
.
J , (1) (2).
(1) 
P -, ( )
h; i ( P Q ).
123.

5.9.

211

(2) " (  ) Q -, .
, - ,
.
( ") ( ) : Q - ,
 , ". ",
, "
, , . h; i.
, h; i ,
(1) (2).
", h; i. U | . ,
x ) Ux = {y | hx; y i U }

".
(,

) " . h; i,

,
: 
", h; i

,  - Q - ".
  - Q -
".
" ,  ,
  . , "
( ); | " . , " , |
?
: " = 22k
k . k V(k )
, P - 2k = 22k . : k  ,
k  .
K V (k ) k > K ;
2 2K , 
K ,  .
( k , ,
)  - , ,
  . I
(. [181]): ,
(; )
P Q  P  Q  , (
). , -

212

5.

, (
, ),
, . (,
, , .)

- : h; i
,  ( ),  ( )  . . -,
( ,  ,
); -,
, - .
[162, 163],
.
5.9.5. {

. , (
) ,
, , . , ,
 ,
f : .
,  f . , , ,
,
 , , .
-
f .  ? ,
 ( ,  - )?
: - | ,
 .
, . , , [67]
(. [45]):
126.  | .
( - )
! , f : , f (! ) = .

5.9.

213

, ( . 204).
:
f ,  (
) ,
 . ,
(
ti ,
). .
J f ( ), f (R )
R .
, U (
) f , f ( \ U ) .
U ,
.
. f ,
, U (, U ) . ,
U , | ,
f . U ,
. ,
U ,
. , ( ) | ,
, ( ).
: ,
U | ,
( ).
( ,
); f
. - ,
,
. f ,
f . ,
, ,
U , .
( ) k0 ; k1 ; k2 ; : : : ;

214

5.

, . k0 ; k0 + k1 ; k0 + k1 + k2 ,
2k , 2k . ( , , f ,
.) ,
U . , U x , x
k0 + : : : + ki i . (, , .)
, f .
2k - , ,
X0 X1 , 0 1. ( ,
!, X0 X1 , f (!) . !,
X0 X1 , f (!) .
X0 X1 k1 (,
). k0 + k1 , X00 ; X01 ; X10 ; X11 ; 00, 01, 10 11
. , u l (u ) Xu , u . Xu
Xv , u v , Xu Xv , u
v.
, ( ) .
U , .
U ( )
, |
,
.
,
( ). , x
:
x , ( U ) z z x ;
( ) .
,
, . , ( ) , .

. , ,
. , , ,
0

5.9.

215

1
2k
.



1
2k

 
1
1 k
0
21

( ).
,
.
:

1
2k

 
1 
1
1 k 1 k :::;
0
21
22

ki :
, ( ) 2ki . , ki = 2 log i ( i > 2).
. , .
- , , .
,
.
f ( , f ). , , f .
, f
 f -, U .
t !t ,
U . , t !t
! ( ,
, ). ,
! U f (!) = .
! U , ! U ,
. !t U ,
. , f (!) = . z |
; , f (!) z . k | z .
( ),
k z . t ,
f , , f (!) z . I

216

5.

188 ,  00 ( ).
[: 00 .]
189 ,  !, , n 
n + o (n ) !. [. ,
, 2mi ;
(1 2mi =2ki ), 2mi ki . ,
, mi = i ki = i + 2 log i .]

{ . , :
,
, f .
: ,

( ,
,  , ),
 . ,
( ), . 
 . ,
 - !,
 . , ,  ,
.

6.

6.1.

KS ,
KP KM .
, .
,
| N , |
.
, N N ,
. N 4.4.3 (. 103). ,
N N : ( ), ; ,
:
N N, ,
. ,
f : N N , hx; y i, y 4 f (x ), . , , ,
( ).
: ,
c ,
. ( , , N N,
, | .)
, , , (. . 6.1).
, ( ) ( ).
;
, N .
, KR ( KD ,
217

218

6.

KS

KP

KM

. 6.1. .

, distinguishing complexity, ).
. [88].
,
( , ,
) .
, x
. ( ,
, , .)
,
( ,
N ) . M |
, KR M (x ) x M
y , M (y ) ( , y ) x .
190 ,
M , KR M O (1).
191 N .
? ? [: .]
, (. . 6.2).

KS

KR

KP

KM

. 6.2. .

.
127. () x y , KR (x ) 6 KR (y ).

6.1.

219

() ! ( ) , ! . (
! , , , .)
() KR (x ) 6 KS (x ) + O (1) x .
() KR (x ) 6 KM (x ) + O (1) x .
() KM (x ) 6 KR (x ) + O (log KR (x )) x .
() KS (x | l (x )) 6 KR (x ) + O (1) x .
() f : | ,
KR (f (x )) 6 KR (x ) + O (1) ( f , x ).
() f : N | ,
KS (f (x )) 6 KR (x ) + O (1) ( f , x ).
() f : N | ,
KR (f (x )) 6 KS (x ) + O (1) ( f , x ).
() (
), n ,
2n .
() KR .
() KR ( ) , : (i) K (ii) , K (x ) < n
, O (2n ) , KR (x ) 6 K (x ) + O (1).
() KR (x ) 6 KA (x ) + O (1) x .
J () (
).
() ! . , ! .
!
( ),
. , ,
,
.
() ,
,
( , , | ).
() ( ; ,
).
() R : N | . R^ : ,

220

6.

R^ (^x u ) = R (x ), x^ | x (, x , -

01),
u | ( ).
() R : N |
. S , S (y; n )
n R (y ) ( n , S (y; n ) ).
() , f , .
()
f
.
() f .
() ( ).
n , |
n , 2n .
() ,
KR (
).
() | (
).
K , .
, ,
2n x , K (x ) < n .
, x K (x ) < n
n . n . , K ,
x , K (x ) < n . ,
.
, .
. 2n ,
x , K (x ) < n .
, n .
- (
), . , .
(
, 2n ).
, . ( ). ,
( ), ,
( -

6.2.

221

),
( ). n
( , ,
).
n , , ( n ) x K (x ) < n n ,
.
() xi | , 2 KA (xi ) 6 1 (
KA (xi )
2
xi , ). , KA (xi ) < n ,
2n , . I
192 , :
S ( | , | ; | ) KR S (x )
x = x0 : : : xn 1 y , S (y; i ) = xi
i = 0; 1; : : : ; n 1, S .
193 , x ( O (1))
KS (p ) p ( , , ), x
.
194 , KS KP , . ,
O (1)-. [. n n . ( ) , n .]
6.2.

, (
), , ( O (1)), . 6.3.
KP
KS

KM
KR

. 6.3. .

222

6.

(
, f0 - , . [150]),
[166].
= B :
(=) ( ,
).   | (
).
, S - -, x1 ; x2 ; y1 ; y2 :
(x1 ; y1 ) S; (x2 ; y2 ) S; x1 x2

y1 y2 :

, =-=- | ,
.
195 () , -=- N .
() , -- .
() , =-- N .
- - - - . S ,
x , y , hy; x i S .
128. ;  {=; }
- - ,
( O (1)) KS ; KP ; KM ; KR .

J - -
(. 195),
, . I
, (. . 6.4).
196 , :
() , . ( .)
() ,
, .
() , N .

6.2.

223

=

=

KS

KR

KP

KM

. 6.4. - -.

, . .
197 , hx; y i l (x ) +
+ l (y ). [. z hz; z R i, z R |
z , .]
[56]
( [124]).
, [56]: KM (x; y ) l (x ) + l (y )
log n n . , , .
( , . [75]) ,
. ( K ):
x , K (x ) < n , O (2n ) ( KS , 8, . 28);
x 2K (x ) ( KP , 62, . 115);
x , K (x ) < n , O (2n )
( KR , 127, . 218);
x 2K (xi ) 6 1 xi ( KA , 80, . 144).
, :
. (
, N.)
,
(. 6.5).
.
, O (log n )
n . , KP (x ) 6 KS (x ) + O (log KS (x )) ( 65, . 117).
, KS (x ) 6 KS (x | l (x )) + KS (l (x )) 6 KR (x ) + O (log n ). -

224

6.
KP
KM

KS

KA
KR

. 6.5. .

( ) O (log n ) n .
,
, .
, - :
KP (x ) 6 KS (x ) + O (log KS (x ))

(. 65)

KM (x ) 6 KR (x ) + O (log KR (x ))

( 127). , KM KA ( 139, , 164). - :

KM KR
( , ), KS KP | ( n n , log n n ).
86, , KP KM
log n n ( n ). { , KM KA
log log n ( 87).
, 73 (. 129) , KP (x )
KS (x ) , . KS (x ) KP (x ) (
) [166].
6.3.

( ). 2.2
KS (x | y ) p x y , p , S (p; y ) = x .
S | ; .

225

6.3.

4.7 KP (x | y ).
, p :
, p x y ,
p .
, 93
KM (x | y ).
Dy : , y . , hy; u; v i, v 4 Dy (u ), .
.
,
: p x y ,
y p x
( y ).
, (, )

D : N N ;
hp; y i N ( p ), ( y ).

, , , , ( [28] | ).
, 8 (
| , | ). .
; ; {=; } (. 6.2). (;  )| - S hp; x; y i, :
hp1 ; x1 ; y1 i S; hp2 ; x2 ; y2 i S;

p1 p2 ; y1 y2

x1 x2 :

KS (x | y ) p , hp; x; y i S .

129. ( O (1)).

198 (
).
(;  )| -
K(;)| . KP (x | y ) K(;=)|= , KS (x | y )
K(=;=)|= .
199 , = 
. [:

226

6.

, . .]
; ,
. , , , ?
, :
200 , KS (x ) 6 K(=;=)| (x |y ) + KR (y ) + O (log KR (y )):
,
[60].
x y
x y ; , , y x ( ).
, , . F,
. : f1 4 f2 , f2
f1 .
. f
, ( ).
T : N F , ha; f i, a N , f | F f 4 T (a ).
().
f (
T ) (, , ) a , f 4 T (a ).
201 ,
y 7 x ( y , x ) KS (x | y ) + O (1).
( Y; X {N ; } (Y X ),
P {N ; } (Y X ).
f0 -
( . [150]).

x y , , 13.
( ) [143, 145]. ,  , n n () N N. 
, hn; x i 7 n (x ) , , ( ) , -

6.4.

227


h ,   , n = h (n ) n . ( ,
n .)
, , h (n ) =
= O (n ) ( h (n ) n ,
).
 h ,
 .
130. .
J -

u^ v , ,
u v . ( u^ |
u , , ,
01 .) I
(. [143, 145]), 1
2 ,
O (1). ( , 1 (n ) = 2 ((n ))
n , (n ) = O (n ) 1 (n ) = O (n ).)
6.4.

6.4.1.

, : - ,
,
, . ,
( A ). ,
(n ) n . ( A , ,
A .) 
( A ), ; -.

- . , - , - , (
) - .
( )
.
, A , A ,

228

6.

() A . , , ( ).
, , , KP A (x ) x A .
: A (
O (1)), ( ) :
hx; A i 7 K A (x ) ( K | ).
202 , ,
, 6.3:
KP A (x ) = KA;= (x ) = lim K(;=|) (x | An );
n

An | n A .
( .)
, ( O (1)) ( , A -
).
A A ( ). , A . (
00 .) , 00 -
: ( ),
, . ,
x ( , ).
KS 00 - ( KP ,
..), n ,
n + O (1), B (n ) BB (n ) (. 1.2)
00 - O (log n ).
, n 00 - n O (1),
00 - ().
203 , A
KS , KS (x ) = KS A (x ), A
. KM , KR , KA . [.
, . 48, . 52.]
, : KP - ( K -low,
K ), KP .
(. [125, 36]).

6.4.

229

6.4.2.

: ( x ) A . , ,
: x , A ( ). .
. (
, , ,
[173].) (, ) x
A ( )
, A x . (
13.)
, ,
( O (1)) .
x A , ( A ,
| ). KS (x k A ), KS (x | A ) x
A , .
() KS (x k A ) .
D | (), x |
, A | . KS D (x k A )
p , D (p; y ) = x y A .
204 , ( KS D O (1)).
, D KS D (x k A )
KS (x k A ) O (1).
A = {a } KS (x | A )
KS (x k A ) ( O (1))
KS (x | a ); . 27.
A , n .
( , .) x KS (x k > n ). , KS (x ) n ( KS (x k A )
A , O (1) A ). n .
131.

lim KS (x k > n ) = KS 0 (x ) + O (1):

0

J k . p
k , x . 00 ,
x . ,
N y , p n > N

230

6.

y . , N; y .
, y = x .
,

KS 0 (x ) 6 lim KS (x k > n ) + O (1):

0

, y x 00 -
, k . :
N , N 00 ,
y . y
KS (y ) + O (1) 6 l (y ) + O (1) = k + O (1).
, N x ( y , N

N - ). I
, , KS (x k > n )
supm >n KS (x | m ). ,
sup KS (x | m ) 6 KS (x k > n );

m >n

m
. ,
n :
132.

lim sup KS (x | n ) = KS 0 (x ) + O (1):

0

, x
KS (x | n ) k n;

00 - x k + O (1). |
| ,
( k ) n .
, x ( k ) 2k :
, n
k .
,
00 -
k ( , x 7 lim sup KS (x | n ) 00 - ). ,
N (n > N ) [KS (x | n ) < k ];

6.4.

231

3 ( , ), .
, 00 - , 00 - , 2k
k . .
hn; x i, KS (x | n ) < k . ,
2k .
hn; x i.
, , (
hm; x i m > n ). ,
, 00 -:
( ,
2k | ).
( hn; x i)
. ( , - ,
.)
00 -, x - 00 - .
2k (
), x , lim sup K (x | n ) < k . , x , ,
. I
( [167].
. [9].)
, 131 132,
.
, .
133.

lim sup KP (x | n ) = KP 0 (x ) + O (1):

0

J ( ),
:
lim
inf m (x | n ) = m 0 (x )
n
0

( ).
, (,
O (1) ). , 00 ,
m 0 . n
, n .
x ,

. , x
0

232

6.

( ),
.
. 132. ; n x 7 m (x | n ) ( x 1).
,
m 0 (x ) = lim
inf m (x | n )
n

x m 0 (x ) . m 0
00 - , |
r < lim
inf m (x | n ) (q > r ) N (n > N ) [q < m (x | n )]
n

( , ). , , 00 - .
hN; x; "i ( " | ) m ( | ) " ,
hn; x i x n > N ,
( n x 1).
,
00 - ( ). (
). x
" ( x ",
x ), 00 - , m 0
( m 0 - ", "
). I
KP (x k > n ), ( , ). , ,
.
KP (x k A ) , x A . ,
108 (. 120) A = {a }
KP (x | a ) , , .
204. hp; x i 7 D (p; x )
( ). x A
KP D (k k A ) p , f (p; n ) = k n A .
,
.
( ),
KP D .

6.4.

233

205 , ( O (1)) ,
F (
N N) p , , x
A .
, .
,
KP f (x k A ) .
KP 0 (x k A ), KP 0 (k | n ) A = {n } ( ).
, m (x k A ), y !,
( )
x y A .
( ) A
.
, k; A
log m (k k A ) 6 KP (k k A ) + O (1) 6 KP 0 (k k A ) + O (1):

, ;
[55]; .
,
log

inf m (k | x ) = sup KP (k | x );

x A

x A

, 131. , (, ) KP (k k A ),
,
:
134.

lim KP (k k > n ) = KP 0 (k ) + O (1):

0

, KP (k k A ), KP 0 (k k A ) KS (k k A )
,
, , O (log KS (k k A )).
, KS (k k A )
log m (k k A ) ( ).
, , .
, [160].
,
206

234

6.

, (
,
, , - , , ).
A S S A , , A
S :
KEA (S ) = min{l (p ) | M (p ) S }:

,
. S KE(S ). .

.
,
. A
, S .
mA (S ). , A ,
mA (S ) . mA (S ) S m (S ).
( { { { [72]).
207 { { { . [.
,
.]
, KE(S ) 6 log m (S ) + O (1). , , : log m (S ) 6
6 KE(S ) + O (log KE(S ))? [160],
3 :
log m (S ) 6 3 KE(S ) + O (log KE(S ));

S 3 2 (. [168]).
6.4.3. , 00

[112], 00
. (. [9].)
f (0); f (1); : : : | .
n k , k

6.4.

235

f (0); : : : ; f (n 1), n .
k n .
k k n n , k
f .
pk | k . , k pk 6 1. , -

1, 1, 1,
( 1).
, ( f pk k ):
135.

k 7 pk

00 - .

4.1;
00 .
J , r < pk ( r | )
:
p > r N , k
N p .

(
): , , . 00 - (
). r < pk 00 -. I
:
208 rn | . , lim inf rn 00 -
00 - , rn .
, :
209 00 -
. [.
00 - rn , rn;k . sk
r0;k ; : : : ; rt 1;k , t | , rt;k 6= rt;k 1 .]
, f k 7 pk 00 - .
:
136. 00 - q0 ; q1 ; : : : i qi 6 1

236

6.

f (0); f (1); : : : ; k qk .

00 - k k f (,
O (1)-).
J , hr; k i, r | , qk , ( 00 ).
(., , [173]), 00 - 2 , R ,

r < qk

u v

R (r; k; u; v ):

, ,
hr; k; n i 7 S (r; k; n ) 0 1, r < qk , S (r; k; 0), S (r; k; 1) : : : . S (r; k; 0),
S (r; k; 1) : : : : u =
= 0; 1; 2; : : : v , R (r; k; u; v ) ,
; , . , u
v , r < qk .
: hr; k i
, qk r , , . hr; k i, r < qk ,
( -
), (r > qk )
. ( S .)
( , ,
).
, f (0); f (1); : : : ;
k qk .
00 -
,

p00 p10 p20 : : :

p01 p11 p21 : : :
p02 p12 p22 : : :
:::::::::::::::
: ,
, k - qk . ,
. , i - 1=i

6.4.

237

( , ). f :
, (, ),
(
) .
, : qk
r , k -
qk . : n - n ,
( k )
( ), pk r (
; , , , ,
n - ).
? ,
r < qk . qk r
. ,
. , |
. , .
r 0 ; k 0 ,
, r 0 < qk r 0
r .
, . I
210 , , qk . [.
209.]
[112]:
211 , 136 , f N N : f N N g (0); g (1); : : : ( )
: k g
f (0); f (1); : : : (
k f (0); : : : ; f (N 1), N ). [ [9]. N N
( ); 133
00 - ,
. ]
0

7.

7.1.

A , k
a1 ; : : : ; ak , ( , ). ai
ci . , ci . , . , , ,
0, 1 01, :
0101. ( , , , | ,
.)
.
| . ci (
). ,
,
. (
.)
7.1.1.

. A ,
k a1 ; : : : ; ak , k c1 ; : : : ; ck . ; ci ai ;
A ,
.
, , , .
, (
A ) () . ( , | | .)
137. .
J ( ) (
), . . I

238

7.1.

239

212 , . [. , , .]
213 0; 1; 2 . [. 0 7 00,
1 7 01, 2 7 1.]
214 c1 ; : : : ; ck d1 ; : : : ; dl ( ). , kl ci dj (
) .
, .
p1 ; : : : ; pk , ;
pi ( ) ai .
c1 ; : : : ; ck ( a1 ; : : : ; ak )

pi l (ci ):
i

: p1 ; : : : ; pk ( ).
215 ( )
p1 ; : : : ; pk ? [:
, | ,
.]
7.1.2.

p1 ; : : : ; pk ? .
p1 ; : : : ; pk ( )

H = p1 ( log p1 ) + p2 ( log p2 ) + : : : + pk ( log pk )

( p = 0 p log p = 0, p 7 p log p

).
: ai pi ,
log pi ; H
. , , p log p . .
2n . , n ( /), 1 . , 1=2n
n .
, | ,
.
.
p1 ; : : : ; pk , .

240

7.

138. () c1 ; : : : ; ck

pi l (ci ) > H
i

( ).
() ,

pi l (ci ) < H + 1:
i

J , ,
. ,
. :
( ).

n1 ; : : : ; nk c1 ; : : : ; ck
(l (ci ) = ni ), , .
, i 2ni 6 1.

, . 56
(. 106) 58 (. 107). : ci
, 2ni ,
. ( :
ci 2ni ;
, ,
.)
,
58,
. 2ni
[0; 1], .
ni .
. , pi ,
pi , .
() , ni |
i 2ni 6 1, pi ni H .
ni ( )
. qi 2ni .
: qi > 0 qi 6 1,

pi ( log qi ) > pi ( log pi ):

. , ,

qi
pi log pi
i

7.1.

241

(



: pi log ui 6 log i pi ui ; ui )


q
log pi i = log qi 6 log 1 = 0:
pi
i


() .
,

pi
pi log qi
i

{ (Kullback { Leibler distance) pi qi ( , qi = 1),

. ( ) , { , pi = qi i .
(), ni = d log2 pi e ( du e
, u ).

pi < 2ni 6 p :
i
2

2ni 6 pi , ( ). pi =2 < 2ni ,

ni ( log pi ) 1, :
( pi ni ) H = pi ( log pi ) 1. I
: , , ni ,
2ni , ni = log pi (
). ni , .
139. p1 ; : : : ; pn n log n log n , pi .

J n , H 6 log n
138, , n
log n .
qi = 1=n i ,
p i = qi . I

7.1.3.

, (

p1 ; : : : ; pk ) H H + 1. ,
.

242

7.

n1 ; : : : ; nk | p1 ; : : :
: : : ; pk . ( ),

p1 6 p2 6 : : : 6 pk :
,

n1 > n2 > : : : > nk

( , ,
; , ).
, n1 = n2 (
). , n1 > n2 , n1
ni . i 2ni , i 2ni 6 1 ,
2n . , n1
, i 2ni 6 1,
.

n1 = n2 ,
1

p1 n1 + p2 n2 + p3 n3 + : : : + pk nk = (p1 + p2 )n + p3 n3 + : : : + pk nk
( n n1 n2 ) n; n3 ; : : : ; nk ,
2n + 2n + 2n + : : : + 2nk 6 1:
3

2(n 1) + 2n + : : : + 2nk 6 1;
3

, ,
(p1 + p2 ) + (p1 + p2 )(n 1) + p3 n3 + : : : + pk nk :
(p1 + p2 ) ,
k 1
p1 + p2 ; p3 ; : : : ; pk .
:
( ), ( ), x
(x 0 x 1); ,
.
pi .

7.2.

243

7.1.4. {

. ,
(
):
140 ( ). c1 ; : : : ; ck |
, ni = l (ci ) | .
2ni 6 1:
i

( )
.
J , 0 1 u
v . (, 0, 01 11 u , uv vv .)
(c1 + : : : + ck ) , N -
( N ) , u v (
). , N = 2

(u + uv + vv )(u + uv + vv ) =
= uu + uuv + uvv + uvu + uvuv + uvvv + vvu + vvuv + vvvv:
,
( ). u v 1=2. (c1 + : : : + ck )N
(2n + : : : + 2nk )N . :
t , 2t , 2t , 1 ( ).
, ,
N max(ni ).
, 2ni > 1, N (
) ( ). I
( )
. (, ,
) (. 248).
1

7.2.

7.2.1.

.  | ,
1 ; : : : ; k p1 ; : : : ; pk .
H ( ) = p1 ( log p1 ) + : : : + pk ( log pk ):

244

7.


 ( ), . ,
:
141.

H (h; i) 6 H ( ) + H ():

,   ,

.  k 1 ; : : : ; k ,  l
1 ; : : : ; l . h; i , , kl
hi ; j i ( ). h; i, ,
k l : pij , i - j - ,
( = i ) ( = j ) ( i = 1; : : : ; k
j = 1; : : : ; l ). pij (
).
,  : i j pij ; pi ;  j pj ,
j - .
, ,
,
:
pij ( log pij ) 6 pi ( log pi ) + pj ( log pj )
i;j

( pi pj ).
, . (
) , :   (
c1 ; : : : ; ck d1 ; : : : ; dl ). h; i, hi ; j i ci dj ( dj ci
). , , (
, ci , dj ; ).
 . (
), .
J , , 138 (. 240) ,
i pi ( log2 qi ) qi . , ( )

pij ( log qij )
i;j

7.2.

245

qij .
, 1,

qij = qi qj
qi qj ,
1. ( log qij ) ( log qi ) + ( log qj ), | , ( )

pi ( log qi )
i

pj ( log qj )
j

. H ( ) H ().
,
, | 1, . I
7.2.2.

B A A B A .
, A . : , B ,
, , A .
A | ,  |
1 ; : : : ; k , ( Pr[ = i ])
Pr[( = i ) | A ]. ,
.
 A H ( | A ),
( | A ).
216 , H ( | A ) , H ( ). [: ( | A ) (
A )  .]
, H ( | A ) |
, , A .

( )  .
, ( ). j   = j ( pj ).
 . i 7 pij =pj . ,

246

7.

 = j .   H ( |  ). ,

H ( | ) = Pr[ = j ]H ( |  = j )
j

, ,

p 
p 
H ( | ) = pj p ij log p ij :
j

, ; :
142. () H ( |  ) > 0;
() H ( | ) = 0 ,  = f () 1
f ( 1 , , );
() H ( | ) 6 H ( );
() H (h; i) = H () + H ( | ).
J : H ( |  = j ) ,
.
() , , j ( |  = j )
(
).
() : H ( | )  ,  -,
 ( ,
). , , H ( ).
: j H ( |  = j )

pij
pj ( log qij )
i

q1j + q2j + : : : + qkj = 1 (

j ) H ( | )

pij
pj pj ( log qij )
j

, qij ,
. ,
, qij = qi ,

pij
pj pj ( log qi ) = pij ( log qi ) = pi ( log qi )
j

H ( ). H ( | ) 6 H ( ).

247

7.2.

, () , :

pij 
pij
p
p
(

log
p
)
=
ij
j p log p
ij
j

i;j

log pj

p
pij 
pij 
log
+ pj ij ( log pj ) =
p j
j
i p j
i pj
= pj H ( |  = j ) + pj ( log pj ) = H ( | ) + H ():

= pj
j

. I
141 (. 244). ,
, (
). :

143.  | ,
| ,  .

H (f ( )) 6 H ( );
f ( ) | ,
, f  ).

 (

 f ( ) ,
( ).
J , h; f ( )i ,
 , . I
217 .
218 143 ?
7.2.3.

. ,   ,
 = i  = j  = i  = j . (: 
 = j ; 
 = i .) , pij = pi pj (
1).
144.

  ,
H (h; i) = H ( ) + H ():

, , 141 . 142,
H ( ) = H ( | ) H () = H ( |  ).

248

7.
J

:
log pi xi


> pi

log xi ;

pi xi , , xi (
, pi ).
, pi , ,

pi ( log qi );
qi , 1,
, qi = pi . ( , pi = 0
pi ( log qi ) = 0 qi .)
, 141.
1 ( )

qij = pi pj :
qij ,
qij = pij , ,

pij = pi pj
  . I
219 , 142.
220 , ; ; ( , ( = i ;  = j ; = k )
) ,

H (h; ; i) = H () + H ( ) + H ( ):
141 144 , H ( ) + H () H (h; i)
,  
.
 . I ( : )
 . 142 I ( : )
:
I ( : ) = H () H ( |  ) = H ( ) H ( | )
( ,
).
. ,

H ( ).

7.2.

249

, , (
) , c ,
H ( ) log c . , ni |
, 2ni c (
), 138
log c .
N
 . ,  N ,
N .
, ,
 N , N
 . ( ), cN , c |
.
, ,

N ( ) > NH ( ) log(cN ):
, N N , ( log(cN )=N 0).
. n1 ; : : : ; nk , 2ni > 1.
pi = 2ni , pi ,
. pi .
pi ni H = pi ( log pi ), ni < log pi pi .
221 .
7.2.4.

. ,

H (h; i) 6 H ( ) + H ()



H (h; i | ) 6 H ( | ) + H ( | ):
, i


H (h; i |  = i ) 6 H ( |  = i ) + H ( |  = i )
( 141  ), Pr[ = i ].

250

7.

, H ( | ) = H (h; i) H ( ), .
:
145 ( ).
H (; ; ) + H () 6 H (; ) + H (; ):
H (; ; )
H (h; ; i) H (hh; i; i).
( )
. , I ( :  | )
H ( | ) + H ( | ) H (h;  i | ):
( 145) , I ( :  | ) > 0
; ; .
222 , I (h;  i : ) > I ( : ).
223 ,
I (h;  i : ) = I ( : ) + I ( : | ):
I ( : |  ) = 0, ,   ,
; ; ( 
 ).
224 , I ( : ) 6 I ( :  ),
I ( : ) 6 H ( ).
, 2.
, ; H (), |
H ( ) (. 7.1).


H (| ) I ( :  )


H ( |)

. 7.1. .

; ; . 7.2.
, I ( :  : ); I ( :  ) I ( :  | ), I ( : ) I ( : |  ) .. |

I ( :  : ) = H () + H ( ) + H ( ) H (;  ) H (; ) H (; ) + H (; ; ):

251

7.2.


I ( :  | )

H ( |; )

H (|; )
I ( :  : )
I ( : |)
I ( : | )
H ( |;  )

. 7.2. .

, I ( :  : )
. , ,   ,
.
225 ; ; . [. . 60   , {0; 1}, = ( +  ) mod 2.]
226 ,   " < 1=2,
 a ,
:
H ( |  ) 6 " log a + h (");
h (") | , " 1 ". [. , 0
1  6=   =  . H ( |  ) 6 H (; |  ) = H ( |  ) +
+ H ( | ; ) 6 H ( ) + H ( | ; ). h ("),

Pr[ = 0]H (( |  ) | = 0) + Pr[ = 1]H (( |  ) | = 1);

Pr[ 6=  ]H (( |  ) |  6=  ) + Pr[ =  ]H (( |  ) |  =  );
" log a + 0.]
227 H ( | ; ) = 0 I ( : ) = 0. , H ( ) > H (). (
 

252

7.

, , ,
, ,
.
.)
228 , ; ;

2H (; ; ) 6 H (;  ) + H (; ) + H (; ):
[: . 26 (. 58).]
229 :
(n 1)H (1 ; : : : ; n ) 6 H (2 ; : : : ; n ) + : : : + H (1 ; : : : ; n 1 ):
( ,
, .)
230 ( [30])
. T1 ; : : : ; Tk | , 1 ; : : : ; n , r
T1 ; : : : ; Tk .

rH (1 ; 2 ; : : : ; n ) 6 H (T1 ) + : : : + H (Tk ):
231

, 229

n - n 1- ( ,
. 21): , (n 1)- ,
n 1- n -

. [. ,
. ,
, . ,
.]
{ [85].
7.3.

,
( ) (. 2). -
?
. -, , (, , . 10.6, . 363).
, , . ,

7.3.

253

: , | , ?
,
.
: ,
| , . ,
, (
) , .
.
7.3.1.

( )
A . , . (
, , , . ,
:
!)
A , k .
x N . p1 ; : : : ; pk | x . N ;
. h (p1 ; : : : ; pk ) |
.
146.

KS (x )

6 h (p1 ; : : : ; pk ) +

O (log N ) :
N

N ).

x (

, O (log N ) c log N , c
N , x , p1 ; : : : ; pk , k ,
.
J . ,
KS (x | N; p1 ; : : : ; pk ) log C (N; p1 ; : : : ; pk ) + O (1),
C (N; p1 ; : : : ; pk ) = (p N )! (p NN)!! : : : (p N )!
1
2
k
N A , p1 ; : : : ; pk .
, ( ) (, )
, log C (N; p1 ; : : : ; pk ) .
C (N; p1 ; : : : ; pk ) .

N ( - 2k
k !), 2Nh (p ;:::;pk ) .
1

254

7.

k = 2 (-

27, . 65); .
, N; p1 ; : : : ; pk k log N
( k p1 N; : : : ; pk N , N ),
KS (x | N; p1 ; : : : ; pk )
O (log N ) ( , k ).
, log C (N; p1 ; : : : ; pk ) ( O (log N )) ,
, C (N; p1 ; : : : ; pk )). , x ( )
. I

( 89, . 164). A ,
p1 ; : : : ; pk . ,
z N , q1 ; : : : ; qk ,

p1q N : : : pkqk N
( ai pi qi N ),
1

N (q1 ( log p1 ) + : : : + qk ( log pk )):

, qi = pi , Nh (p1 ; : : : ; pk ) Nh (p1 ; : : : ; pk ).
,
O (log N ) N .
, , . , , . , x , , x ,
89 .
, , p1 ; : : : ; pk ;
O (log N ),
146.
232 O (log N ) k . [: k (1 + o (1)) log N .]
233 , p1 ; : : : ; pk (k=2 + O (1)) log N . , " > 0 k
C , x N k -
KS (x ) 6 h (p1 ; : : : ; pk )N + (k=2 + 1) log N + C , ,
p1 ; : : : ; pk x ". [.
, .

7.3.

255

, , pk
1= N . ,
, O (1);
p1 ; : : : ; pk .]
, 146 : , , , x ,
1, (log N )=N . |
, (-) . ,
.
7.3.2.

k - A k p1 ; : : : ; pk > 0 1
( ).
 , A , p1 ; : : : ; pk . N
 N , N  . N A (
, i - pi ).
 N ( , ).
147. KP ( N | N ) NH ( ) + O (1)
( O (1)  , N ).
, ( pi )  N N A ;
NH ( ,
), NH .
J N (  N ) N ( ).
7.1.1.
 N .
138 (. 240) ,
H ( N ) = NH ( ). ( O (1)) .
. ,
,
H + 1. ,
N ( pi , ). ,
138, ,
, .

( N ), -

256

7.

 N H ( N ) + 1 = NH ( ) + 1.
. I
234 , ,
KM ( N ) NH ( ) + O (1).
[. 89 ,  .]
, p1 ; : : : ; pk . ,
p1 ; : : : ; pn ,
KP ( N | N; p1 ; : : : ; pk ). , ,
( ) . (
pi ; pi
.)
235 .
, ,
, . : , ,  N ,
, . ,
7.3.4.
7.3.3.

,
( -) . - A k p1 ; : : : ; pk
. , p1 ; : : : ; pk .
A
A , p1 ; : : : ; pk . A , -
A . ( ,
, .)
148.

| -

( ), (!)N |

N .
H

lim

KS ((! )N )

| ,

= H;

H = pi ( log pi ).

7.3.

257

236 , ( 90, . 166).

( , .)
KS , ,
O (log N ) = o (N ). .
J { ( 90, . 166)
(!)N . A ,
N qi ( log pi ), qi |
i - (!)N . , , ,
qi pi N . I
, ( ) : (
O (1)=N ), (
O (log N )=N ) ( ;

,
O ( N )=N .
, pi ,
-.
, ,
, 0 ( ).
237 . [.
pi , (
, , 1=N 2 N ); O (log N ).
pi (,
, pi ).]
7.3.4.

148 ; , , . ( :
, , .)
p1 ; : : : ; pk
A . , pi
( ). A N ,

258

7.

. ,
, . ( 147),
NH , H = pi ( log pi ).
, .
(, , ) , ,
N . ,
N + O (1), ( 2c )
N c , - .

. , .
. x , pi , qi (x )
x . ,
( pi ) k (x ) = N i qi (x )( log pi ). , 89 (. 164) k (x ) .
, { (. 166, 1) , KM (x ) < k (x ) c (
N ) 2c c .
, . (
{ ), ();

,
1= N .
O (log N ) ( , N ..)
. :

149.  k .
" > 0
c , N
NH ( ) c N < KS (x ) < NH ( ) + c N ,
x  , 1 ".

, pi .
, pi
(, 1=N 2 , O (log N )
).
7.3.5.

, N
.

259

7.3.

 | k ( A )
. N | ,  N | A N , 
. m -
. 7.3.

N

? N

. 7.3.  N m .

A N Bm m , | Bm A N . , ,
A (  N ).
 N .
, m " m
". :
150. , 2m -

 N
1 ".

, m 2m
, . , ,
2m 2m . I
A  .
151. " > 0
c , :
N
()  NH ( ) + c N
";

() NH ( ) c N  N
1 " ( ").
N
J () ,
c  m = NH ( ) + c N 1 ". (
) . (,
, . ,
m ,
2m m .)
() .
, ( , )
( pi N ).  N ,
, ( |
J

260

7.

) NH ( ) c N + O (log N ) ( c ).
( c ) ". I
238 , ,
pi , , . , , pi
.
239
. [.  , N ,
N , , m
,  N . m
, ?]

8.

8.1.

: ,
.
m p1 ; : : : ; pm .
x , ,

x = p1k p2k : : : pmkm ;

1

k1 ; : : : ; km . ki
log x ( 2)
O (log log x ) ( O (log log x ) ).
m , hk1 ; k2 ; : : : ; km i O (log log x )
x ( )
O (log log x ). n - x
n , O (log n ), ( n -
n ).
? , (counting argument, ): m , 1 x (log x )m ,
,
log x . , x > (log x )m x .
|
(
).
, ,
, .
, .
8.2.

| ,
n ( )
"n 2 . 1960-
261

262

8.

; . (
, ; , , [173]).
b ; ,
, , L R (. 8.1).

R
b
. 8.1. b .

, R ,
L . ,
R t . ,
(t log m )=b + O (log t ), m | , b |
. , m log m
, , b
b .
.
152. m .
c , b
b ( ,
) R (t ) t

t log m + 4 log t + c:
b

J - , ( ) , ( -). . ,
(
). ,
, , ;
.
, ( ,
, ). ,
t 0 R (t ). t 0 t ,
( , ,
). , R (t ),
, t 0 , b 0 R . c ( , b t ),

263

8.2.

KS (R (t )) 6 l (S ) log m + 4 log t + c

( l (S ) S log m ,
m - log m ;
b 0 t 0 ( ) 2 log b + 2 log t
, , t > b ( R , );
c ).
L
: L
, t=b ( b + 1,

,
t ). . I
240 , , b 2b . [. ,
.]
.
M :
x , ,
x , xx .
153. " > 0, n -

n ,
.

"n 2

J , n , x ,
u ( n=2). ,
n=2 x (. 8.2).

x
u
n

u
n=2

. 8.2. .

t , R
n=2; , t log m=b + 4 log t + , b | , n=2. ,

t log m + 4 log t + c:
n=2

264

8.

, t < n 2 ( )
4 log t 8 log n . ,

n2
t > 4 log
m

O (n log n ):

n (
n n 2 ). I
? , , , ,
(
). , (,
, , ).
| .
, ,
, . ( ) [83],
( Incompressibility method ). ,
.
, .
, , ,
.
8.3.

k ( ,
, ) , k ( )
. k ( )
. ,
k , k ,
k ( ) , .
; , .
, . , , ,
.

8.3.

265

. x # x , x |
.
( ),
. ,
#, ,
.
, ( ).
, k + 1 , k :
154. k , k + 1 ,
k .
J

m > 1 Lm ,

w1 # : : : # wm # wm # : : : # w1
( w1 ; : : : ; wm ). wi ,
( ).
k Lm , m k ( , m 6 Ck2 ). :
, k 1
w1 ; : : : ; wk 1 . k 1
, .
k 1 , (
),
(wk ; wk +1 ; : : :). :
, k 2
.
(k 1) + (k 2) + : : : + 1 =

k (k 1) = C 2

k
2
. (, m ,
.)
, m > Ck2 Lm k - . M .
, w1 ; : : : ; wm
N . , mN
mN , m N , w1 ; : : : ; wm .

W = w1 # : : : # wm # wm # : : : # w1
M ; , , w1 : : : wm , , M
( Lm ).

266

8.

, M wi ,
M ,
wi . ( , .) :
. , wi , , i ,
| , .
m > Ck2 ; wi , . , , ,
M (
).
M W , , wi (
) , ,
( ).
P O (log N ) ( k; m , N ), 4k (
),
, O (log N ) .
, ( M Lm ) wi
wj j 6= i P .
w1 : : : wm (m 1)N (
) O (log N ) ( ) O (1), mN
N , .
: w wi ( wj j 6= i ), M ,
P . .
(1) w M ,
.
(2) M , P
, w = wi . ( wi P .)
(3) M , P
w 6= wi . , M ( Lm ), W 0 ,
wi , wi w .
, M :
wi w . , wi ( w ).
, , P ,
. ( , | | .)
; ,
, wi , w .

8.4.

267

W wi ; , wi w .
: () ;
() ; () , . ()
M W , () ( wi w ), ()
( ), M
W 0 , W 0 . I
8.4.

3.2 ( 27,
. 65) ( ). : ,
! = !0 !1 : : : ;

pn = !0 + !1 +n: : : + !n 1
n 1=2, 1 . , ( , 1=2), .
, 32 (. 77), ,
, ,
- 1=2 ( 33, . 77).
. ,
, -
1=2, ( 90, . 166). , ! (!)n n n + O (1). , pn
(!)n 1=2. , 146, (
, ) (!)n
nh (pn ; 1 pn ) + O (log n ), h (pn ; 1 pn ) 1
n ( O (log n )=n ).
. 3.1 (. 66) , pn 1=2 n
, 1.
, ?
: , 146, , ,
. ( , 89, ,
3.2, 27.)

268

8.

? . -, , :
155. ! , KS ((! )n )= n + o (n ).

1=2.

: h (pn ; 1 pn ) 1 + o (1). I
-, pn 1=2,
. ; ,
- ( [180]). , ,
.
J

156. ! | , -
, pn |
n . , " > 0,
r

|pn 1=2| 6 (1 + ")

n .

ln ln n
2n

J , ( ) . ,

n O (1) 6 KM ((!)n ) 6 nh (pn ; 1 pn ) + O (log n );

h (pn ; 1 pn ) > 1 O (log n=n ):

p 7 h (p; 1 p ) = p ( log p ) + (1 p )( log(1 p ))

p = 1=2,
( 4= ln 2). ,
h (1=2 + ; 1=2  ) = 1 ln22  2 + o ( 2 )

 0. , n = pn 1=2

n2 = O (log n=n );

|pn 1=2| = O

r

log n

-, . ( ,

8.4.

269

"
: (1913)
O (n = n ),
"
(1914)
, n log n , (1922)
(1 + ") (2 ln n )=n , (1924)
156, .
.)
, KM ((!)n ). (
.) KM ((!)n ) (!)n
pn . nh (pn ; 1 pn ), n , 89
, KP (pn ) ( pn ). KP (pn ) (2 + ") log n ,
pn n .

2
(p 1=2)2 1 h (pn ; 1 pn ) 6 (2 + ") log n=n;
ln 2 n
- .
? , , pn
1=2:
n , n=2

n . ( )
, 2
1;5. .
. pn = 1=2 +
+ n > 1=2. pn 1=2 + n0 , n0 | n ()
. , , 0;9n < n0 6 n . n0
(0;9)k ,

log k , log( log n = log 0;9) = log( log n ) + c . ,
n < 1= n , , n
(1 + ") log log n ( " n ).
, . , h (pn ; 1 pn )

pn ( log pn0 ) + (1 pn )( log(1 pn0 ));

pn0 = 1=2 + n0 ; , (!)n
pn 1 pn , ,
( ) pn0 1 pn0 . , ,
pn pn0 ( pn > pn0 > 1=2,
, ).

n O (1) 6 nh (pn0 ; 1 pn0 ) + (1 + ") log log n

" > 0 ( n ) , ,
p
n0 6 (1 + ") ln 2 log log n=2n:

270

8.

n ( 1=0;9 ); 0;9 ,
( ln 2 , ,
(1 + ")). I
241 156 !: , , n KM ((!)n ) = o (log log n ).
8.5.

8.5.1.

,
.
157.  < 1 | .

2n , . c -

, c .

, , () n , 2n .
( , [38]):
158.  < 1 | -

. , n n .

( 94, . 171). ,
, n O (1) (
n O (log n )). ,
( ) . ( :
, .)
242 !  < 1 ,
. [. .
, .
u k , k
( u
), (log(2k 1))=k .]
157 .
, 158, ,
.

8.5.

271

J 158  ,
 <  < 1. 71 (. 128), N :
x N ,
N . -

, :
N , N . , k
kN O (1). , kN , KP (xy ) 6 KP (x ) + KP (y ) + O (1).
, u ( ) l (u ) O (1), - ( )
O (1). ,  ( )
, ,
. I
243 , . [. . 45 . 51.]
244 46 (. 51), .
J 157; ,
. , F , ( ) ,
. , , , 158
F .
, n ( n ) n + O (1),
. n n + O (log n ),
,
  > . I
, 157 158,
(. [135]). , :
159. 
157 ,
F .

, F
;  , , .
J  < 1 F 157 . c Fc

272

8.

:
() Fc c ;
() Fc 2k k ( k );
()
Fc .
( , Fc F ,
c .)
( , ) ,

Fc , Fc .
, (, - )
, c . (
, .)
ci , ci +1
Fci . Fci
, 157. I
: , , , (, ) .
.
245 , ,
F ,
, F . [.
,
, F .]
. [104] 157,
, ,
( ) .
F . x
( ). wc (x );
, . c | , 1=2.
z F ,
x ( ), k ( x )
wc (x ) c k . ( , wc (x ) z F
.)
c = 1=2 wc (x ) : , x , x
.

w1=2 (x ) = 21 w1=2 (x 0) + 12 w1=2 (x 1) (1=2)l (z ) :

z F

8.5.

273

z
x

. 8.3. z ,
x , k , c k wc (x ).

, 1=2 0, 1=2 1. ,
, x , x , .
| , c ,
w (x ) = cwc (x 0) + cwc (x 1) c l (z ) :
z F

( ) wc , x
, 1. , wc (x ) < 1, .
,


wc (x 0) + wc (x 1) = 1 wc (x ) + c l (z )

z F

2 wc (x ) < 1, , 1 + z F c l (z ) < 2c .
157 ,
, c ( 1=2,  ),
( F ).
246 ,
157: F ( ) ,
,
F .
( . )
. ( ,
| , ,
: , , .) , [134],
.
8.5.2.

,
. , ( ) ,
. .

274

8.

. ,
, :
, , . | , 1, |
.
, : Ai "i , A1 ; : : : ; An
"i , , ,

1 "1 "2 : : : "n :

:
, . , : ,
, ( )
.
157 ,
:
(2(1)n ), ,
|
. :
,
| .
. . Ai , Ai "i ,
, Ai ,
(1 "1 ) (1 "2 ) : : : (1 "n ):
, , , 1 "1 "2 : : :
( ).
, ,
"i ; , "i
.
,
( ), (
).
n A1 ; : : : ; An i 1 n
N (i ) {1; : : : ; n }, i .
i . ( :
.)
, Ai ,
( Ai

275

8.5.

i ).
, . :
160 ( ). i "i < 1
Pr[Ai ] 6 "i (1 "j );
j N (i )

Ai ,

(1 "1 ) (1 "2 ) : : : (1 "n ):

, ,
, : - j ,
, (1 "j ) .
J |
,
. .
() A B | ,
Pr[A | B ] 6

Pr[A ]
:
Pr[B ]

, Pr[A | B ] Pr[A B ]= Pr[B ],

Pr[A B ] 6 Pr[A ]. ( , .)
() C ().

Pr[A | C ]
:
Pr[A | B C ] 6
Pr[B | C ]
, A
C Pr[A ], .
. , .
( , ):
(1) i p; q; : : : ( i
)
Pr[Ai | Ap Aq : : :] 6 "i ;
(2) i; j; : : : p; q; : : :
Pr[Ai

Aj : : : | Ap Aq : : :] > (1 "i ) (1 "j ) : : :

, , ( i; j; : : :) :

276

8.

"i , (1 "i ).
,
:
Pr[Ai

Aj | Ap Aq : : :] =

= Pr[Ai | Aj

Ap Aq : : :] Pr[Aj | Ap Aq : : :];

(1).
, .
(1) : N (i ) N (i ).
( i | , .) N F |
( ). ,
, :
Pr[Ai | N

F]6

Pr[Ai ]
Pr[Ai | F ]
=
:
Pr[N | F ] Pr[N | F ]

(2) , (1 "t )
t N , , "i
, .
, N :
1 ,
(2) .
, (1) (2)
. (1) (2)
, (2)

(1) | Ai . (2) (1),
, :
(1)
(2). I
, .
247 1 N .
(l; r ) , , l , r . ,
( ) ( N 2 )
4=27, . [, ( ).
, "i = 13 ]
248 ( )
: 1=4,
. [.
, ,

8.5.

277

, . ,

. ,
( , ,
).]
8.5.3.

157.

.
, . n (
I ) 2(1)n , n | . 2(1)n  (; 1).
 , .
I J ,
I . , . n + k 1 J
k , I n .
(1 2(1)k );

(1 2(1)k )n +k 1 :
k , N ( N ).
, ,
2(1)n 6 2(1)n (1 2(1)k )n +k 1 :
k >N

( | n = k
, .)
: n + k 1 nk , n -
. ,
2 6 1 k 2(1)k :
k >N

k k 2(1)k  < 1, 1
 <  , N .
( , :  (; 1),
N .
N , N (
). , .)

278

8.

249 157:
, . (,
k 2k ,
 < 1 | .) [: .]
8.5.4.

,
. .
, [133], :
;
() .
: ,
( , ).
, (),
(). ,
(a b c ) (a c d ) : : :
(a b c ) a = 0, b = 1,
c = 1. ( ) .
, . ,
, , .
. ! = !0 !1 !2 : : : | .
F N !(F )
, F (
). (F; X ), F | , X | , F .
! (F; X ), !(F ) = X .
, F ( X ) |
. , F .
[133]:
161.  (0; 1) (F; X ), i n
2n n , i . N
, N .

J ( N , ).

8.5.

279

. n 2n . , i n 2n ,  | ,
 ( , ).
, (
). n
, 2n 2n ,
(1 2m ) , .
, . n . ( ,
.) , . m
2m , (1 2m ).
m n ( n ).
,
2n 6 2n (1 2m )2

m n

m>N

( n )
21 6 (1 2m )2 :
m

m>N

,
21 6 1 2m 2m :
m>N

1,

2()m
m

, N . ( :
 (; 1), N , ,
, , ,
.) I
161, ( ), . . . . . ,
; N | ,
.
I N c (I ) I , I {0; 1},
. ( (F; X )
F I , I .) I c (I ) = 1.

280

8.

 (; 1) ,
I c (I ) 2 ( , N
). ,
k 2k |
, .
, I i , I 0 = I {i }.
I I 0 ( ). 2c (I ) ,
. ?
I , i
I ; K | , k | . 2c (I ) - ? ,
I \ K ,
c (I )=2k . ( ,
2 ,
, k
2k .) k N 1 I ,
k 2(k +1) , i k I .

|I |
c (I 0 ) > 2c (I ) 2(k +1) c2(kI ) ;

k =N 1

( 2 2 )


2k
0
c (I ) > 2c (I ) 1 2k :
k >N 1
, N
21 , . (,
|I |,
.)
8.5.5.

,
( ).
, m m  < 1 (
)? , : , ( ).
.
, 144 (
| () 94, . 171): !

8.5.

281

- ,
KP (F; ! (F )) > |F | c

c F .
, ( ,
, ).
[133]:
162.  (0; 1) | . -

N ,

max KS (F; !(F ) | t ) > |F |

t F

F , N

t .

, !:
F N t ,
KS (! (F ) | F; t ) > |F | 2 KS (F | t )

( 2 , ). t
, , F
KS (! (F ) | F ) > |F | 2 max KS (F | t ):
t F

, ,
F , .
249 (. 278).
J 162 161. , (F; Z ), KS (F; Z | t ) < |F | t F . , t k , F t , 2k , 161. I
8.5.6.

(
).
,
.
| ( ),
( , ) .

282

8.

. , , , ( , , . 8.5.4).
. (
) . - ,
(
). , (
). , .
, :
. .
, ,
: (, - , - ),
. ,
. ,
, [109, 110]. (
, ,
.)
, , ,
( ) |
, .
, () n N ,
m , m .
, ( ). t .
, t , .
? , ".
2m 6 "(1 ")t
( ). " = 1=(t + 1), " = 1=t ,
(1 1=t )t =t , ( ) 1=et . ,
t 6 2m =e . t 6 2m =8.
163. , n N m ,
2m =8 , n + N
1=2.

( , 1, .)

8.5.

283

Fix(d ) ( d | ):
d :
d , Fix(d )
, , Fix
, . , Fix :
, ,
. ( ,
.)
Fix(d ) :
d ;
d 0 d :
d 0 , Fix(d 0 )
, . , - (
), ( ,
). ( ): , d ,
, d .
, . ,
( , ). n , Fix(d )
m , d . (
, Fix,
.)
: ,
,
, Fix.
, , Fix(d ) , d , d
. | . ,
, , n .
, . ,
. (
), .
,
, .1
J

1
, , , , .

284

8.

, , , ( ). k
Fix. n + km .
, :
;
Fix ;
Fix
.
n . N ( , ;
, ). , . ,
, a . , b; c; d ;
e; f; g , , h .
: a; b; e; f; g; c; d; h ( ). ,
c , b ,
e; f; g .

e f g h
b c

a
, , a
( ):
a { b { e { b { f { g { b { a { c { a { d { h { d { a ( ). , () - .
,
. .
, , ,
( ) , log t (
, ). t 2m =8 |
. , ,
. (
, , ,
, ).
( ) log t + 2 (
log t + 1, , ,

8.6.

285

, ). , N + n + k (log t + 2).
, N + n +
+ k (log t + 2) > n + km , k , log t + 2 =
= m 1, k 6 N . N Fix, .
, .
1. , . , :
k = N + c , (
) c . , ,
Fix N + c ( ), 2c
, 2c .
2. - , ,
.
: ,
, , ,
.
3. , : , ,
.
(
,
Fix). I
8.6.

(. 21), . 10,
( { ) .
164. X , Y Z | , f : X Y R,
g : Y Z R h : X Z R | .

2

f (x; y )g (y; z )h (x; z )

x;y;z


6

f 2 (x; y )
x;y

 
 

g 2 (y; z ) h 2 (x; z ) :
y;z
x;z

, -

2 KP (x; y; z ) 6 KP (x; y ) + KP (y; z ) + KP (x; z ) + O (log n )

( 26, . 58).
, , , ,
O (log n ). (
O (1) ( 113, . 128), .)

286

8.

, X , Y Z ,
, . ,
, 1. ( , f ,
, f ; g h .)
, x;y f 2 (x; y ) = 1 .
, x;y;z f (x; y )g (y; z )h (x; z ) 6 1.
: f 2 (x; y ),
KP (x; y ) 6 log f 2 (x; y ) = 2 log f (x; y ) ( ,
,
). KP (y; z ) 6 2 log g (y; z ) KP (x; z ) 6 2 log h (x; z ). ( KP (x; y; z ) )
2 KP (x; y; z ) 6 2 log f (x; y ) 2 log g (y; z ) 2 log h (x; z );

f (x; y )g (y; z )h (x; z ) 6 2 KP (x;y;z ) :

2 KP (x;y;z ) x; y; z (-

57, . 107), .
, , ,

. .
, ( ) f , g h .
N | (
). X N , Y N Z N , N . X N Y N =
= (X Y )N , N f 2 X Y .
( , hhx1 ; : : : ; xN i; hy1 ; : : : ; yN ii f 2 (x1 ; y1 ) : : : f 2 (xN ; yN ).) , N , c ,
KP (hx1 ; : : : ; xN i; hy1 ; : : : ; yN i | N ) 6 2 ( log f (xi ; yi )) + c
i

N x1 ; : : : ; xN ; y1 ; : : : ; yN ( ). N , log N c . , ,
.
KP (hx1 ; : : : ; xN i; hy1 ; : : : ; yN i; hz1 ; : : : ; zN i) 6

6 ( log f (xi ; yi )) + ( log g (yi ; zi )) + ( log h (xi ; zi )) + c log N

i
i
i

c N , x1 ; : : : ; xN , y1 ; : : : ; yN , z1 ; : : : ; zN (, xi ; yi ; zi i = 1; : : : ; N O (N ),

287

8.6.

c log N ). u 2 KP (u ) 6 1, , N

f (xi ; yi )g (yi ; zi )h (xi ; zi )

i

x1 ; : : : ; xN , y1 ; : : : ; yN , z1 ; : : : ; zN 2O (log N ) ,
N . N -

hx;y;z iX Y Z

f (x; y )g (y; z )h (x; z );

1, . . I
250 ,
, . 21. [: f; g; h ;
, , .]
.
()

(
2




2
2
2
2
2
, (u; v ) 6 ku k kv k , ui vi 6 ui vi ).
,


2

f (x; y )g (y; z )h (x; z )

x;y;z


6

x;y


6

f 2 (x; y )



x;y
 

f 2 (x; y )

x;y

2 

g (y; z )h (x; z )
x;y z


g 2 (y; z )



z


= f 2 (x; y )


x;y

h 2 (x; z )

g 2 (y; z )



y;z

h 2 (x; z ) :


x;z

( - ). , f 2 = g 2 = h 2 = 1. ,
x;y;z p (x; y; z ) 6 1, p (x; y; z ) = f (x; y )g (y; z )h (x; z ). , , c > 1.
, p 0 X Y Z :

p 0 (x; y; z ) = c1 f (x; y )g (y; z )h (x; z ):

X Y Z
 . ( , ) x , y z ;

288

8.

xy = hx ; y i . . , xy hx; y i z p 0 (x; y; z ). , (p1 ; : : : ; pk ) pi ( log pi ) pi ( log qi )

q1 + : : : + qk = 1. H (xy )
, f 2 (x; y ):


H (xy ) 6 p 0 (x; y; z ) (2 log f (x; y )):

x;y

H ( ) = H (x ; y ; z ) 6 12 (H (xy + H (yz ) + H (xz ))

( 228, . 252), ,

H ( ) 6 p 0 (x; y; z )( log f (x; y ) log g (y; z ) log h (x; z )) =

x;y;z

= p 0 (x; y; z )( log p (x; y; z )):

x;y;z

H ( ) = x;y;z p 0 (x; y; z )( log p 0 (x; y; z )), , p 0 p c ( log p 0 log p log c ).

8.7.

. , .
f : ,

d (f (!1 ); f (!2 )) 6 cd (!1 ; !2 )

c !1 ; !2 . d |
, 2k ,
k | , .
, , n f (!) n + O (1) !.
, , , ( f (!) !),
.
f : !1 !2 " > 0 N !10
!20 ,

!20 = f (f (f (: : : f (!10 ) : : :))) (N )

8.7.

289

d (!1 ; !10 ) < "; d (!2 ; !20 ) < ":

( , , .)
.
, ( ) : , x1 ,
x2 , x1 x2 .
, ,
d

(!1 ; !2 ) = lim sup dn (!1 ; !2 )=n;

n

dn | n ,
i < n , i - !1 !2 ? ,
, : (f (); f ( )) = (;  ).
( )
. (,
).
, ( [10]):
165.

B --

( , ,
.)
: , n n + O (1) (
, ). ,
( n
n ).
J
( lim inf KS (!0 : : : !n 1 )=n
{!}), . 120 . 197 5.8).

1. .

( f : , ,
n f (!) n + c !
c .)

290

8.

, f (!1 ) = !2 , n !2 (
f ) n + !1 ,
.
2. (!1 ; !2 ) < ",
!1 !2 h (").
( h (") | , " 1 ".)
, n !1 !2
k ,
( ) 2, n k nh (k=n ) + O (log n ) (.
7.3.1, 146, . 253); .
, (, ), ( ) , ,
. , ,
( 1), (
2) , .
, .
,

. I

9.

9.1.

, , ,
, XX , ,
, . .
, ( ), , .
: ,
.
.
(
) | ( , ).
! = !0 !1 : : : :

!0 + !1 + : : : + !n 1
p = nlim

, , ( p ), (,
, ,
, ).
p ( ).
,
, , , ,
.
| | (., ,
\Wahrscheinlichkeit, Statistik und Wahrheit" [106]; | , Wahrheit
()
291

292

). , XX ,
. ,
, (, , ,
, , ).
.
, , .
( ),
, - . ,
( ),
.
, . ( ); ,
, - .

(p = 1=2), . , (
) 1=2.
9.2.

,
: !n ,
, !0 !1 : : : !n 1 .
, ,
!0 : : : !n 1 {; }.
, R ( ).
, R SR , ! ( ) SR (!) . , SR (!) !n ,
!0 : : : !n 1 R ( , !).
: x R
x , SR (!) ! !n , ( n , n -

9.2.

293

R ). :
R , , .
, , ,
- , , ,
1=2. ,
: ( ) , .
, : ! R , SR (!)
, .
!, SR (!)
( ) R : .
, [186],
SRi ( Ri ) !,
: i SRi (!)
( ).
:

166. R | .
! , SR (! ) , , (
).

. , . , ( 1).
J ( , ,
, . 3.2), .
. U | . SR1 (U )
.
. ,

SR (!) ( -

), ,
| .
( : ,
,
? .)
:
x x
x 0 x 1 . ,

294

SR ( , x ).
, z , SR
x z R . , x
- . ,
. z 0
z , , , x 0 . x 1
z 1 . , , .
, x
2l (x ) . U . , U xi
; xi ; . ,
SR1 (U ) . ( 166) . I
, (
) ,

(SR1 (U )) 6 (U )
U . , SR (!)
( ) !, : SR (!) ,

(SR1 (U )) = (U )
U . ( U .)
251 R . , !
( ), SR (!) (
).
, ( ),
( R ) .
?
9.3. {

, SR , R . . [31], , (

9.3. {

295

) { . Church
stochastic.
, 1.
:
167. -

( ) { .
J ( 32, . 77;
. 8.4) , U ( 1=2)
.
, SR | ,
. ,
R 166 ( , , ). -
, ( ). I
{ , , ? , , ,
, :

168. ! | { ,
U | . k , U ! ( U0 U1 : : : = !k !k +1 : : :).
N 1=2l (U ) N .

J .
. , , ( 00 01
1=4). 00 ( 01)
. I
252 , {
k , 2k , 1=2k . [.
, ,
k ; .]
168,
( ),
. ,
, 2. , b (normal in base b ); , ,
(absolutely normal ).

296

, b b k .
, , , |
- [136], .
254 [0; 1].
[0; 1], x 7 {2x }, . ,
,
( , ,
, ).
255 , . [. .
n - x 7 {2x } x {2n x }. , k {2n (kx )}
{2n x } y 7 {ky }. ,
[0; 1].]
(, , ),
[187] (. [69]); .
: ,
1; 2; 3; : : :
,
253

110111001011101111000100110101011:::
( [25]; ,
).
256 . [. k ,

, .]
.
,
. (
, . [4].)
257 . [.
;
,
.]
, {
, , , -

9.3. {

297

, , (). , ,
169. ,
, { 1=2.

J , : , , | .
. ( , ),
1=2. ,
1=2. I
. :
( , )
( ). , ,
| . S ,
[1; 1]. ( 0, |
1.) S !0 : : : !n 1

n 1

S (!0 : : : !i 1 ) (1)!i :

i =0

( |
.)

170. S | , ! | { .
S n ! o (n ).

J 1 1. ;
1=2, , (
) .
S , 1=k k ( 1 1 1=k ), 2k , 1 1; S
,
o (n ), o (n ).
( , k n .)
. " > 0 , S
n ( ) "n
n .

298

k , 1=k ", S
S 0 , 1=k ( ; "=2). S 0 o (n )
("=2)n n ,
S S 0 ("=2)n . I
(
):
171.
{ ,
{ .

J ,
: ,
, .
( , , .) I
( ( 9.12, . 324)
( ) . , , , ,
, . 203, . 343.)
: { -? , - |
.
.
9.4.

, Ri ,
SRi |
1. ,
. [186], . [178] . [86].
SR ,
R . !, SR (!) = 01010101 : : : ( ) SR (!) . , ! (
). SR , , (
) ! . (
!, SR , .)
R1 ; : : : ; Rm . !,
SRi . !n

9.4.

299

! , SRi ( i = 1; : : : ; m ) , m - , .
! 2m ,
2m | !n
, m - v , (
) SRi !n , i - v 1.

.
!, 2m 010101 : : : ( ,
, ). ,
!0 : : : !n 1 . !n ? ,
!n ( ) , 2m !n . ,
( ) !n .
, SRi (!) 2m 1 , , ,
i - . SRi (!) ( SRi (!) , ,
2m 1 , ).
Ri .
,
. .
!0 : : : !n 1 !. , Ri (
SRi , , !n ). m - , u1 u2 : : : ( ui ,
SRi ). , u1 u2 : : :
.
k0 <k1 <k2 <: : :
. , ki = 22i . (
) . , u1 u2 : : : ;
, ki , i | ,
. , !n x ,
i - x , SRi !n ;
( !0 : : : !n 1 ) x
kl (x ) .
!0 !1 : : : () ,

300

. , x ,
kl (x ) , .
, ! , 010101 : : : ; , , !
() , , SRi .
Ri . -, , i
( SRi ). -, , ,
i - . (
20 k0 + : : : + 2i 1 ki 1 ) .
,
, ,
1. , ,
SRi , N > i ,
( )
, ,
O (2N ), kN 1 ,
,
. , 2N = o (kN 1 ).
, , .
( )? , ,
010101 : : : , , .
( [178]):
172. { ,
, .

, ,
{ , -, , ,
, , .
| , , , 8.4 ( 156).
258 , , , , . [. pn | , n
, . , pn
, ,
" > 0 , pn ".
(.82).]

9.5.

301

259 , ,
. [. n
, n , , 1=2. n ,
(
).]
. ,
{ ( - ) .
173. {

! = !0 !1 : : : ;

KS (!0 : : : !n 1 ) = O (log n ):
J , { , Ri .
,
. ( | { .)
, , ( ,
- ). m m ( ) , m .
km 1 = 22m 2 . | ( ), . I
:

174. { ,
-.

: , { ? , , .
.
9.5.

, .
, , : , ,
(, -

302

), 1=2.
, ,
(, ) (
); ,
( ) . , . ( ,
.)
,
. , .
, . ,
, , | , .
(, 0 1,
. ,
.)
, ( ) ,
. .
, m (x ) | , x . : x m (x 0)=2 m (x 1)=2 .

m () = 1 ( , , );
m (x ) = (m (x 0) + m (x 1))=2 ( , -

).
m , , . ( .
, .) ,
, .
 | . ,  (x )=(x ) (  | , x
x ) ,
 .
260 .
( ):
175. m k . , k ,
, . ( ) 1=k .

9.5.

303

J , m , ,
( ) k ,
. , 1, , k ,
1=k .
. m (x )  (x )=(x )
 (  | ). x ,
 - x - k
. (
), . -
k  -,
. I

261 , m ,
,
,
3.5.
: ,
(), .
176. U " > 0.
m : ! U , m 1=".
J  ,  (X ) = (X U )=". (
U | , U | (1=") .) m (x ) =
=  (x )=(x ) . , ! U ,
x !, x U m (x ) = 1=".I
. |
, , . ,
U ,
.
1? : 1=(U ). , N ( 1=2N ),
N 2N . ,
U . , ,
( N ),
(, , 1 2N =(2N 1)).
, ( ). U
a0 : a1 ( , ),
. (,
U 0, .)

304

U
. 1, ",
U ( ,
) 1,
1=".
. , m !, m ! .
( ):
177. () m | .
! , , .
() X | . -

m , X .
J () Uk ,
k , 1=k (
); , m ,

.
() k Uk , 1=k , X , mk ,
k Uk ( X ).
. ,
( , ,
). m4n 2n n ( 1 2n );
U4n ( X )
4n 2n = 2n . , X . I
( 90, . 166),
.
. , m !, ! .
177 , , X . ( , 176 1="
.)
, 93, . 169 , . (
, , .)

9.5.

305

,
:

m 0 , , m .
178.

m 0 : 2 ( m -), ( ,
),
m ( ). 4 ( 8 m ),
( 2) , m ,
.
( ,
). m
c > 0 mc , m ,
c , . , mc c
, m c . mc
, , m4k 2k . I
[146, 34]:
Rf : [1; +) [0; +) | , 1 f (t )=t 2 dt 1. m
m 0 : -
m c , m 0 f (c ). ( : f
.)
, ( ) , , .
. , ,
1=3, , , 2=3.
, | . : m (x ) ( x )
, ( m (x 0)=3)
, ( 2m (x 1)=3):
m (x ) = 13 m (x 0) + 32 m (x 1):
: .
.  | ( ).
,
(x ) = (x ).
m (x ), ,  (
J

306

| ),
m () = 1
m (x )(x ) = m (x 0)(x 0) + m (x 1)(x 1)
x . ( : (x ), (x 0)=(x ) (x 1)=(x )
x .)
, , m (x )(x ) ,
 (-) |
.
. :
(1) , - k !, , 1=k ;
(2) U , 1=(U ) U ;
(3) X - ,
-, (: ) X .
,
. ( ):
179. m , ,
.
J 1.
, p; q c 0 < p < q , ,
[p; q ] , . , , . ,
\buy low, sell high", , p , ,
q .
(q=p ) , . I
.
 . 1  . ,
,  | .
,  . ,
. A | . A
a0 : : : ak 1 . , A ( ),
. ( ,

9.6. :

307

.
, , .)
:
180. , (
).

J , , m (x 0) m (x 1)
m (x ), ,
. I
( , ,
.)
9.6. :

177 :
() , - , , ;
() ( ).
. -,
. , , ,
.
. Bp ,
p .
q > p , q . ( q < p
q .)
( Bp ), Bq =Bp . , , z n
r ( nr n (1 r ) )

q nr (1 q )n (1r ) ;
p nr (1 p )n (1r )

n [(r log q + (1 r ) log(1 q )) (r log p + (1 r ) log(1 p ))]:

q > p , ()
r : r log[q=p ] + log[(1 p )=(1 q )],
. , r > q ( ) r q

308

n [(q log q + (1 q ) log(1 q )) (q log p + (1 q ) log(1 p )]:

(. 240) ,
{ (q; 1 q ) (p; 1 p ), . ,
( q ).

, q .
, ,
.
: qi , , .
, .
3.2 ( 66, . 68),
,
. ( , 9.13.)
-, .
? L (,
) m , ! ( ) :
! L ;
m ! .
, (
) ,
|
, ,
.

? , . ,
. ( .) , (
) . ,
- k , , k
. ( , , :
.)
(, , )
:

9.7.

309

, - , , , .
. (, , .) ,

( , ),
, ,
. , - ,
,
. ,
( ).
, - , . (, ,
.)
177, , , ( )
.

[147].
9.7.

. , , .
,
, .

. ( - ) , .
( )
, . (
4.1; m ,
hr; x i, r m (x ), .)
262 , m , m () = 1,
.
, m () = 1.
( 177), [141]:
181. () m | .
! , ,
.

310

() X | . m , X .

J , ,
() k ,
1=k . ( , ,
: ,
. ,
, .)
, 1=k ,
176 ( ).
( , ),
1=k ( k ). , .
( 177) k () ;
. I
, .
-, ,
X . (, ,
178, , ,
, .)
, ,
, , , . ,
. ,

m (x ) > (m (x 0) + m (x 1))=2
( )

m (x )(x ) > m (x 0)(x 0) + m (x 1)(x 1)

( ) .
,
, ( ) .
, |
, . , , ( ,
| )

m (x ) = a (x )=(x );

9.8.

311

a | (. 5.2), (x ) |
x .
.
{ ( 91, . 168): !  ,
a (x )=(x ) .
9.8.

: , ,
,
.
, , . .
, (x ) = (x ) (
, ).
- .
!  ,  - | , -
.
computably random.
263 , , () , (, ,
1=2); () , (
,
). [. ()
1. () , , ,
.]
?
; |
( p ).
182. () - .
() , .
( , .)
() { .

312

() { .
J () - ,
( 181).
() , , ( ,
).
, ,
. :
x 0 x 1 x ,
. , n -
, 1=2n ( , ,
).
(, ,
. .)
: ; , ?
, (, ).
.
!, ! (, ), .
, (, , ). , i - 2i .
(, , :
,
). !, , .
, | , , , .
, , i - , ( i
).
.
x , ,
m1 (x ) + "2 m2 (x ) + : : : + "k mk (x ), mi | , i - ( | , ,
i - , ).

9.8.

313

, ( x ) 2.
(, m1 x , 1.)
, x ,
(
, ).
"k mk (x ) , "k , 2 ( 2
mk (x ) x , "k ).
mi ,
, .
,
, . n O (log n ), .
() , , , (. 9.6,
, ). ,
(,
p ).
, R | , SR |
, , !, SR (!) . , ,
SR (
, ).
, R , , !, SR (!) , .
{ , .
() ( ) { ,
, ( 172). pn | , n , .
( 258, 259), pn ,
. n Mn , 1=pn , (
n ) , . Mn ( , ,
), ,
,
, .

( -

314

172). (. 9.13). I
264 , . (), . [.
,
, .
, , .
, . ,
t n , t
n n ( ). t ,
n , , .

n , t . .]
, () () ,
{
. 173 (
[100]).
265 . (): f | ,
!, KS (!0 : : : !n 1 | n ) 6
6 f (n ) + O (1) n . [: ,
, , f .]
, !,
f [100].
266 , P
!,
P , ,
(. 306).
,
| ,
, ()
. , (
). ,
.
9.9.

(. 3.4).
[141]. .

183.  , x . !

9.9.

315

 ,  - m
g : N N :

m (!0 !1 : : : !n 1 ) > g (n )
n .

, , , (
).
J ! . ,
3.4 ( 89, . 82), x0 ; x1 ; x2 : : : ;
(xi ) , xi
!.

(x0 ) + (x1 ) + (x2 ) + : : : + (xi ) + : : :

. ,
k - 4k ( ,
). ,
. ,
: n0 < n1 < n2 < : : : ;
k - [nk ; nk +1 ). ,
,
,
. .
k - . 4k mk , 4k .
m = 2k mk . 2k k - . g (n ) = 2k
n [nk ; nk +1 ) ,
!.
, m
g . !,
, n m (!0 : : : !n 1 )
g (n ). " > 0.
?
, g
, 1=" + 1.
m g .
, m g . ( , m
, :
m > g 1, m > g .)

316

, , !. ,
1=", ". , :  > 0, , g
1= + 1: ( )
 . I
[6]:
267 , !
 ,
K KP
h

K ((!)n ) > log2 ((!)n ) h (n ) O (1)

n ( O (1) n ).
[. K h -

{ .
:
- 4n , n -
2n ; , n -
, h .]
,
( ) , { [6]. , , KP ((!)n ) >
> n h (n ) O (1) h ,
, ! . h ( ),
, { .
? 
| ,
{ . , (1) ; (2) , . (2) , F : n 7 ( n - )
. : { F , F
. , F (n ),
, | , F (n ) ,
F (n ) , , ,
. ,
,
.

9.10.

317

268 , , { .
( ,
.)
269 , (. 3.4,
. 82) , ,

.
[. , !
, , , ,
. , ,
, ,
.]
,
( , , . 91
. 82).
9.10.

,
( ) . .
: , . ( ,
.)
( ):
184. A - ,
m : ! A -

m (x )

2(1)l (x )
! .

(  = 1 177.)
184 : , (
) 21 , 21 .
x , m ,
21 m (x ) =

m (x 0) + m (x 1) ;
2

318

2 m (x ) = m (x 0) + m (x 1):
( [90]) \-gales", -
-. : -

p (x )2l (x ) ;
p (x ) | x . -,
( ):
2 m (x ) > m (x 0) + m (x 1):
184 : , - ,
-, - .
J 177.
m | -. , , ( ), - .
, , m k ( )
, - 1=k . -
m (x ) p (x )2l (x ) , x p (x ) > k 2l (x ) . ( ), p -
, 2l (x ) x
(= - ) 1=k .
, - .
-, . - 1=k , - mk ,
k . ( m4k 2k , - -.) mk ?
x -, 1 x
0 l (x ), () ( ).
- 2l (x ) , - .
, - x 1=k ,
k , -. I
.  |
(0; 1]. - -.  = 1,

| ( ) , .
, - ( )
5.8 -

9.10.

319

184.
:
185.  (0; 1] | A -. -

-,
! A .
J

- mk , . I
. m |
-. , m (x ) > k .
. , -
1=k . -

, ( ),
. , ,
- ,
-, .
-
- , - , -
. , ( ).

, :
186. m | -  > . , ( ) m
,  -.

(, ,   .)
J k | . x ,
m (x ) > k , . .  - . ,
, -
1=k . , N -
( ) 1=k .  - 2N ()
. , k
(, , )
 -. I
:
187. A ,

320

A .

-,

.
, 120. , - 2l (x ) . - ( a ),
. , {!}
, a (!0 !1 : : : !n 1 )2n
. n KA (!0 !1 : : : !n 1 );

KA (!0 : : : !n 1 )
:
lim inf

( 120 , .)
9.11.

.
{ , , R . ,
, .
. ,
r | ,
0 1. !0 : : : !n 1 , !n , r (!0 : : : !n 1 ).
, !n , | , | . ,
R , : x R , r
x , r (x ) = 1. (
r .) , r ,
Sr .
, .
[33]
{ . { { ,
{
.
270 , { { { { { .

9.11.

321

. 173 (. 301)
( [100]):
188. { { ! ,

KS (!0 : : : !n 1 ) = O (log n ):
J

KS (!0 : : : !n 1 ) < c log n

c n . ,
{ { ,
, .
, c < 1. ,
c log n ,
n c , n ( Cn ) n=10. n .
n , . , n
90%. . Cn
.
, , . , !, Cn ,
. Cn ,
, ,
| . ,
Cn , 0;9n .
n0 < n1 < n2 : : : n0 ( c log n ). Cni [ni 1 ; ni ],
0;1ni . ni 1 =ni (, 0;1),
ni 0;2ni . ( Cni
[ni 1 ; ni ] [0; ni ],
ni 1 < 0;1ni .)
, ( 169) : ,
, | ,
.
c > 1? , , c = 1;5.
Cn n 1;5 , n ,
. . !0 : : : !n 1 u
v ( n=2 ). hu; v i 1;5 log n .
KS (u ) + KS (v | u )

322

O (log KS (u; v )) = O (log log n ), KS (u ) < 0;8 log n , KS (v | u ) <

< 0;8 log n . , , n 0;8 ,
(n=2). (,
, ,
0;8 log n )
,
. ,
,
/ , .
, , .
n ;
ni . ,
(, ), , KS (u ) < 0;8n ,
, (
),
n , n ni .
, ,
( 21, . 46) . .
- (u
v ) n , . v
( u ), Cn ( n 1;5 log n ), , u
v . , ,
( ).
( u ) , v ,
uv Cn . , ( ). v , , n 0;8 ,
. , , uv Cn .
( , n0 .)
.
u , n 0;8 v ,
uv Cn . ,
( ,
). ,
(
, , ).
ni ? . (, n0 , ni
1;5 log ni ). ( ),

9.11.

323

( 1=2). ,
, .
i v ( u )
ni0;8 , , ,
. ,
{ { .
, c ? , .
. , . ,
( )
. , . ,
.
( . [100].) I
, { { .
(, O (log n log log n ), [100]:
189. f : N N | -

. { { ,
n f (n ) log n + O (1) ( n ).

J , {
( 173).
, (
) | . .
, (
, ),
- . ,
n f (n ) ,
n f (n ) log n (
log n , ).
, n ,
O (log n ), f O (1). I
. , , , ( )
.
,
, . , , .
, ( )

324

, -

, . , [100],
189:
190. () , -

, { { .
() f : N N | .
, n
f (n ) log n + O (1) ( n ).

, .
J () ,
, 182, (). R ,
. ! ,
!.
() 182,
(). , ( - , , ).
log n , n , f (n )
, . I
9.12.

(
). [61] [86, 87].
.
, , (
) . ,
, .
,
( ), .
. F
,
( , ). , F
, , (
).
G 0 1; , 0 , -

325

9.12.

, 1 , ( ).
, F ( )
G ( ) SF;G : :
n0 ; n1 ; : : :

n0 = F (); n1 = F (!n ); n2 = F (!n !n ); : : :

0

( , F ).
F , ni .
!ni , G !n !n : : : !ni
1, G (
). !ni ( i )
SF;G (!).
SF;G , F
G , { .
! { {
, {
( ) .
: Kolmogorov { Loveland stochastic ( KL-stochatic ).
{ {
( p ) p .
, [99]:
0

191. { {
F
G ; .

J F G , ! . ,
!. , . ,
() . , ,
. ,
, . F G . ( ,
, .) I
(
.)
?
.

326

192. () { { { { (, , { ).
() - { { .

, () p (0; 1); ()
, p -
p .
J () { { ( { )
{ .
() { . , p , { { ( p ) - ( p , , p ).
F G , { .
n q Dn;q n , q . , q > p n Dn;q (, p -
D n;q , Dn;q ) .
SF;G , !,
n n q . , p -
p (D n;q ).
, , , , , . : t |
k 1. , k -
( ) ,
t k -
. p , k -
. ,
, , ,
, ( ) k - (
). , , p : (1 p )

9.12.

327

.
.
, ( n ), (
F G ),
, ,
( q | ). (
p )
. I
(): pn (0; 1) p (0; 1), ,
- ( ,
i - pi ), { {
p . { { (
-, , , ).
|
, | { { ( { { { )
:
193. ! , KS (!0 : : : !n 1 ) < n
 < 1 n . !
{ { .

( . . 1980- ) : ,
n , { { .
.
. , 193.
, ,
u [1; 1] ( u
, | ).
u , , (u ) , .
1,
, (
|
).
, , ( ).

. A n ,
2s s < n . , -

328

n s A (
, A ).

, A (
), n ( :
). (
: 2n .)
- k , k (
). : ,
( s = n 1). , . , :
, ,
.
.
w ( j ). 2n j w , n ,
A .
A w ( , A ); .
n s . , ( ), . ,
( ,
A ), n s ,
.
?
( log p ) ( p | A ). A ,
, ,
: ( log p0 ),
( log p1 ), p0 p1 | . , p = (p0 + p1 )=2.
d ,
:
log p0 d > log p;

log p1 + d > log p;

, d ,
log p0 + log p > d > log p

+ log p1 ;

log(p0 =p ) > d > log(p1 =p ):

, d , p=p0 > p1 =p ,
p 2 > p0 p1 ( ). , p0 p1 2p , d (
d ) [1; 1]. .
.
( ), -

9.12.

2
1

1
1 2

1
1

329

. 9.1. : ,
| .
.

. .
, . ( ) ,
(. 9.1). , , , .
.
:

194. K | KS , ! ,

K (!0 : : : !n 1 ) 6 n

 < 1 n . ! { .

J n An n , K n .
2n +O (1) . , n ! An . n
( An ) (1 )n O (1)
! n .
ni ( ,
ni 1 =ni 0) Ani . Ani
ni ,
ni 1 , , ,
ni . ,
n "n " > 0 n . ( " < 1  n = ni
i .)
{ ( 170, . 297). I
193.
J , An n , n .
2n ,
!.

330

An , (
, ). , , .
.
ni , , ni = i ! , ni ; i - ni ni 1 . , ,
i - ,
. , , ( )
i - . Ai | ni ni 1 , .
, i - !, !i ,
Ai ( i ),
Ai , i .
ti | , ,
!i Ai . ,
t2m t2m +1 . : t2m 6 t2m +1 ,
t2m +1 6 t2m ( , , ). ? : ( , )
!2m , A2m !2m , t2m .
( t2m ) A2m +1 , , !2m +1
A2m +1 .
, t2m > t2m +1 ; . , !2m +1 , t2m +1 ,
A2m , .
, m ( [1; 1]), ( 1 
). ( , m , .)
( 170) , .
; ,
1 , (
m ) , N . , N , { . 2N ,
.
, 2N { . , ni 1 =ni
, ,
m 2N
. , m ,
! { { .
193 . I

9.13.

331

( 189) :
195. { { , { { .

193 : ,
() x . , x .
: n x , d , ( n ) ( ) . [40]
( ) :
O (log(n=d )) n , , (n= log(n=d )). ,
, 193, n ,
, n .
9.13.

( [71]), { {
(
-, ).
9.13.1.

, : ( ) ?
.
1. , 0 , , , , 1=2,
, , 2=3. ,
: ,
( , ), .
. ,
 0 (
). ,
- .
271 , ?
272 , (
 0 ) .

332

, 0 , 2=3.
(, -)
 0 ? , | , ,
1=2 6= 2=3.
. pi ; pi0 (0; 1).  0 , , i - pi  pi0
0 . ? , pi pi0
, pi
pi0 .
, 0 1 ,
pi pi0 ("; 1 ") ".
, , pi pi0 (
-).
, [179] ( [54]):
196. () (pi pi0 )2 ,
2.

-  0 .
() (pi pi0 )2 , .

[54] ,
, ( 0
1 ).
J () . ! , pi .
() n
,
n 1

ri ;

i =0

ri = pi !i = 1 ri = 1 pi !i = 0. pi pi0 , ri
ri0 ( ri0 ). ri ri0 ,
.
, ,
n 1

n 1

i =0

i =0

( log ri ) ( log ri0 )

9.13.

333

; , , |pi pi0 | < (,

pi pi0 ). ,
; , .
? , ,
 !.
,
KM (!0 : : : !n 1 ) =

n 1

( log ri ) + O (1)

i =0

( ), (
, , 0 )
n 1

n 1

( log ri ) 6 ( log ri0 ) + O (1):

i =0

i =0

ri ri i .
, ( )

n 1

n 1

ri > (ri + i ):

i =0
i =0
2
, i i < , , i 0 i .

i ", .
pi0 ( ), ,
i . 00 , 0
 ( , pi [pi0 ; pi00 ]).
,
i :
n 1

n 1

i =0

i =0

ri > (ri i )

( ). :
n 1

n 1

i =0

i =0

ri2 > (ri2 i2 ):

( , ),
i (
): ,
(1 hi ) ( 0 < hi < 1)
, hi < .
, . ( 90) ,
! 0 ( 00 , ).
() .

334

() ,
,
(. 197). I
.
273 p0 ; p1 ; p2 ; : : : p00 ; p10 ; p20 ; : : : ("; 1 ")
" > 0,  0 pi pi0 . , (pi pi0 )2 < ,  0
. , (pi pi0 )2 = ,
 0 ( 0 1
). [. 196
, ,
, .
.]
 | , p (x ) |
: p (x ) = (x ). x ,
( p (x ) > 0),
x , p (1 | x ) = p (x 1)=p (x ). ( , x
pi .)
, , ! ,

,

pi = p (1 | !0 : : : !i 1 ) = p (!0 : : : !i 1 1)=p (!0 : : : !i 1 )

( , p
). [179] ,
, :

197. ! -
 0 , pi pi0 ,
, ("; 1 ") " > 0,

(pi pi0 )2 < :

i

, 196. ,
pi ,
p (x 1)=p (x ) (, , ).
J 
~ ,  0 . ,

335

9.13.

x ~ x  0 . (,
: ~ (X ) = ((X ) + 0 (X ))=2,
, !)
,

KA (!0 : : : !n 1 ) =

n 1

( log ri ) + O (1);

i =0

, , ri = pi !i = 1 ri = (1 pi ) !i = 0.
ri0 ( 0 ), r~i ( ~ ) (
).
,
:
n 1

n 1

i =0
n 1

i =0
n 1

i =0

i =0

( log ri ) 6 ( log r~i ) + O (1);

( log ri0 ) 6 ( log r~i ) + O (1):

n 1 ( log r

i =0

i ) + ( log ri )
0

n 1

( log r~i ) + O (1):

i =0

, r~i = (ri + ri0 )=2 ,

n 1 ( log r

i =0

i ) + ( log ri )
0


ri
log

+ ri0
2



6 O (1):

( )
(ri ri0 )2 , (ri ri0 )2 (pi pi0 )2 < ,
.
( , . , , .
, .
, , ! , .) I
, !, ;
.

336

274 . [. ,
, .]
275 , -, ( ,
).
. , ,
( : ).
- .
p q ( 1 [0]
1=p [1=q ]), p 0
q 0 ( 1=p 0 1=q 0 ). ( p; p 0 ; q; q 0
).
( |
; ),
, . ,
, p; q; p 0 ; q 0 (p p 0 )2 ( ) ,
.
? u ,
p; p 0 ; q; q 0 . u
, (p + p 0 )u=2p (
) (q + q 0 )u=2q ( ). ( , ,
u .) v (p + p 0 )v=2p 0
( ) (q + q 0 )v=2q 0 ( ).
. (p + p 0 )2 =4pp 0 ,
(q + q 0 )2 =4qq 0 . , uv .
, , (
p; p 0 ; q; q 0 ) (p p 0 )2 = ,
, , .
,
: ,
0 1 , .
9.13.2.

, p (0; 1) p ( ,
p ) , -

9.13.

337

p , 1 ( , ,
, ).
, i -
pi . , pi p ,
p . :
- " > 0. pi , ( ), p + "=2. , pi p + "=2,
p + ". ,
pi < p + "=2 .
( , ) ,
, .
 ; p |
. x = x0 : : : xn 1
n m , p0 + : : : + pn 1
:

pi = p (x0 : : : xi 1 1)=p (x0 : : : xi 1 ):

x ; ,
( ) n .
( m pi ,
):
198.

Pr[|m (p0 + : : : + pn 1 )| > d ] 6 2e d =4n :

2

, ; , n . { ,
; ( ),
( 4 2).
J ; , ,
Pr[m (p0 + : : : + pn 1 ) > d ] 6 e d =4n :
2

: 0 ,
0 = , .
( 0 = , , , e d =4n
.)
, , ,
( ). , x
p q ,
2

338

p 0 = p + "pq; q 0 = q "pq;
" | , 1=2 ( ).
, p 0 q 0 [0; 1].

n . x
n ? x p 0 =p (
) q 0 =q ( ), p; q; p 0 ; q 0 |
. , ,

ln(p 0 =p ) = ln(1 + "q ) > "q ("q )2 > "(1 p ) "2

ln(q 0 =q ) = ln(1 "p ) > "p ("p )2 > "p "2

x ( p q ); . (
ln(1 + h ) > h h 2 , |h | 6 1=2.)
, ? ",
m ( (1 p ) )
pi , pi |
x , n"2 :
ln

p 0 (x ) > "(m p ) n"2 :

i
p (x )

x , ( d )

p 0 (x ) > "d n"2 = "(d n"):

p (x )
" (0; 1=2), ,
, " = d=2n (, d > n , n , " = d=2n < 1=2).
ln

ln

p 0 (x ) > d 2 =4n
p (x )

p 0 (x ) > e d =4n ;
p (x )
2

. I
( , ,
. , n=2 2 n , 1=e ,

339

9.13.

2k n 1=e k . , | { | ,
.)

, 
:
199. ! = !0 !1 : : : ; , :
2

m

p0 + : : : + pn 1  = 0;
n
n
m | !0 ; !1 ; : : : ; !n 1 , pi |
!0 !1 : : : !i 1 .
lim
n

, , , pi p ,
p ( (p0 + : : : + pn 1 )=n p ).
, , | ! ( ),
, p .
( , ).
9.13.3.

 ,
, R . , SR : : ! !i ,
!0 : : : !i 1 R .
. , !
!i , !0 : : : !i 1 R , pi
:

pi = p (!0 : : : !i 1 1)=p (!0 : : : !i 1 );

SR (!) = !i !i !i : : :
0

( i0 < i1 < i2 < : : : | )

pi ; pi ; pi ; : : :
0

340

200.  , p0 ; p1 ; : : : ; ,
R . n > 0 198:
2

Pr[|m (pi + : : : + pin )| > d ] 6 2e d =4n ;

0

m | n (m = !i0 + : : : + !in 1 ), pi0 ; : : : ; pin 1 |

.

, ! SR (!) n ; ! , .
. , , 0;5. , n
51% ( n )
.
J { , , , 198. , ( ).

( ), (
) ( ), , . I
, [71],
{ { . .
p0 ; p1 ; : : : | , p (0; 1). (
, " > 0 N ,
"; ,
p .) , pi .
201. -  { { p .

J () " > 0 { (, ) R . , U ,
p + ",
. ( , p ".)
n Un !, n -

9.13.

341

n p + ". ( , ,
Un ).
200 Un ; n p + "=2 ( , ),
n . U
( , UN ; UN +1 ; UN +2 ; : : : N ; ,
U Un ). , U
- . I
:
202. -  { {
p .

J { SF;G . F ( ,
). G ,
- .
. !F , !
pi i - ?
!F ! n0 = F () (
). !F
, , pn . !F ? .
,
!. : 1 x !F
pF (x ) , F (x ). , F ( ) pi ,
(p "=2; p + "=2) , .
200 !F , G , 201.
F G , !,
SF;G , x , x ,
p
. I
. 202.
( [151]).
0

342

() " > 0 F; G ,
{ R . , U ,

p + ", .
( , p ".)
Un !, SF;G (!)
n n p + ".
, (Un ) (  | , pi ).
n;k (r1 ; : : : ; rn ) , n r1 ; : : : ; rn k .
n;k (, , ,
ri 1 ). ,
n;k 6 n;l k > l .
, (Un ) 6 n;k (r1 ; : : : ; rn ), k = n (p + "), ri | i -
p0 ; p1 ; : : : (r1 | , r2 | . .; , r1 | pi ; r2 |
min(pi ; pj ) i 6= j ).
, (Un ). , r1 > r2 > : : : lim ri = p . ri , p + "=2,
( s ), | p + "=2. ,

(Un ) 6 n s;k s (p + "=2; : : : ; p + "=2);

,
. ( , n
(k s )=(n s ) p + " p + "=2.)
(Un ). (
), , , ,
| .
, , , .
 | . n ()
, , k () | . ri () i - , p0 ; p1 ; : : : ,
 ( ,
).
(Un | ) Un ,
.
: n () 6 n

(Un | ) 6 n n ();k k () (r1 (); r2 (); : : :)

()

9.13.

343

(  ). n () = n , (
, ). n () < n m | ,
 ( , (Un | ) = 0).

(Un | ) = pm (Un | 1 ) + (1 pm )(Un | 0 );

0 1 | ,  () m - . , ()
0 1 , . , (Un | )
pm n n ( );k k ( ) (r1 (1 ); : : :) + (1 pm )n n ( );k k ( ) (r1 (0 ); : : :): ()
m - , n (0 ) = n (1 ) = n ()
k (0 ) = k (1 ) = k (), n;k ,
ri (0 ) = ri (1 ) 6 ri (). m - ,
n (0 ) = n (1 ) = n () + 1, k (0 ) = k () k (1 ) = k () + 1, ()
1

n n ();k k () (pm ; r1 (1 ); r2 (1 ); : : :)

(, ri (1 ) = ri (0 ))
n n ();k k () (r1 (); r2 (); : : :):
() ,
 n () = n .
, (Un;t | ),
Un;t | , t
n ( n ) k .
t .
9.13.4.

{ { .
203. () { {
1=2, - .
() { { 1=2,
, .
() { { 1=2, { { ( )
{ { .
() {{ , { .

344

J () (0; 1), 1=2, , ,

pi = 21 1
i +5
( 5 , pi ). ()
, pi .
(pi 1=2)2 , -
( ) ! -
( 197). ,
{ { 1=2 ( 202).
() ,
pi , 1=2. ,
,
pi = 21 log(i1+ 5) :
( ) n
, ? , ,
1=2? 198
( n ) e n=O (log n ) ( d
n=O (log n ), d 2 =4n = n=O (log2 n )). n n , N ,
, N , ,
. -
- ( ) , - 
, , N , , . , N
, -  , ,
. 202.
() , [99], , , pi . pi
. ;
k - , 1=2,
( ) nk . 1=2, | 1=2
(. 9.2).
"k k , . , nk "k :
, nk , 21 + "k , , , 1 2(k +3) . (
"k , nk .)
2

9.13.

nk

1
2

1
2

+ "k ; : : : ; 12 + "k

345

nk

1
2

"k ; : : : ; 12 "k

. 9.2. k : .

, ,
k ( k nk ) (
nk , , | ).
, - ( ) ! . 202
{ { .
, , (
) , ! !0 .
: ()
, (0 1)
( ) ( ).
!0 { { ?
: nk . ( nk , , .)
(). , !0 { { (
{ ). , !0 ,
, ,
{ . () . I
, . (
),
. () , { { , , . ( { { { )
( ),
, .
276 , { { { { { { .
277 , { { ( 1=2), . [.

346

: , 197, ,
.]
, { { , ,
.
. : , ,
, ,
( )
()? , ( ; |
Kolmogorov { Loveland random sequences ), - , ,
. ,
, (
, 191, . 325).

(. 9.3).
: (, )
, (, ) |
. - ( )
- =

?

( )

{
{

. 9.3. .

9.13.

347

, ,
( ). . (.
9.9, 183 269). ,
( ) .
, (
, , , ) ,
. , { {
(. 277),
.
: { { ( 190, . 324), { ( 182, . 311),
( 91, . 82). : ( 91,
. 82), { ( 268, . 317), { { ,
O (log n )- n ( 182, . 311), |
( 188, . 321); , { { ,

( 190, . 324, ( 193, . 327).
, ( , ),
.

10.

10.1.

, , " \ [62]. ,
.
( ; , ).
, .
, : N , log N
, . (: N , --, log N .)
. , 8 (. 28) , ( ) :
x n , 2n . , 7.3
.
, [50, 132],
,
:
( ).
x1 ; : : : ; xn | . I {1; 2; : : : ; n } I ,
xI , . , n = 3 7
, , 7 :
KS (x1 ); KS (x2 ); KS (x3 ); KS (x1 ; x2 ); KS (x1 ; x3 ); KS (x2 ; x3 ); KS (x1 ; x2 ; x3 ):

, :
KS (x1 ; x2 ) 6 KS (x1 ) + KS (x2 ) + O (log N );
KS (x1 ; x2 ; x3 ) 6 KS (x1 ) + KS (x2 ; x3 ) + O (log N );
348

10.1.

349

KS (x1 ; x2 ; x3 ) + KS (x1 ) 6 KS (x1 ; x2 ) + KS (x1 ; x3 ) + O (log N );

2 KS (x1 ; x2 ; x3 ) 6 KS (x1 ; x3 ) + KS (x2 ; x3 ) + KS (x1 ; x2 ) + O (log N )

( , x1 ; x2 ; x3 | N ).
:

I KS (xI ) 6 O (log N )
I

( {1; : : : ; n }, I ; ,
N ).
, , ,
, I c ,

I KS (xI ) 6 c log N
I

N x1 ; : : : ; xn N .
, .
( . ) , , . , x1 ; : : : ; xn
1 ; : : : ; n :
I H (I ) 6 0:
I

I | , i i I , , , h1 ; : : : ; n i I -.
7.3: 147
(. 255) , ,
,
( , N O (log N )=N
).
. i Xi .  = h1 ; : : : ; n i n . 147, N N
, ,  .
 N , N n . 147
NH ( ) + O (log N ) ( N , O (log N ) ).
, n
, N .
147 :
I {1; 2; : : : ; n }.
NH (I ) + O (log N ).

350

10. ,

I KS (xI ) 6 O (log N )
I

x1 ; : : : ; xn ,
. , ,

I NH (i ) 6 O (log N ):
I

I H (i )
I

N;

I H (i ) 6 0;
I

.
( ,
). , x1 ; : : : ; xn , 1 ; : : : ; n
, . .
: x10 ; : : : ; xn0 ,
, x1 ; : : : ; xn , . . , 10.6
( 212).

.
KS (x1 ; x2 ) 6 KS (x1 ) + KS (x2 ) + O (log N )

, . X1
X2 | , x1 x2 , A
X1 X2 | . hx1 ; x2 i |A | ( |A | | A ).
x1 A ( x1 , hx1 ; x2 i A x2 X2 ).
m (1), m (2),
:
log |A | 6 log m (1) + log m (2)
, ,
|A | 6 m (1)m (2)

351

10.1.

( , ).
( 26;
228):
2 KS (x1 ; x2 ; x3 ) 6 KS (x1 ; x2 ) + KS (x1 ; x3 ) + KS (x2 ; x3 ) + O (log N ):
, , A X1 X2 X3 :
2 log |A | 6 log m (1; 2) + log m (1; 3) + log m (2; 3)
( m (i; j ) | A i j , . 10.1).
:
|A |2 6 m (1; 2)m (1; 3)m (2; 3):

m (1; 2)
)

;3

(2

m (1; 3)

. 10.1. .

, ,
. N A N . hx1 ; x2 ; x3 i A
3, A N N
3. |A |N ,
log(|A |N ) = N log |A |.
x1 ; x2 ; x3 ( N )
:
2 KS (x1 ; x2 ; x3 ) 6 KS (x1 ; x2 ) + KS (x1 ; x3 ) + KS (x2 ; x3 ) + O (log N ):

352

10. ,

: , hx1 ; x2 i,
N 2, N , A
. m (1; 2) , m (1; 2)N , ( N A )
N log m (1; 2) + O (1). A N , N
O (log N ),
2N log |A | 6 N log m (1; 2) + N log m (1; 3) + N log m (2; 3) + O (log N );
N

2 log |A | 6 log m (1; 2) + log m (1; 3) + log m (2; 3):

278

,
2H (1 ; 2 ; 3 ) 6 H (1 ; 2 ) + H (1 ; 3 ) + H (2 ; 3 ):

[: ,
A , ,
k log k .]
279 , . [. 164.]

, ( 6)
, .
, . ,
KS (x1 ; x2 ) 6 KS (x1 ) + KS (x2 | x1 )
()

m (1; 2) 6 m (1) m (2 | 1);

A X1 X2 , m (1; 2) A , m (1) A
, m (2 | 1) A , .
[,
.
x1 log m (1); x1 m (2 | 1)
x2 , x2 x1 (
) log m (2 | 1).
hx1 ; x2 i A log A = log m (1; 2).]

10.1.

353

280 , L 6 R , ( ), L , ( ) .
, , .

KS (x1 ; : : : ; xn ) 6 I KS (xI ) + O (log N );

I

, , {1; 2; : : : ; n }.
(, :
, :
.)
204. ,
i {1; 2; : : : ; n } , i , .

J xi , , ( xi ) .
, i
. , , ,

KS (x1 ; x2 ; x3 ; : : : ; xn )

KS (x1 ) + KS (x2 | x1 ) + KS (x3 | x1 ; x2 ) + : : : + KS (xn | x1 ; : : : ; xn 1 );

(
). KS (xi | : : :) .
x1 ; : : : ; xi 1 , ,
. ,
. I
281 , ,
, O (1) ( ). [. , ,
O (1) ( 70, . 127). ,
, KP (u | v )
KP (u; v ) KP (v ), KP (z | x; y ) 6 KP (z )
.]
, ,
(), ,
. .

354

10. ,

KS (x1 ) + KS (x1 ; x2 ; x3 ) 6 KS (x1 ; x2 ) + KS (x1 ; x3 ) + O (log N ):

,
A X1 X2 X3

m (1) m (1; 2; 3) 6 m (1; 2) m (1; 3):

. ( ) a b c : m (1) = a , m (1; 2; 3) = abc ,
m (1; 2) = ab m (1; 3) = ac . a b c
a; b; c a 0 1 1, a 0 a ,
ab ac , m (1; 2), m (1; 3) m (1; 2; 3)
, m (1) , .
. :
KS (x1 ) + KS (x2 | x1 ) 6 KS (x1 ; x2 ) + O (1):

m (1) m (2 | 1) 6 m (1; 2)
( ) : m (1; 2)=m (1)

() , , m (2 | 1).
? . (
), .
, , . .
| .

10.2.

. A X1 : : : Xn | n X1 ; : : :
: : : ; Xn . I {1; : : : ; n } A . i I Xi . mA (I ).
, . I J | . I - (
i I Xi ) J - A
I -. i I Xi j J Xj .
mA (J | I ). ( A
, A .)

10.2.

355

, m () = 1, m ( | J ) = 1 J . , m (I | ) m (I ).
, , A X1 X2 (. 10.2).
2

m (2|1)

m (1)

. 10.2. .

mA ({1}) | A
, mA ({2} | , mA ({2} | {1}) |
, mA ({1} | {2}) | . mA ({1; 2}).
:

m (1; 2) 6 m (1) m (2 | 1)
( A ).
, m (1) m (2 | 1)
.
n - :

m (1; 2; : : : ; n ) 6 m (1) m (2 | 1) m (3 | 1; 2) : : : m (n | 1; 2; : : : ; n 1):

, m (1)
m (2 | 1) , m (3 | 1; 2)
. :

m (k1 ; : : : ; kn ) 6 m (k1 ) m (k2 | k1 ) m (k3 | k1 ; k2 ) : : : m (kn | k1 ; : : : ; ln 1 )

k1 ; k2 ; : : : ; kn 1; 2; : : : ; n (
A ).
A , (
k1 ; : : : ; kn ) . | , Ai Xi .
. , -

356

10. ,

. 10.3 ( , | ).

. 10.3. .

I; J; K | . A

m (J K | I ) 6 m (J | I ) m (K | I J )
( I - m (J | I )
J -, m (K | I J ) K --

).

m (k1 ; : : : ; kn ) 6 m (k1 ) m (k2 | k1 ) m (k3 | k1 ; k2 ) : : : m (kn | k1 ; : : : ; ln 1 );

. ,

m (k3 | k1 ; k2 ) m (k4 | k1 ; k2 ; k3 )

m (k3 ; k4 | k1 ; k2 );

m (k2 | k1 ) m (k3 ; k4 | k1 ; k2 )
( )

m (k2 ; k3 ; k4 | k1 )
, . (
). ,

m (J K | I ) 6 m (J | I ) m (K | I J )
I; J; K ,
, .

m (J K | I ) = m (J | I ) m (K | I J )

10.2.

357

(
I; J; K ).
282 , .
283 ,
.
284 , ( )
.
. A
X1 : : : Xn | . A ,
A . i - i Xi .

205. A , I = {i1 ; : : : ; ik } I = hi1 ; : : : ; ik i

.
J I | , J |
{1; 2; : : : ; n }.

m (1; 2; : : : ; n ) = m (I ) m (J | I )
, () , I -, m (1; 2; : : : ; n )=m (I ), m (J | I ),
. ,
I .
, A I
I . I = {1; : : : ; n 1},
, () , n 1 , ,

m (1; 2; : : : ; n ) = m (n | 1; 2; : : : ; n 1) m (1; 2; : : : ; n 1):

()

, 1 ; 2 ; : : : ; n 1 A 1; 2; : : : ; n 1,
: 1 ; : : : ; n 1 ,
, . , , , () :

m (1; 2; : : : ; n ) =
= m (n | 1; 2; : : : ; n 1) m (n 1 | 1; 2; : : : ; n 2) : : : m (3 | 1; 2) m (2 | 1) m (1):
, , A
.I

358

10. ,

. 1 ; : : : ; n I log m (I ) ( I {1; 2; : : : ; n }).

206. , .

, A X1 X2 X3
m (1) m (1; 2; 3) 6 m (1; 2) m (1; 3);
( 24) ,
, ( ) .
, [26], 206 ,
, .
10.3.

1 ; : : : ; n . A , I . ,
log mA (I ) = H (I )
I {1; : : : ; n }. , ,
() ,
.
, , :
. , , ,
( ) .
,
h1 ; : : : ; n i . ,
: ,
, .
, 1 ; : : : ; n .
n ,
. ( )
. N , N , ()
h1 ; : : : ; n i.
, i - N , i .
Xi ( N ,

10.3.

359

). n N
( ), X1 : : : Xn .
, . , N , , . U X1 : : : Xn . .
, , U , .
, N ! ,
U . ( , , , ,
,
, , .)
, .
, U ,
.
. . m ,
q1 ; : : : ; qm . ,
,
N!
;
(q1 N )! (q2 N )! : : : (qm N )!

Nh (q1 ; : : : ; qm ) + O (log N );
h (q1 ; : : : ; qm ) = qi ( log qi ) | , m q1 ; : : : ; qm , | | h1 ; : : : ; n i. N
. ,
I N I .
,
, U . N ( ) , ,
O (log N )=N , ,
n
. ( ) . [26]:
207 ( { ). ,
.

360

10. ,

10.4.

,
. - . .
, SN , . | (
) .
.
G X1 ; : : :
: : : ; Xn . G Xi . G X1 : : : Xn .
hx1 ; : : : ; xn i X1 : : : Xn U .
208.

X1 : : : Xn .

J x = hx1 ; : : : ; xm i G ( ). , U . .
, , x y ,
x (,
G , x ),
.
, U
, U . I

? U G
x . x1 ; : : : ; xn
.
I G xi
i I . , H G
( G
H ).
, .
, m (1; 2) 6 m (1) m (2) , H1 H2 G :
|G | |G |
|G |
6

|H1 H2 | |H1 | |H2 |

|H1 H2 | > |H1 | |H2 |=|G |.

m (1; 2; 3)2 6 m (1; 2)m (1; 3)m (2; 3)
|H1 H2 H3 |2 > |H1 H2 | |H1 H3 | |H2 H3 |=|G |:

10.5.

361

207 , : ( ) (
), . [26]:
209 ( { ).
, .
10.5.

A X1 : : : Xn ,

m (k1 ; : : : ; kn ) 6 m (k1 ) m (k2 | k1 ) m (k3 | k1 ; k2 ) : : : m (kn | k1 ; : : : ; kn 1 )

k1 ; : : : ; kn 1; : : : ; n .
, c -,
c ( ).
, 1- | .
( )
c - .
210.

c -.

() I; J; K | ,

m (J K | I ) 6 m (J | I ) m (K | I J )
( A )

() c - c --

() A 0 | A ,

". A 0 c="-.
()  | , A .
I I
log m (I ) log m (I ) log c .
() I J | . H (J | I )
log m (J | I ) log m (J | I ) log c .
J

()

m (k1 ; : : : ; kn ) 6 m (k1 ) m (k2 | k1 ) m (k3 | k1 ; k2 ) : : : m (kn | k1 ; : : : ; kn 1 )

,

m (J | I ) m (K | I J ) > m (J K | I ):

362

10. ,

, .
c , c ,
, I; J; K .
()

m (n | 1; : : : ; n 1) m (n 1 | 1; : : : ; n 2) : : : m (2 | 1) m (1) 6 cm (1; : : : ; n )
:

cm (1; : : : ; n ) 6 cm (n | 1; : : : ; n 1) m (1; : : : ; n 1):

m (n | 1; : : : ; n 1), c - 1; 2; : : : ; n 1 ( ,
1; 2; : : : ; n , ).

()
, 1=" .
() I m (I ) ,
log m (I ). , J = {1; 2; : : : ; n } \ I ,

m (I ) m (J | I ) 6 cm (1; 2; : : : ; n );
I
m (J | I )=m (1; 2; : : : ; n ) 6 c=m (I );
log m (I ) log c .
()

H (1 ; : : : ; n ) = H (n | 1 ; : : : ; n 1 ) + H (n 1 | 1 ; : : : ; n 2 ) + : : :

: : : + H (2 | 1 ) + H (1 )

log m (1; : : : n ) 6 log m (n | 1; : : : ; n 1) + log m (n 1 | 1; : : : ; n 2) + : : :
: : : + log m (2 | 1) + log m (1):
,  A . (
, ). ,
log c . , log c .
,
log m (J | I ) log c 6 H (J | I ) 6 log m (J | I )
I; J . I

363

10.6.

() ():
,
c -  log c ,  |
. ( c ,
, .)
,
, .
10.6.

x1 ; : : : ; xn
A X1 X2 : : : Xn
, log m (J | I ) KS (xJ | xI ) (
) . .
211 (). n d ,
: N > 1

x1 ; : : : ; xn N X1 ; : : : ; Xn
N d - A X1 : : : Xn ,
|log m (J | I ) KS (xJ | xI )| 6 d log N
I; J {1; : : : ; n }.
, Xi : n -
. , N > 1 ,
N = 1 N c c .

.
, x1 ; : : : ; xn KS (xI | xJ ) (I; J )
{1; : : : ; n }. (, n
: ( J = ) 2n 1,
.) (x1 ; : : : ; xn ).
J x1 ; : : : ; xn A (x1 ; : : : ; xn )
y1 ; : : : ; yn ,
(y1 ; : : : ; yn ) 6 (x1 ; : : : ; xn )

. n = 1
, x1 . n = 2 y1 ; y2 ,

KS (y1 ) 6 K (x1 ); KS (y2 ) 6 K (x2 );
KS (y1 ; y2 ) 6 K (x1 ; x2 ); KS (y1 | y2 ) 6 K (x1 | x2 ); KS (y2 | y1 ) 6 K (x2 | x1 ):

A (x1 ; : : : ; xn ) : hx1 ; : : : ; xn i.
, ( 2KS (x ;:::;xn ) ) 1

364

10. ,

| , KS (x1 ; : : : ; xn ).
, (x1 ; : : : ; xn ),
A (x1 ; : : : ; xn ). O (log N )
(, , ,
n ). A (x1 ; : : : ; xn ) , ( ) , A (x1 ; : : : ; xn )

log |A (x1 ; : : : ; xn )| + O (log N ):

, hx1 ; : : : ; xn i,
.
, A (x1 ; : : : ; xn ) c -
c , N .

m (1; 2; : : : ; n ) 6 m (1) m (2 | 1) m (3 | 1; 2) : : : m (n | 1; 2; : : : ; n 1):

: m (1) 6 2KS (x ) , KS (y1 ) 6 KS (x1 )
hy1 ; : : : ; yn i A (x1 ; : : : ; xn ) ( , 2KS (x )+1 ,
). m (2 | 1) 6 2KS (x | x ) . ,

1

KS (x1 ) + KS (x2 | x1 ) + KS (x3 | x1 ; x2 ) + : : : + KS (xn | x1 ; : : : ; xn 1 ) + O (1);

KS (x1 ; : : : ; xn ) + O (log N ). , KS (x1 ; : : : ; xn ) O (log N ),

O (log N ), N ,
. ,
KS (xi | x1 ; : : : ; xi 1 ) = log m (i | 1; : : : ; i 1) + O (log N );

KS (xJ | xI ) = log m (J | I ) + O (log N )

I J . I
: , ( ).
:
212 ().

I H (I ) 6 0;
I

10.7. :

365

1 ; : : : ; n , N O (log N ):

I K (I ) 6 O (log N ):
I

, O (log N ) n ( n ),
x1 ; : : : ; xn .
J ( ,
) 10.1.
. . x1 ; : : : ; xn A = A (x1 ; : : : ; xn )
. h1 ; : : : ; n i,
A . A
N c -,
O (log N ) 210. , log m (I | J )
O (log N ) 211, . I
. | ,
- ? , , [120].
10.7. :

. :
x n x 2n . (
O (1), .)
,
KS , KS (x ) < n x n ,
( , )
.
.
KS (x ) 6 KS (y ) : n KS (y ) < n KS (x ) < n .
KS (x ) 6 2 KS (y ) : n KS (y ) < n
KS (x ) < 2n .
KS (z ) 6 KS (x ) + KS (y ) : u v
KS (x ) < u KS (y ) < v KS (z ) < u + v .
, : KS (x; y ) 6 KS (x ) + KS (y ).

366

10. ,

: KS (x ) < u KS (y ) < v , KS (x; y ) < u + v . : x 2u

, y 2v ,
2u +v ,
hx; y i ( , ).
.
KS (y | x ) < v : hx; y i
, ( x ) 2v . KS (x; y ) 6 KS (x ) + KS (y | x )
, .
, .
KS (z ) > KS (x ) + KS (y ) : KS (x ) > u KS (y ) > v ,
KS (z ) > u + v . KS , (
: ,
!) : ,
KS (x ) < u , KS (y ) < v , , KS (z ) < u + v .
: KS (z ) < u + v , KS (x ) < u KS (y ) < v .

KS (x; y ) > KS (x ) + KS (y | x );

. : hx; y i
2u +v , x - 2u , hx; y i -
, 2v .
: u; v A 2u +v

B 2u ;
C , 2v
,
, hx; y i A :
x B , hx; y i C .
,
: x; y ,
x . , KS (y | x )
( : C ),
, KS (x ) , x . (
x B .)
285
.
, , :
KS (x1 ) + KS (x1 ; x2 ; x3 ) 6 KS (x1 ; x2 ) + KS (x2 ; x3 )

10.7. :

367

( , O (log N )
N ).
KS (x ) < n , :
KS (x1 ; x2 ) < a , KS (x1 ; x3 ) < b a + b = p + q ,
KS (x1 ) < p KS (x1 ; x2 ; x3 ) < q .
,
:
A X1 X2 X3 , mA (1; 2) 6 2a , mA (1; 3) 6 2b a + b = p + q ,
B; C X1 X2 X3 , A B C , mB (1) 6 2p
mC (1; 2; 3) 6 2q .
, :
A X1 X2 X3 mA (1; 2) mA (1; 3) = l V
l; V > 0, A B C ,
mB (1) 6 l mC (1; 2; 3) 6 V .
: A 1; 2 1; 3 , 1 (
) ( A ) . A B C ,
, .
( , ,
B , | C .)
, . , . .
A 1; 2;
X1 X2 , A12 . x X1 ; n2 (x ) .

m (1; 2) = |A12 | = n2 (x )
x

( ).

m (1; 3) = |A13 | = n3 (x ):
x

mA (1) , m (1; 2; 3) (
A ) :

m (1; 2; 3) = |A | 6 n2 (x )n3 (x ):
x

( , , A .)

368

10. ,

A B C ,
B ( ) C . ,
B ,
B ( n2 (x )n3 (x ) )
l , C . ,
C |A12 | |A13 |=l .
? C
; |A12 | |A13 |. ,
C ( x X1 ) Sl , Sl | l -
( ) A .
2 KS (x1 ; x2 ; x3 ) 6 KS (x1 ; x2 ) + KS (x1 ; x3 ) + KS (x2 ; x3 | x1 )
( , x1 ).
, ,

m (1; 2; 3)2 6 m (1; 2) m (1; 3) m (2; 3 | 1)

|C |2 6 |A12 | |A13 | Sl :

, , ,

Sl 6 |A12 |l2|A13 | :
, B l ,
Sl . n2 (x )
|A12 |, n3 (x ) |A13 |,
() |A12 |=l , ()
|A13 |=l . , S 6 ai bi i = 1; 2; : : : ; l ,

a1 + : : : + al b1 + : : : + bl

S6

( ).
,
.
10.8. :

I KS (xI ) 6 J KS (xJ )

10.8. :

369

(
I; J {1; 2; : : : ; n };
; I J ).
? :
A X1 : : : Xn nI | ,

(nI )I = mA (J )J :

I

A BI ,

mBI (I ) 6 nI :
, , . , ,
O (log N ) . :
d , X1 ; : : : ; Xn ,
A X1 : : : Xn nI ,

(nI )I = mA (J )J ;
I

A BI ,

mBI (I ) 6 nI (log |A |)d :

213. I
J ,

I KS (xI ) 6 J KS (xJ ) + O (log N )

x1 ; : : : ; xn N .

J , , A . ,
A hx1 ; : : : ; xn i
N = log |A | ( ,
).
, A (
O (log N )). , ( O (log N )).
hx1 ; : : : ; xn i A

K (xJ ) 6 log mA (J ) + O (log N )

370

10. ,

J ; J , ,

J K (xJ ) 6 log mA (J )J + O (log N ):



( ) nI , ,

I K (xI ) 6 log nII + O (log N ) = I log nI + O (log N )



hx1 ; : : : ; xn i A . , ( A )
: hx1 ; : : : ; xn i I ,
KS (xI ) 6 nI + O (log N );

xI nI + O (log N ).
A BI .
A .
: N
A X1 : : : Xn , Xi
N , , ( I J )
( ). ( O (log N ))
, N I ; J ,
. ,
.
( . , ,
I J .
1=N ,
N O (1).
O (log N ) .)
. ,
, . .
x1 ; : : : ; xn ,
N .
( O (log N )) . A = A (x1 ; : : : ; xn ). nI KS (xI ),
, ; log mA (J ) KS (xJ ),
. A BI ,
I - 2nI +O (log N ) , A , 2KS (xI ) (, nI ). A

10.9. :

371

, , A ,
BI A . I
286 ( , . .)
287 , 213 , , .
10.9. :

| , ,
- .
, I :
d , X1 ; : : : ; Xn A X1 : : : Xn A (log |A |)d ,

m (I )I 6 (log |A |)d

. ( .)
214.
I , N

I KS (xI ) 6 O (log N )
x1 ; : : : ; xn N .

J ,
. xi N . A = A (x1 ; : : : ; xn ). log |A |
N .
, A ( log |A |, N ) .
, . B . B
A ,
c - c , B (
, - c ), A B O (log N ). ,
B A ( O (log N )), ,
, .

372

10. ,

. A X1 : : : Xn
N = log |A | ,
c - ( N ) c .
( .)

, , . .
, ,
n - . , , A .
,

O (log c ) = O (log N ).
. , (, )
.
, hx1 ; : : : ; xn i A . x A
hy1 ; : : : ; yn i A , , ( A ) , x .
: -, y A ( A
); -, A .
, x1 ; : : : ; xn
, , . ,
c - ( N ) c .
, : 2KS (x ;:::;xn | A) , , . I
, . .
A N2 . ,
1

m (1; 2) m (1)m (2 | 1); m (1; 2) m (2)m (1 | 2):

, () m (1; 2)=m (1)
m (2 | 1) |
.
| ,
() . . ,
, |
.

10.9. :

373

? -, , , ()
. ,
, () : "- , 1="
e . , ,
( , ).
, ? (
),
( ). , ( () 210).

( ).
,
, ( ).
, :
(
n , ). [3] .
, ( , )
.
.
x , X ,

log mX (B | A ) d log |X |;

A;B

A; B {1; 2; : : : ; n },
d | (, ,
log |X | | A = , B = {1; 2; : : : ; n }). ,

.
, d ,
. , ,
, log mX (B | A ) (
). , mX (B | A ) ( ), log |X |
( ). d ,
. , d
(, , n ).
d . log mX (B | A ) A B . ,
,

374

10. ,

log |X |, . .
, . , ,
, .
, .

log mX (B | A ) d log |X |
A;B

( , ) .
, (
) . :
m pm qm (
p + q = 1), dmh (p; q ),

h (p; q ) = p ( log p ) + q ( log q )

( ).
, (, )
d .
( ) , A B , m (A B ) m (A ) m (B | A ).
, A B ,
, B , ,
(, l ) .
( ) , .
l . ,

1= l (

), ( l )
A -.
,
log l ( ,
, ). l ( log l > d )
. ,
c - c , ( d l )
n ( n ),
.
10.10.

, , : , ,

10.10.

375

, . . . .
-, .
( n 6 3). n = 1
. n = 2
0 6 H (1 ) 6 H (1 ; 2 ); 0 6 H (2 ) 6 H (1 ; 2 ); H (1 ; 2 ) 6 H (1 ) + H (2 );
,

H (2 | 1 ); H (1 | 2 ); I (1 : 2 )

. , , :
; ;

1 = h;  i; 2 = h; i;
, , H (1 | 2 ) = H (), I (1 : 2 ) = H ( ), H (2 | 1 ) = H ( ).
, , ,

H (1 ); H (2 ); H (1 ; 2 );

(
; , ,
).
n = 3, , n = 2
, :
, , ,
.
.
( n = 2) , . ,
E .
| , E . ( n = 2) ,
E , .
, , (, ).
, ( ),
.
, ( , E ) , , , . . .

376

10. ,

: ,
;
O (1) .
n = 3.
( ). a1 ; : : : ; a7
, . 59 (. 2.4)
. ,
ai , a5 , I (1 : 2 : 3 ),
1 ,
a2 ; a4 ; a6 . , , E R7
F , .
F , , ( ). ,
, ai , . , e : a5 = 1, a2 = a4 = a6 = 1,
ai . : a5 ,
a2 , a4 a6 , e
|a5 | .
, . , ;
1 , 2 0,1 3 = 1 + 2 (mod 2). , F ,
.
288

(,

n = 3) . , e E
,  .

289 , E ( n ) : e; e 0 R2n 1 E ,
e + e 0 E . [.
, e e 0 , .]
290 , E (
) . [. e e 0 E , k l ke + le 0 E ,
. ,
: "
, (
).]
1
I (x1 : x2 : x3 )
; .

x1 ; x2 ; x3 , -

10.11.

377

10.11.

( )
( );
n = 2 E ,
, E .
,
. , .
,  = 1 ; : : : ; n
I ( I {1; : : : ; n })
, I . H (I ) . H (I | J ) (
I J ,
I ) .
h1 ; : : : ; n i R2n 1 , H (I ) I .
( ) , E .
288, 289 290, ,
(
).
E
, ( E ). , ,
E . , ( ); ,
, E .
:

H (I ) > 0
H (I ) 6 H (J )
H (I J ) + H (I J ) 6 H (I ) + H (J )

I ;
I J ;
I; J :

H (1 ) + H (1 ; 2 ; 3 ) 6 H (1 ; 2 ) + H (1 ; 3 );

I = {1; 2}, J = {1; 3}, I J , .
.
, E ,
, . n = 2

378

10. ,

; n = 3, , , E
. n = 4 , , .
.
, ,
( ).
( n = 3) E ,
, (
, ,
).
n = 4 ; (. [50],
). , E ( , . [50]),
. ( ), :

H (1 ) = H (2 ) = H (3 ) = H (4 ) = 2n;

H (1 ; 2 ) = 4n;
H (1 ; 3 ) = H (1 ; 4 ) = H (2 ; 3 ) = H (2 ; 4 ) = H (3 ; 4 ) = 3n;
H (1 ; 2 ; 3 ) = H (1 ; 2 ; 4 ) = H (1 ; 3 ; 4 ) = H (2 ; 3 ; 4 ) = 4n;
H (1 ; 2 ; 3 ; 4 ) = 4n:
, 2n ,
4n , 3n , ,
4n . ( n ,
, .)
;
. , 1 2 ; 3 4 .
(. 10.4). -

1
n

1 [2 ]
n

2
0 n
0 n
n
0
3 [4 ]

0 n 0
n
n 0

3

4

. 10.4. .

( ) (), : , 3 4
n , 1 ,

10.11.

379

2 . , , 1 2
( ). , , n
. , , 1 ; 2 ; 3 ; 4
.
, ,
. ? ( , , )
, ( ) , .
,

I (3 : 4 ) 6 I (3 : 4 | 1 ) + I (3 : 4 | 2 ) + I (1 : 2 )

( , ). . ,

12 + 3 + 4 + 134 + 234 6 13 + 23 + 14 + 24 + 34
( : , 134 H (1 ; 3 ; 4 )),
. ,
:

215. H1 , H2 , H3 , H4

dim(H1 + H2 ) + dim H3 + dim H4 + dim(H1 + H3 + H4 ) + dim(H2 + H3 + H4 ) 6

6 dim(H1 + H3 ) + dim(H2 + H3 ) + dim(H1 + H4 ) + dim(H2 + H4 ) + dim(H3 + H4 ):
,
.
X F . .
X F, Y X
Y ,
Y . ( : , Y ,
Y .) Y , Y ,
, F dim Y = dim Y ,
dim Y log |F|.
, , .
. Y Z | .
hY ; Z i? ,

380

10. ,

Y Z Y + Z = {y + z | y Y; z Z }
. dim(Y + Z ) log |F|.

216. ,
, (
).
291 , R C. [. ,
. ,
, ".
( ; - X Y X + Y ,
), " 0 - .]
, , , . -, ,
( ),
: , , . , , .
, .
,
- . 0 ( ) .
p .
, , p ,
. ,
.
292 .
,
E .
, E ;
, .

10.11.

381

J . 216 ( ,
). ,
.
H ( |  )
H (;  ) H ( ). dim(A + B ) dim B , A , B ( A B ). , dim A dim(A B ). , I ( :  ),
H () + H ( ) H (;  ), dim A + dim B dim(A + B ). dim(A B ). , I ( :  | ) (
)
H ( | ) + H ( | ) H (;  | );

dim A=C + dim B=C dim(A + B )=C;

X=C , X C . , dim(A B )=C : A B C ,
A B C , . (, ,
A; B; C | .)
,
:
dim(A B ) 6 I (A : B | C ) + I (A : B | D ) + dim(C D )
( I (A : B | C ) A B C ). A B X , ,
dim X

6 dim X=C

+ dim X=D + dim(C D );

dim X=C 6 I (A : B | C ) (
, ).

H ( ) 6 H ( | ) + H ( |  ) + I ( :  )
, 216. I
293 H ( ) 6 H ( | ) + H ( |  ) + I ( :  ) .
[. ,

H ( ) + H ( | ;  ) + I ( :  |  ) = H ( | ) + H ( |  ) + I ( :  );
.]

382

10. ,

294 ,
( R, ). ? [.
, .
, .]
295 ,
. ,
, . [:
215,
( ).]
:
296 , , , . [. ,
, , , , ,
,
( ).
( ) , .]
297 .
10.12.

( ), . ,
, .
; [129, 92].
,   (
| ),
I ( :  | ) = 0. , :
0 , ,   = 0 .
298 . [: I ( :  | ) ( 0
, ) .]
,   , ( )

10.12.

383

 :
 ;
  ;
   .
( ,
)
  .
(, , ,
.)
, , ,
.
, , :
217. , .

J ,  ,
,  , ,   . , . .
0 1 1=2.  , 1=4.
  : =  ,
  ( ).
6=  ,   (
= 1;  = 0 = 0;  = 1)

0 1=8 3=8
1 3=8 1=8
, () = 0
 
0 1
0 1 0
1 0 0

0
1
0 9=16 3=16
1 3=16 1=16
,
3=4.   -

384

10. ,

0
1
0 5=16 3=16
1 3=16 5=16
  . I
: n = 4 , ,
E ( , ). E n = 4
( ) , , .
, ( ) : n > 4 ,
, E .
10.13. ,

, ( ) [191, 192], . [93].

; , (,
) , [93].
218.

; ; ; ; "

I ( :  ) 6 I ( :  | ) + I ( :  |  ) + I ( :  ) + I ( :  | ") + I ( : " |  ) + I ( : " | ):

, , .
( ) - .
( ).
(
, ). ,
()

W (; ; ") = I ( :  | ") + I ( : " |  ) + I ( : " | ):

( . 10.5) ",
. :
, inf"W (; ; ").
: ,  "
 ( , ),
W (; ; ") ,

H ( ) 6 H ( | ) + H ( |  ) + I ( :  );

()

10.13. ,

385

"
. 10.5. W (; ; ").

.
: 218
: W (; ; ") = 0 ",

I ( :  ) 6 I ( :  | ) + I ( :  |  ) + I ( :  )
 . , 10.11
E (  = 3 ,  = 4 , = " = 1 ,  = 2 ),
, 218
.
, ,
()  (
,  ").
219. W (; ; ) = 0, ; ;
:  ,

H ( | ) = H ( |  ) = H ( | ) = 0;
I ( :  |  ) = I ( : |  ) = I ( : |  ) = 0:
J

; ; . ,

( ) 1 ( , ).
, ,
; ; . ,
, . ,
.
, . ,
, ( ) 1,
.

386

10. ,

. , |
-. , ( k ) k ,
( ), k , .
, , (  ,
, ; ;
 ; ; ).
, -, ( , ): ,
, -, -. ( 2 2
2.)
, ( ). -
, ( ),
( ).
, . I
299 .
300 () ( ): I ( : | ) = 0 I ( : |  ) = 0,  , H ( | ) = 0, H ( |  ) = 0 I (h;  i : |  ) = 0. ()
219. [ ().
 219 ,
(a).   
(   ).   ,  
  .
; ;  ; ,   ,
. , W (; ; ) = 0 ,
 I ( :  : ) = I ( :  ). H ( | ) = H ( |  ) = 0 ,   I ( :  :  ) (
). I ( :  ) > I ( :  :  ) > I ( :  : ) = I ( :  )
.
   . , 
 ,  
  .
.]
[130] 219 : a; b; c I (a : b | c ), I (a : c | b ),

10.13. ,

387

I (b : c | a ) (, O (log(|a | + |b | + |c |))), d , K (d | a ), K (d | b ), K (c | a ),
I (a : b | d ), I (b : c | d ), I (a : c | d )
( O (log(|a | + |b | + |c |))).

, , 218 .
:
J ( , , ) , .
, , :
(1) ;  ; (2) ;  ; (3) ":
, ( ,
). ,
h ;  i " h;  i. ,
, ( h;  i) h ;  i ",
,
, , , ,
.
, ( , )

I ( :  ) 6 I ( :  | ) + I ( :  |  ) + I ( :  ) + W (; ; ") +
+ I (h ;  i : " | h;  i) +
+ I ( : " | h;  i) +
+ I ( : " | h;  i):
, h ;  i " ;  ,
 " ;  .

I (h;  i : " | ;  ) > 0;
I ( :  | "; ) > 0;
I ( :  | ";  ) > 0;
I ( :  | ") > 0;
I ( : " | ) > 0;
I ( : " |  ) > 0;
I ( : " | ) > 0;
I ( : " |  ) > 0:

388

10. ,

: ,
. (
, .) I
, , , . , ( ) :
- , ,
( ) ,
.
, . , ,
( ).

.
{ [2], ( [93], 5).

220. -

; ; ".

(i = 1; : : : ; n )

i ; i ; "i

A = (1 ; : : : ; n ); B = (1 ; : : : ; n ); E = ("1 ; : : : ; "n ):
A; B; E E 0 , A; B; E 0 (. 2.4) , A; B; E (
o (n )), , E 0 ,
A; B , o (n ). ( , H (E 0 | A; B ) =
= o (n ).)
, E 0 E
, A; B .
1 ; : : : ; k : n , A1 ; : : : ; Ak . Ak
, A1 ; : : : ; Ak 1 (, o (n )), A1 ; : : : ; Ak
o (n ).
301 { k = 2.
, :  " |
,
"0 ,  , .

10.13. ,

389

, { 218.
; ; ; ; ". , , 218
3H (" | ;  ) . ,

H (" | ) 6 H (" | ) + H (" |  ) + I ( :  | );

H (" |  ) 6 H (" | ) + H (" |  ) + I ( :  |  );
H (") 6 H (" | ) + H (" |  ) + I ( :  )

I ( :  ) + 2H (" | ) + 2H (" |  ) = H (") + W (; ; ") + 3H (" | ;  ):

( 293 . 381), .
. , ; ; ".
{
3H (" | ;  ). n i ; i ; i ; i ; "i (
i =1; : : : ; n ) A =(1 ; : : : ; n ), B =(1 ; : : : ; n ),
C = ( 1 ; : : : ; n ), D = (1 ; : : : ; n ) E = ("1 ; : : : ; n ). A; B; C; D; E n
; ; ; ; "; , .
; ; " {
E 0 , , A; B; C; D; E . A; B; C; D; E 0 c 3H (E 0 | A; B ) . o (n ). E 0
E . , C D , E 0 ,
. (
, .) , A; B; E 0 , A; B; E 0 ,
H (E 0 | A; B ). o (n ). , n ,
218.
. ,
A; B; C; D; E (
| , ).
A; B; E A; B; C; D .
A; B; C; D . I (CD : E | AB ), | H (E | AB ), (
) .

11.

11.1.

, , ? , x , n
, n . |
| ?
: x1 x2 n=2,
KS (x1 | x ) 0, KS (x2 | x ) 0 ( x1 ; x2 x ) KS (x | x1 ; x2 ) 0 ( )?
, ,
O (log n ), n | ( ) ,
, .
, x y c , c -, KS (x | y ) 6 c KS (y | x ) 6 c . , ,
: x y , y z c , , x z 2c + O (log c ). ( ,
, x0 ; x1 ; : : :
y0 ; y1 ; : : : ; KS (xi | yi ) = O (log i ) KS (yi | xi ) = O (log i );
.)
, c - ( O (c ) c + O (log c )). ,
, c - , O (c ), , , I (x : y | z ) O (c )
x; y; z ( ) c -.
( ) :
x 0 KS (x ), x O (log KS (x )).
( ) .
221.

, x 0 x ,
KS (x ). , KS (x | x 0 ) = O (1), x
x 0 . ,
J

KS (x ) 6 KS (x; x 0 ) 6 KS (x 0 ) 6 l (x 0 ) = KS (x )

390

391

11.2.

( ), ,
( ), KS (x; x 0 ) KS (x )
KS (x 0 | x ) 0 O (log KS (x )). I

: ,
x1 x2 - .
302 , .
303 , KS (y | x ) = n , () z , KS (z | x ) n=2 KS (y | z ) n=2 O (log KS (x; y )).
. , ,
.
x y , KS (y | x ) 0 ( y
x ). x 0 , x , y 0 y . ( KS (y ).)
:

222. x y x 0 y 0 ,
y ( ) O (KS (y | x ) + log KS (x; y )) -

y0

x 0.

y 0 y ,
KS (y ). z 0 x
y ; , KS (x | y ). y 0 z 0 , y , x ,
y 0 ; z 0 KS (x; y ) ( KS (x ), KS (y | x ) ). , y 0 z 0
KS (y ) + KS (x | y ) KS (x; y ), x 0 = y 0 z 0 . ,
KS (y 0 | x 0 ) 0 , , KS (x | x 0 ) 0. , KS (x 0 | x ) 0,
KS (x | x 0 ) 0 KS (x; x 0 ) KS (x 0 ), KS (x ).
{ KS (x 0 | x ) 0. I
, x; y KS (y | x ) 0
: x KS (x ) ,
KS (y ) y .
J

11.2.

. , x; y | KS (x ), KS (y ) KS (x; y );
, 2.3, ( -

392

11.

) :
KS (x | y ) = KS (x; y ) KS (y );
KS (y | x ) = KS (x; y ) KS (x );
I (x : y ) = KS (x ) + KS (y ) KS (x; y )

(. . 2.2 . 55). ,
, x y
. , ,
:
x y u KS (x; y ),
( ) hx; y i, KS (x ) x , KS (y )
y ( ).
, , . , ,
( x y ) , z ( ),

KS (z | x ) = 0;
KS (z | y ) = 0;
KS (z ) = I (x : y )

( ). ,
x y z .
, x y .
304 , ( z
), x; y
( u ).
.
, , , , ( . . [113]) .
, x y
2n , n (
), hx; y i 3n .
, ,
z n , KS (z | x ) KS (z | y ) ( | O (log n )).
: KS (x | z ) = n KS (y | z ) = n .
( n ):
223. n x y , KS (x ) =
= 2n + O (log n ), KS (y ) = 2n + O (log n ), I (x : y ) = n + O (log n ), z 1;1n , KS (x | z ) < 1;1n KS (y | z ) <
< 1;1n .

11.2.

393

J , k
k + O (log k ) ( , , k ,
, O (2k ) k ).
, hu;v i,
KS (u ) < 1;1n KS (v | u ) < 1;1n , 2;2n +
+ O (log n ): n , , O (22;2n ).
2n
2n + O (log n ), 3n
3n + O (log n ).
?
. , :
(
O (log n )). , n . ,
, : , .
,
.
, 3n + O (log n ).
. , x; y 2n + 2
, :
KS (x ) > 2n ;
KS (y ) > 2n ;
KS (x; y ) > 3n ;
z , KS (z ) < 1;1n , KS (x | z ) <
< 1;1n KS (y | z ) < 1;1n .
, ,
. ,
( x 22n +2 , 22n ).
. 23n , . ,
21;1n 21;1n
21;1n z , 23;3n ,
.
( )
3n , 3n + O (log n );
2n , 2n + O (1),
, . I
, ; . x y 2n n , , z ,

KS (z ) < ;

KS (x | z ) < 

KS (y | z ) < :

394

11.

u; v KS (u ) <  KS (v | u ) <   +  ,
 +  < 3n .  + < 3n . , , 24n ;
 +  + < 4n . ,
x; y .
, ; ; , .
O (n 3 ), ,
;
O (log n ). :
224. n x y 2n + O (log n),
KS (x; y ) = 3n + O (log n ), z
:
() KS (z ) + KS (x | z ) > 3n O (log n );
() KS (z ) + KS (y | z ) > 3n O (log n );
() KS (z ) + KS (x | z ) + KS (y | z ) > 4n O (log n ).
: c n x y ,
2n log n , 3n
c log n z O (log n )
c log n .

. . x; y C (x; y ) N3 ,
; ; , z
KS (z ) < ;

KS (x | z ) < 

KS (y | z ) < :

C (x; y ) (
) x; y (
x , y ); KS (x ) = KS (y ) = 2n
KS (x; y ) = 3n , .
C (x; y )
, 224 | .
. x; y 2n
n ( , O (log n ),
). h; ; i, C (x; y ),
( )

 +  > 2n;  + > 2n;  +  + > 3n

( KS (x ) 6 KS (z ) + KS (x | z ) ). ,
C (x; y ) CM , -

. ( , .)

395

11.2.

?  0 (; ), h; ; i CM .
h; i 7 0 (; ), ,
( ),
(. 11.1).  ;
.
3n

3n
2n

=0

2n

=0

=n

=n

2n

3n

 = 2n

. 11.1. CM .

2n

3n

 = 2n

. 11.2. Cm .

, , hx; y i ( )
C (x; y ) CM , CM . , z ,  :
 < n z ,
x y .  > n , ,
z x y ( ;
).
224 x; y C (x; y ).
, C (x; y )
CM ,

 +  > 3n;  + > 3n;  +  + > 4n

( () { () ). CM , , Cm ; 11.2.
, x; y C (x; y ) Cm . , Cm ; ,
x; y ( ) Cm C (x; y ).
, h; ; i Cm z . (
Cm ). z ,
x y . , (1;5n; 1;5n )  = n z n ,
; n=2

396

11.

x , n=2 y . (n; n ) 2n , n
. (n + h; h ) ( h 0 n ) z 2n h , y .
KS (y | z ) , z , h .
, KS (x | z ) x y , n ,
y z , h . , (h; 0) h 0
n z 3n h ,
y n h x y .
:
225. x; y C (x; y ) ( ) Cm
CM ; .
C (x; y ) x; y ,
. :
226. C (x; y ) = Cm ( 224).

KS (z ) 6 2 KS (z | x ) + 2 KS (z | y ):

, , . ,
z x y . , x y ,
z , , x; y . , (
) x; y .
J , KS (z ) = O (n ) ( KS (z | x )
KS (z | y ) KS (z ) KS (z )).
, KS (z | x ) KS (z | y ) , C (x; y ):
KS (z ) 6 2 KS (x; z ) 2 KS (x ) + 2 KS (y; z ) 2 KS (y )

KS (z ) 6 2 KS (z ) + 2 KS (x | z ) 2 KS (x ) + 2 KS (z ) + 2 KS (y | z ) 2 KS (y );

2 KS (x ) + 2 KS (y ) 6 3 KS (z ) + 2 KS (x | z ) + 2 KS (y | z ):
8n , 8n , ,
(
). I
305 , KS (z )
KS (z ) 6 KS (z | x ) + KS (z | y );
z , 2 .

11.3.

397

11.3.

,
, ,
. ()
, .
, x y z ,
KS (z ) < , KS (x | z ) <  KS (y | z ) < ? Un (z )
, z n . () 2n .
, hx; y i U (z )
U (z ) KS (z ) < ; () 2 .
, h; ; i C (x; y ) , hx; y i 2
2 2 ( ). : hx; y i 2 2 2 , h; ; i
( ) C (x; y ). , , C (x; y )
, ( ) .
, : , , .
, , hx; y i , x
y . , ,
,
.
, , , : , ( a; b c; d ,
ac; ad; bc; bd ).

. l L
( , l 6 L ).
,
( ,
Ll ) O (1= L ) O (1=l ).

( , ,
,
, O (1),
, .)
. l . ( ) ,
.
-

398

11.

: (
) ( l 2 ).
, L .
, L+ l 2 ,
1=l + l=L .
l 6 L ,
.

l
>
L
,

O (l=L ),

( O (1=
L )). , ,
L ,
. ,
. .

, .
.
F ( ) . , |
. , ( ) .
. ()
2n , 22n , | 23n ( 2n ,
2n ). , (x; y )
KS (x ) KS (y ) 2n , KS (x; y ) 3n ,
I (x : y ) n .
306 , I (x : y ) = n + O (log n ) , 3n O (log n ).
223, , ( ) 21;1n
21;1n 21;1n ( ) ,  , 223). ,
20;55n ,
, ,
21;1n 21;1n 21;1n 20;55n = 22;75n  23n :
( , ) ,
223. , ( . . ) .
307 , (x; y ), 3n ,
( 223). [: .]
(
223) : 2n (
). 2n

11.3.

399

n n (
x 2 x ); , ,
m 2m ( ,
m , ,
).
, , : |
, | , .
( , ). (
x1 y1 + x2 y2 + x3 y3 )
.
( ).
( - ) : x y ,
, - .
, (1;1) .
; ; ,
( 3n ), ; ;
. ( , ), , C (x; y ) ( { )
( O (log n )) S , ( ) 11.3. (  = 3n
.)
3n
2n

n
 = 2n

=n

2n

=0

3n

. 11.3. S .

 + =2 + max{ =2;  } > 3n;

6 

 + =2 + max{=2; } > 3n:

400

11.

CM ( C (x; y ) CM
(x; y )); ,
.
, ,
C (x; y ); , .
. ,
C (x; y ) F. ,
.
F : |F| = q 2 ( q |
). u | F2 , v | u . , C (u; v ) (1; 5n ; n ; n ), n = log |F| = 2 log q ,
S . 11.3 ( ). ( 2n .)
[. , G F
q . F t + s,
t; s G,  | F ( F G). , (,
) q 3 , q 3 .
q 2
q 2 . y = kx + b ( ,
| )
k = f + r b = h + s, f; r; h; s G. x
(x; y ) x = g + t ( ,
y = fg + h + (ft + gr + s ) + rt2 ). r; t; s (
q 3 ), (, ).
q 2 ( )
q 3 ( ). . k = f + r,
b = h + (s ft ), (g + t; fg + h + (gr + s ) + rt2 ) (
- f; g; h; s; r; t G). r; t; s ,
, q 2 ( (f; h )), q 2 ( (g; fg + h )).]
308

309 , (x; y )
C (x; y ) ( ):
h; ; i ,
2 2 . , C (x; y )
, , 2 ,
( n ).
[ (. , [127]). : ,
. , , ,

11.3.

401

; ,
.]
, ,
z :

227. x; y | {
( ) 2n . z

KS (z ) 6 2 KS (z | x ) + 2 KS (z | y ) + O (log n ):
J

,
8n 6 3 + 2 + 2

h; ; i C (x; y ). , S CM .
,  6 .  ,  + =2 +  > 3n ,
S ,  + > 2n , CM .
 + > 3n S
 +  > 2n  +  + > 3n CM . I
, . C (x; y );
? ,
, ( , ),
( ).
, ,
: .
() , , ;
,
C (x; y ), , (. [127]).
, | . , A
x; y (, ) 2n n , z KS A (z ) < 1;1n , KS A (x | z ) < 1;1n
KS A (y | z ) < 1;1n . , , ,
x; y - ( )
. (, ,
.)
310 , u .

402

11.

,
, [117]. ,
( ). ,
,
. , (,
, , ).
. , ,
( )
( , ). , , , :
, ,
. ,
,
( 5
[27]).
. ,
.
: n > 3 k; l ,
0 < k < l < n . n -
(k - , l - ). . [129],
. , ( k - , n -, ) .
11.4.

,
, [92, 129]. 293 (. 381):

H ( ) 6 H ( | ) + H ( |  ) + I ( :  );
, :
KS (z ) 6 KS (z | x ) + KS (z | y ) + I (x : y )

( ). , I (x : y ) = 0,
:
KS (z ) 6 KS (z | x ) + KS (z | y );

11.4.

403

: , .
, . ,
, x y
, u v , I (x : y | u ) = 0,
I (x : y | v ) = 0 I (u : v ) = 0. , :
228.

KS (z ) 6 2 KS (z | x ) + 2 KS (z | y ) + I (x : y | u ) + I (x : y | v ) + I (u : v )

x; y; z; u; v

O (log KS (x; y; u; z; v )).

I (x : y ) 6 I (x : y | u ) + I (x : y | v ) + I (u : v );
, . .
J
KS (z ) 6 KS (z | u ) + KS (z | v ) + I (u : v )

KS (z | u ) KS (z | v ),
:
KS (z | u ) 6 KS (z | x; u ) + KS (z | y; u ) + I (x : y | u );
KS (z | v ) 6 KS (z | x; v ) + KS (z | y; v ) + I (x : y | v ):

, : KS (z | x; u ) 6 KS (z | x ). I

. , ( 217, . 383):  
 ,  .

;  :   , . ,
,
 .
, (
, ),
,
. .
x; y; u; v N , h; ; ;  i. , i = 1; : : : ; N ,
x; y; u; v a; b; c; d ,
Pr[ = a;  = b; = c;  = d ] N + O (1)

404

11.

( O (1) , N ).
7.3 ( 146),
( N ) O (log N ).
, x; y; u; v ,

I (x : y | u ) = O (log N ); I (x : y | v ) = O (log N ); I (u : v ) = O (log N );

I (x : y ) = NI ( :  ) + O (log N );
, , I ( :  ) 6= 0. 228 , z
KS (z ) 6 2 KS (z | x ) + 2 KS (z | y )

O (log N ), x y
N ( )
, . , ,
, .
311 ( 217, . 383),   ,
{0; 1}, 5=8. , : c (3=8 6 c 6 5=8)
, {0; 1}, c .
c 1=2, .
, 0 < c < 1
, ,
c . :
312   {0; 1}
c (0; 1). ,
1 ; : : : ; k 1 ; : : : ; k ,
  1 1 ; 1
1 2 2 , 3 3 ,. . . , k k , . [. c > 1=2, c 0 = (c 2 + 1)=2.
, 217;  ,

11.4.

405

c .
;  = 0,  = 1 = 1;  = 0
,  
 . , , 1/2 1
1/2 5/8
c 7 (c 2 + 1)=2. c < 1=2 ;  .]
313   312. x , y n ,
  . ,
x y . ,
z K (z ) 6 O (K (z | x ) + K (z | y ) + log n ) ( O ()
).
312 . , , ,  312.
,
  ,



A 0
0 B
( ).
( , n   ) . ,
(, ) . [92] ,
[46].

12.

12.1.

, ,
| . - ; ( )
( )
. ;
, [153].
. . ,
. ,
. :
( ),
v :
X | v ( v ),
Y1 ; : : : ; Yk | (
v ),
KS (X | Y1 ; : : : ; Yk ) 0:

, , v , .
, , ,
O (log N ), N | , .
, ,
N .

, . ; . ,
.
406

12.1.

407

: ,
(. 12.1; ,
)

A
k
B
. 12.1. .

A , B ,
k .
, A B X ,
KS (X | A ) 0;

KS (B | X ) 0;

l (X ) 6 k:

, KS (B | A ) 0 KS (B ) 6 k ( ); ,
, X
B .
:
An Bn , kn ,
An Bn , kn , n .
:
(1) Xn , l (Xn ) 6 kn + O (log n ),
KS (Xn | An ) = O (log n ) KS (Bn | Xn ) = O (log n );
(2) KS (Bn | An ) = O (log n ) KS (Bn ) 6 kn + O (log n ).
(1) (2) ,
KS (B | A ) 6 KS (B | X ) + KS (X | A ) + O (log KS (A; B; X ));
KS (B ) 6 l (X ) + KS (B | X ) + O (log KS (B | X ))

A; B; X ( (1) (2)), ,
A; B; k X , l (X ) 6 KS (B ),
KS (X | A ) 6 KS (B | A ) + O (log KS (B )) KS (B | X ) = O (1),
(2) (1); X B .
A = B : A k ,
A k .
.

408

12.2.

A B (. 12.2). A k
, ; ,
B ( ,
, ,
B ).

k
A
. 12.2. A B .

, KS (A | B ) 6 k . ,
, B ( - , , B ) k ,
, KS (A | B ) 6 k . ,
KS (A | B ) 6 k , X ,
, B A ,
B . ,
hA; B i ,
, ,
.
314 ; ,
, A B
hA; B i , O (log KS (A; B )).
315 A B , An , Bn kn , .
12.3. :

. . [114]
{ [157] ,
B . ,
(. 12.3).

12.3. :

409

k
A
. 12.3. A B : .

, , , KS (A | B ) 6 k . (
); .
229. A B | n .
X KS (A | B ) + O (log n ),
KS (X | A ) = O (log n ) KS (A | B; X ) = O (log n ).

, O (log n ) n
A B .
: A B , B A ,
A KS (A | B ) ( ). , , A , ()
O (log KS (A; B )).
J A a . ()
a . KS (A | B ), KS (X | A ) KS (A | B; X ) O (log n ), ,
A ( ) a .
KS (A | B ) m . . -  : Ba Bm ,
a - (, ngerprint)
m .
B 2m Z a , KS (Z | B ) 6 m
( O (2m ), ).
SB Ba | . A | SB .
,
SB - . P SB
(P ) B ( ).
X , , (A ): , A (  )
B A ( SB ,
-).

410

, . - ,
a > m 2am , - (
 -,
B B ), .

Z Ba -, ( poly(n )). ,
- E Ba Bm ,
Z ( Ba ) poly(n ) .
x .
, X A .
, KS (X | A ) = O (log n ), E ( O (log n )). , X A
X A .
A SB X , A SB
( , SB , X ),
A , SB , X
. KS (A | B; X ) = O (log n ) (, ,
, E O (log n )).
, , SB poly(n ) X , A
( SB ), O (log n )

.
, : A ,
(poly(n )) . ,
E SB SB Bm .
,
| 2m .
: ,
, , ,
. , A
.
: ,
( , , poly(n )),
. , 1=p (n ) p (
,
).
, , E : T
m 1 E (T ) 2
T , T . ,
T . , , . (,
E SB .)

12.3. :

411

, E
, A ( )
.
,
( ); | ,
. , ,
. ( , ).
- , . (
, ).
-
.
: A ? ,
B ( E ); SB .
E , .
, ( B )
, m , 2m . ( O (log n ) , m , a E ,
m , .) ,
A B m ( m ). A
.
, .
,
. .
. a m | , a > m . E Ba Bm , (Ba )
a + m + 2, : T Ba , 2m 1 , E (T )
T , T .
. ,

. , ,
a + m + 2 , .
( ).
, () T U ,
|U | = |T |, T U . T U ,
T U .
T U ; t . , t 6 2m 1 , ,
U , 1=2. , t (a + m + 2)

412

( a + m + 2 t T ) 2t (a +m +2) .
T U
t . T (2a )t ( t 2a ; ),
U (2m )t . ,
t
2mt 2at 2t (m +a +2) = (1=4)t :
, (1=4)t ( t > 1) 1 ( 1=3).
.
Em;a | - , ( m a ). 2 log a + O (1)
( a m , 2 log a ).
B m a SB
a , B m . 2m +1
. Em;a SB .
2m +1 (a + m + 2) 6 a 2m +3 ( 2m +1
a + m + 2 ). ,
a 4 . k = 2m +3 =a 3 .
( SB ), . Em;a k = 2m +3 =a 3 . , , a
, k < 2m 1 . k + 1 , k + 1 k
. ( m , a B ),
(
m 3 log a + O (1) ),
KS (P | B; m; a ) 6 m 3 log a + O (1)

P . , 2 log a ,
m a , ( B ) m A .
, . X .
KS (X | A ) 6 (3 + ") log a + O (1) ( m , a X
A Em;a ; "- ). X m ,
KS (A | B ). , KS (A | B; X ) (6 + ") log a ( 4 log a
A a 4 X ,
2 log a m a ; " ).
. I
316 , , : , B n , .

12.4.

413

, O (log n ),
n A; B . , ,
O (log m ), m KS (A | B ) KS (B | A )?
, [177, 5] ( ).
12.4.

| ,
. . (.
[111] [115]
.)
229 . a , b m (, m 6 a )
: () (). c
( O (log n ), ).
A a
c (a + b )c m , A .
, B ( b ) X ( m )
c (a + b )c a ,
B; X .
B b 2m a ,
m - B .
( - )
( ).
, . : ,
. (, , , |
, .) :
, B b
A a , m - B ,
X m , A
A B X .

229.

230. c ,
m 6 a ) a , b , m c

a; b; m (

414

, 229. , c . , ,
, m - a , m ( B ).
, a , b , m . ( )
( a , b m ). ,
, () | , ( log c + c log(a + b ) ), a , b , m ,
O (log(a + b )) . , 229.
( : c (a + b )c c a b O (1)
, , , O (log n )
n = 1 log n = 0.)
: , 229
( O (log n ), c 0 ) ,
c . , , c a; b; m
, .
a; b; m . ,
A B ,
A B | m + O (KS (c )).
, :
X , KS (X | A ) < c log(a + b ) + log c , A ,
KS (A | B; X ) < c log(a + b ) + log c .
, , . ,
. A; B a; b
A B . 229 X 0 KS (A | B ) + c 0 log(a + b ), .
KS (A | B ) m + O (KS (c )), X 0
m . m , X .
KS (X 0 | A ) KS (A | B; X 0 ) , X 0 . KS (X | A ) KS (A | B; X )
, c c log(a + b ) + log c ( ,
).
. KS (X | A )
c 0 log(a + b ) + O (log m )
( X 0 A m ). KS (A | B; X )
c 0 log(a + b ) + O (KS (c ))

12.5. : on-line

415

( A B; X X 0 ). , c 2i ,
c log(a + b ) + log c ( c = 2i c ,
KS (A | B; X ), log c ).
, , 230
229 (, , ).
229,
.
A , (
-). A , X ,
X B , A B , B , ,
X . | B | , B .
, B ,
, , m .
. , A , ,
, .
, ( ),
:
317 , A n X
KS (A ), KS (A | X ) = O (log n ) X
A ( , A X ) O (log n ). , KS (A | X )
KS (X | A ) . [. ; (. 14 ).]
, B . B
, KS (X | A ) X A ( );
, A ( )
n .
12.5. : on-line

229,
( ) .
. A , | B , E A B .
: A 0 A ,

416

a A 0 B ( B , a ),
.
, on-line: ,
( ). , E A B
on-line k , , k ( ,
). , , k A ,
(
).
, ( ,
| ). , on-line
PSPACE. ( ,
- .)
231. c a m ( a > m )
c 2a 2m a c
,
on-line 2m .

ac

,
() , on-line (
) | .
231, , 229. , , A a . m K (A | B ) + 1 231;
(2a a c 2m ,
a c ). , .
on-line . B ,
m B . 2m A . . X ,
A . A ( ),
A . ( on-line
, a m .) , B X (
), ,
X , A .
J 231. ,
, 2m
, , ( ).

12.6.

417

, ,
( 1 m
, , ),
. ,
,
( m; m 1; m 2 : : : ).
, ()
, . : ,
, , . ,
. , ,
, 2m 1 . , , 2m 1 , .
( ?) :
2m 1 ( )
2m 1 . I
, | { .
, , { .
on-line ( , , .)
, (
) , .
( ) [13],
[123]. ,
(, ,
. ) ,
[121, 122]. (
| ,
.)
12.6.

A B X k , A B
B A (. 12.4).
, KS (A | B ) 6 k KS (B | A ) 6 k .
, , ,
k ( X ),
B A ( , , A ) .

418

B
k

. 12.4. { { { { .

:
max(KS (A | B ); KS (B | A )) 6 k
( , ). , , , [5],
. :
232. A , B | , KS (A | B ) < k
KS (B | A ) <k . X k , KS (A | B; X )=
= O (log k ), KS (B | A; X ) = O (log k ) KS (X | A; B ) = O (log k ).
J hA; B i, KS (A | B ) < k
KS (B | A ) < k . ( ),
(, A , ,
B ) 2k .
() , , ( ) 2k .
,
2k +1 ,
( ). :
2k +1 , ,
( ), .
, 0 2k +1 1.
(
). ( ,
,
.)
, , 2k + 2k
( 2k , ).
: 2k
2k , 2k +1 .
X . k + 1 , O (1). ,
A , k , , A -

12.6.

419

X , KS (A | B; X; k ) = O (1) KS (A | B; X ) = O (log k ).
KS (B | A ). , KS (X | A; B; k ) = O (1), A ,
B k , hA; B i X . I
318 :
()
N , N ,
. , 232
, ()
. [. , N ,
{ . , , ,
on-line.]
: A B max(KS (A | B ); KS (B | A )) (
), A B B A .
, X , A
hB; X i B hA; X i, A B ( ,
; A = B ).

A B | n (
X , . [: A B .]
KS (A | B ) KS (B | A ) , 232 . , , KS (A | B ) | (
B A , ). , X
: , A B (
, KS (B | A )) ( KS (A | B ) KS (B | A )),
.
, :
233. KS (A | B ) < k , KS (B | A ) < l k > l . X k , KS (X | A; B ) = O (log k ), KS (A | B; X ) = O (log k ),
KS (B | A; X 0 ) = O (log k ), X 0 | X l .
J 232, 2l +1
,
, | 2k l .
B A , A B
k l (
). I
320 233 , [5]: 233 Y k l X l ,
KS (B; Y | A; X ) = O (log k ) KS (A | B; Y; X ) = O (log k ).
319

KS (A ) n , KS (B ) n KS (hA; B i) 2n .

420

12.7.

,
(. 12.5).

k
C

. 12.5. C A , B .

A = B ,
12.3 ( ). C = hA; B i,
12.6 ( A
B , ).

KS (C | A ) 6 k; KS (C | B ) 6 k:
. . [114], .
:

A , B C |
| , KS (C | A ) 6 k KS (C | B ) 6 k . X k + O (log n ), KS (X | C ) = O (log n ),
KS (C | A; X ) = O (log n ) KS (C | B; X ) = O (log n ).
234.

n, k

: A; B; C
n max(KS (C | A ); KS (C | B )) +
+ O (log n ), C ,
A B C . ( , , A B ; .)
, , C :
. ,
(?) , (. 12.6).
234
:

A , B C |
| , KS (C | A ) 6 k KS (C | B ) 6 l .
X k , KS (X | C ) = O (log n ), KS (C | A; X ) =
= O (log n ) KS (C | B; X 0 ) = O (log n ) X 0 l ,
X .
235.

n, k > l

12.7.

421

k
C

. 12.6. .
321 . [: X k , l .]
[114]; 235.
J , : X
C .
. k l ,
. k = l
: X , KS (C | A; X ) ,
X 0 , KS (C | B; X 0 ) ,
A , B .
X ,
SA , SB ( SA SB
, A B ).
( , : SA SB
, SA SB ),
, , SA
SB .
: ,
, ,
A , B , A B .
? A B , ,
C , . A B
, ,
A , B .
,
E P Q ( P Q ).
, U Q
x P ,
U , . ( ,
U , .)

422

, ,
, ( ,
).
( [u ]m u , m ):
.
",

N,

n 2N +2n +1 "N=2 < 1:

1 ; : : : ; N : Bn Bn
: m {1; : : : ; n } U Bm , "2m ,
x Bn ,
[i (x )]m U i {1; : : : ; N };
|U | ( U ).
[: N ,
N , (i (x ) = j (x )
i 6= j ).]
. , 1 ; : : : ; N
( i (x ) i x Bn )

.
. m 6 n , t 6 "2m
T Bn U Bm , t , ,
x T [i (x )]m ( i = 1; : : : ; n )
U . x T , U , 2N "N=2 ,
2N {1; : : : ; N }, N=2
, , i U ,
"N=2 ( [i (x )]m i
Bm , U Bm "). x T ,
t .
, ( )
n

"2m

(2N "N=2 )t :

m =1 t =1 T B ;|T |=t U B ;|U |=t

T 2nt ( t , Bn ); U
2mt . ,
n

"2m

2tn 2tm 2tN "Nt=2

m =1 t =1

12.7.

423

"2m

(2n 2m 2N "N=2 )t :

m =1 t =1

.
1=2,
, t . ,

2n (2N +n +m "N=2 ) 6 n 2N +2n +1 "N=2 ;
. .
" = 1=8.

n 2N +2n +1 < 8N=2

log n + N + 2n + 1 < 3N=2:

, N = 6n ,
n .
235. ,
C () n ,
Bn . ( A B ; ,
n .) N = 6n " = 1=8 N
1 ; : : : ; N : Bn Bn . ,
, -
, , O (log n ),
n .
KS (C | A ) = k KS (C | B ) = l . (
KS (C | A ) 6 k KS (C | A ) 6 l , k l , .) - k l , N Bn
Bk ( Bl ). Bn Bk
Bn Bl , N (
). SA SB , SA
n , k A , SB
n , l B . Bk
, n c SA ;
Bl , n c SB . (
c .)

2N 2k =n c 2N 2l =n c ;
n c ,
|SA | N ( |SB | N ), |SA | < 2 2k |SB | < 2 2l .

424

SA ,
SA Bk ( ) . ,
SA
2N 2k =n c
( , c ,
"2k , " = 1=8; , N = 6n ).
, n; k A , A

log(2N 2k =n c ) + O (log n ) 6 k c log n + O (log n ):

c ( A ) k , C . , [i (C )]k ( N i = 1; 2; : : : ; N )
Bk .
SB Bl , ,
[i (C )]l SB . , i ,
. X = [i (C )]k X 0 = [i (C )]l
. I
322
( ).
229 235.
- ? , A
n X n=2, KS (A | X; B ) 0
B , KS (A | B ) 6 n=2?
, - . ,
X . A X n=2
( KS (A | X; B ) 0 B ,
A ). X B , X B
, KS (A | X; B ) n=2 ( ,
).
323 , ( ) . [. , k .
. i , i ,
Bi . i = i0
A Bi n=2. , A n=2 (
, B ,
n=2 A ) i 1
KS (A | Bi ) . , i0 n=2k .
k Bi ,
KS (A | Bi ) n=2 i0 6 n=2 n=2k
( i0 k ), n=2.]
0

12.8.

425

12.8.

;
.
, .
( ,
;
).
, , , .
I () , ( I
). ,
I , I . , I . u1 ; : : : ; uk .
V1 ; : : : ; Vl | I , W1 ; : : : ; Wm | I . :
KS (W1 ; : : : ; Wm | V1 ; : : : ; Vl ) 6 u1 + : : : + uk :

( ,
.) , V1 ; : : : Vl ,
, I ,
( ) , I , W1 ; : : : ; Wm . ,
I ( ;
, ).
.
,
. 12.6
I , . 12.7
.

B
k

. 12.7. { { { { .

426

A k (
); , I ,
(,
). KS (B | A ) 6 k , .
324 , ,
,
I .
12.9.

: ,
( I ,
), ? . , , .
, - A
( , ,
), .

[1, 84]; (
, ).
: A 2k
, . 12.8;
, , k . ?

A
k

A A A
. 12.8. .

,
A . , ,
, k ,
k (
k ,
).

12.9.

427

A ,
. A
: , ,
.
( )
, A1 , A2 A1 A2 , A1
A2 | A ( k ), A1 A2 | A1 A2 2. k -
( ),
A .
, , .
236. A n A , .
,
J , , A ,
, A ,
J J n (
).

O (log n ): ,
O (log n ).

(, O (log n ), ,
n , A .)
J .
( , n )
( s ) - t ( !) .
; n ,
s .
t . ,
k k .
{
(., , [32]; , ).
, . , { (
; ), ,
.
, . .
;

428

A ,
n . , n ,
O (log n ) ( ).
, .
.
,
. ( ). :
.
.
F2 ( : , 1 + 1 = 0).
l - l -
.
i1 ; : : : ; ip ,
j1 ; : : : ; jq . ( ,
, n ,
.)
(j1 + : : : + jq ) (i1 + : : : + ip );
( ), (
). , k k ( , ).
( ,
) .
() .
| n - F2 .
, ;
( ) ,
A (
A ).
, : , ,
,
( - )
,
.
,
.
325 . 12.9; 2,
1. ,
,

12.9.

429

A A A A A A
. 12.9. .

. [.
F22 , .]
, , ,
. ( , .) ,
.
F . F n , k F k ,
F , F .
, F , , .
( F ). ,
. , , nE ,
E | (
,
n n n ).
, ( ), ,
( ).
:
. d m F
,
d=|F | ( F m , |F | |
F ).

( ,
.)

430

m . m = 1 ,
( ). m
d1 ,
m 1 . d2 m 1 .
; , ,
d2 =|F | , ,

d1 =|F |. (d2 + d1 )=|F | 6 d=|F |. .
, , ,
, .
: nE , E , nE 2 < |F |, ,
, . ( ,
.)
, n ,
? ,
k ( n=k )
2k ( , , ).
, n ,
k , 2k > (n=k )E 2 , .
? k ,
2k > nE 2 ( k , k ).
, k = O (log n ). n k ; n ,
| , . O (log n ),
. I
326 ,

. [.
, n , , ( n ). ,
.
n . n ( )
.
.]
,
, .

12.10.

431

12.10.

(
) . , 11. 11.2
x; y; z ,  , z ,
KS (z ) < ;

KS (x | z ) < ;

KS (y | z ) < :

, . 12.10.

. 12.10. .

, z , , ,
x y z . ( ,
x; y; z ,
.) , , z , ,
( ).
,
KS (x ) 6  + ;

KS (y ) 6  + ;

KS (x; y ) 6  +  + ;

11 ,
z ( ).
12.11.

432

. , . , 229
: ,
.
. 12.11 ( . ).
,
(P A ), B . ,

k
B
. 12.11. .

KS (B | A ) 6 k KS (B | A; P ) = 0 (
, ) .
[119], , .
12.12.

, , . 12.12.

A
p

B
q

A
. 12.12. .

, .
B .

.
 X . X . , ,

12.12.

433

 [0; 1], X n  (
X 
Bn n ).
, ,
X . , X , .

, , . , N (X ), X ,
, X :

I (N (X ): ) = I (X : ):
N ; ,
, . :  X
N (X ). : H ( | N (X )) = H ( | X ).
X , , ;
, . , .
:
X , . .
327 ,  . , P [X = x |  = t ] x; t . [.
x , P [X = x |  = t ] t . N
,
.]

: X 0 , H (X 0 | X ) = 0 (. . X 0 X )
, H ( | X 0 ) ( H ( | X )),
H (X 0 ).
A (
) B ( X ). B
B 0 , KS (A | B 0 ) (
KS (A | B )), KS (B 0 ) . B 0
q , A B 0
p .
q p KS (A | B ).
: p q . ,

434

, : KS (A ) 6 p + q KS (A | B ) 6 p . ( ,
.)
328 .
.
329 , A B (, A B
), . [.
KS (A | B ) 6 p A ,
B , -,
( KS (A ) 6 p + q , ).]
.
A B :
A B 2n , hA; B i 3n (
n ). p + q > 2n p > n
. 12.13.

q
2n

2n

. 12.13. .

, p q (
A B ). A
, p = 2n , q = 0 (
p q ). B ,
p = n , q = 2n ( p
q ). (2n; 0) (n; 2n ).
, B (, ) k ,
KS (A | B ) k , q = 2n k ,
p = n + k . , - 12.14 (
G ) hp; q i, .
( 11), ,
A; B ( hp; q i, ) , (
) . 329,

12.12.

435

q
2n

2n

. 12.14. .

. , | ,
( G ).
, . ,
B 0 , B , hKS (A | B 0 ); l (B 0 )i
O (log n )- G , O (log n )
n , B 0 . B
: r B 0 ,
KS (B 0 | B ) < r . , r ,
hKS (A | B 0 ); l (B 0 )i G . , .
237. n A; B 2n + O (log n ),
KS (A; B ) = 3n + O (log n ) B 0 hKS (A | B 0 ); l (B 0 )i
O (log n + KS (B 0 | B ))- G .
J , , .
,
.
n ; n .
B 2n 2n 2n ,
n - B .
p , q r ( M
; ) :
B 2n 2r q ,
r - B ;
B 0 q 2p 2n ,
p - B 0 .
hp; q; r i ( )
. , , hp; q; r i ,
, .

436

, .
2n ( 22n 1 ,
), .
B 2n 2n 2 2n ( B ),
B . (
2n , 2n 1,
B A , KS (A | B ) < n 2,
.) n 2 ( , , n 1),
, . .
:
( ). , ,
( )
, | .
, . ,
, hA; B i 2n (),
A n - B , A B
( ) A B (
B ), hp; q; r i B 0
q ,
B 0 r - B ;
A p - B 0 .
, (
hp; q; r i), .
, ( ),
, . ( B 2n ) n - A
2n , (
). , :
A B () ( );
A () B ;
hp; q; r i B 0 q ,
hp; q; r i- r -
B , A p -
B 0 .
? 22n 1 . B ,
n - B , 2n
B . B , ,
22n 1 2n = 23n 1 , -

12.12.

437

, (. ).
, B .
B , A . hp; q; r i
, - . 2r B 0
q , r - B . B 0
2p 2n , p - B 0 . ,
2p +r ( hp; q; r i
M ), 2p +r |M |. , (
22n 1 ), ,
B ( 2n 2 ). , ,
2p +r |M | + 22n 1 + 2n 2 < 22n :

()

, ( )
. |M | , hp; q; r i,
22n +r , r -, 2q +p
, p -.

|M | (2max(2n +r ) + 2max(q +p ) )
( M ).
22n 1 22n 2n 2 = 23n 2
. ,
( 23n 1 ) ,
|M | (2max(2n +r ) + 2max(q +p ) ) + 22n 1 + 23n 2 < 23n 1 :

()

, 2k + 2l 2max{k;l } , , () ()
, hp; q; r i M

p + r < 2n 3 log n O (1);

2n + r < 3n 3 log n O (1);
p + q < 3n 3 log n O (1):
( O (n 3 ), 3 log n + O (1)
log |M |). O (1) , ,
10. M , ;

.
, . 2n ,
2n 1, B ,
n 2, u - [ ] , [, ] u . ( ,
hp; q; r i- hp; q; r i M .)
.
, n .

438

, ,
hA; B i, . ,
.
A B 2n ; 2n + O (1) (
, ). B 2n A ,
KS (A | B ) 6 n + O (log n ); KS (A | B ) n O (1),
A B .
B 0 , KS (B 0 | B ) < r
0
B q . , r n , , r < n=2 ( O (r ) ).
. p ,
, A B 0 p .
hp; q i - . 12.14, G , O (r + log n ), B 0 q
KS (B 0 | B ) < r KS (A | B 0 ) < p . .
237 . I
, . 1 , .
-, , ,
, . -, , ,
.
:
, .
, .
U : B2n Bn B2n
[ U (B; X ) B X n -
B ].
M hp; q; r i M

Vp;q;r : B2n Br Bq

Wp;q;r : Bq Bp B2n :
, ,
S : B2n 2 B2n ;

T : B2n Bn 2 log n B2n :
1
, .
[169, 115].

12.12.

439

[ Vp;q;r Wp;q;r hp; q; r i- . , Vp;q;r (B; X ) X r - B ; Wp;q;r (B 0 ; X ) X p - B 0 . S T

. , S (X ) 22n 2 ,
T (B; X ) B 2n 2 log n
. : 2n 1 2n 2, n 2 n 2 log n .
.]
, U V; W; S; T ( ),
B B2n A , U (B; X ) X Bn [ B A , n - B ],
hA; B i :
(1) B S ( B = S (Y )
Y B2n 2 ). [ B .]
(2) A S ( A = S (Y )
Y B2n 2 ). [ A .]
(3) A T (B; Y ) Y Bn 2 log n . [ A
B .]
(4) hp; q; r i M B 0 q ,
() B 0 = Vp;q;r (B; Y ) Y Br [hp; q; r i- , B 0 r - B ];
() A = Wp;q;r (B 0 ; Z ) Z Bp [hp; q; r i- , A p - B 0 ].
( M , ),
U , V; W; S; T . : , U (.. U
), , 1.
. V; W; S; T . 22n 1 B 2n , (1). U , , B 2n A = U (B; X )
X n (2) { (4). ,
B X 1=2.
, U
(1=2)2

2 1

2 = (1=2)2 n

B X : A , (2)
22n 2 , (3) 2n 2 log n ,
(4) Wp;q;r (Vp;q;r (B; Y ); Z ) 2r 2p
hp; q; r i M .
22n 2 + 2n 2 log n + 2r +p |M |;

440

22n 1 ( ),

r + p + log |M | < 2n 3

()

hp; q; r i M ( M ).
V; W; S; T . Vp;q;r (
p; q; r )
n r
n r
(2q )2 2 = 2q 2
, Wp;q;r ( p; q; r )
2

2 +

(22n )2 2 = 22n 2
q

q +p

, S
(22n )2

2 2

= 22n 2

2 2

, T
n n
(22n )2 2
2

2 log n

= 2(2

n =n )+1

. |M |
V W ,
, V; W; S; T
2q 2

n r |M |

2 +

22n 2

q +p |M |

22n 2

2 2

3n
2(2 =n )+1 ;

q 22n +r |M | + 2n 2q +p |M | + 2n 22n 2 + (23n =n ) + 1;

23n ( ),
2n + r + log q + log |M | < 3n O (1)

()

q + p + log n + log |M | < 3n O (1):

()
( ,

2max(a;b ) ; 2n 2 + log 2n < 3n O (1) 23n =n + 1 < 3n O (1)
.)
() { () ,
2a

+ 2b

p + r < 2n 3 log n O (1);

2n + r < 3n 4 log n O (1);
p + q < 3n 4 log n O (1)
hp; q; r i M , |M | = O (n 3 ).
, M , , , U ,
V; W; S; T ( M ).

441

12.12.

n U , ( !) U
log n .
U V; W; S; T , ( ) . , {S ()} ( S ) |
2n , 2n 2. B B2n
{T (B; )} , ( B ) n 2 log n . p; q; r Vp;q;r (B; ) ( B ) r , Wp;q;r (B 0 ; )
( B 0 ) p .
U , A B ,
(1) { (4). , KS (A ) = 2n + O (1) ( 2n
, S ).
KS (B ) = 2n + O (1). KS (A | B ) n + O (log n ):
, A = U (B; X ) X n ,
U O (log n ); ,
(3). , p , q r B 0
q , KS (B 0 | B ) < r KS (A | B 0 ) < p ,
(4).
( ); 237 .
, ,
. ( ,
.)
, 2n ( ,
)
. hA; B i | ,
. ,
237.
, B 0 ,
KS (B 0 | B ) 6 r; KS (B 0 ) 6 q; KS (A | B 0 ) 6 p:
()
, hp; q i O (r ) + O (log n ) G , , hA; B i
. , hA; B i, () B 0 . 2q B 0 :
A ( 2n ), KS (A | B 0 ) 6 p ( UB );
B ( 2n ), KS (B 0 | B ) 6 r ( VB ).
UB 2p (, O (2p ),
). VB
( B 0 ), , 22n
2n 2r ( B 2r B 0 ,
).
0

442

, UB VB
( ).
( ) (
, . 397).
(, ): e l L
, ,

O (L ) l 6 L ;

O (l L ) l > L .

p VB .
. VB |UB |, 2p=2 ,
2p=2 |VB | B 0 .
B 0 O (2p=2 22n 2r ) ( 22n 2r
).
VB . UB VB O (2p )
, 2q B 0 O (2p +q ).
, p + q < 3n O (log n ) (p=2) + 2n + r < 3n O (log n ),
hA; B i B 0 . ( , , n; p; q; r ,
O (log n ) .)
p + 2r < 2n ; , p + r < 2n , , O (r ),
.
237 .
.
, ( , 14.2 ,
).
, , () . U
, ;
, U , .
U () . 2k k1=16,
, 2k 1 k =2
2
2
k
, 2 (1=16) = 2 . 1=2
1=16, .
( : S T , , U , (4), .

M .)
0

13.

13.1. , ,

, | .
.
. ,
. , ,
.
X :
KS (X ) = min{KS (x ) | x X }:

(, )
+.
, {x } x . : 1.2 ,
n . KS > (n ). , , KS > (n ) ,
, n .
X Y ,
X Y , X Y ( ,
). , X
Y , X ,
| Y . X Y
, .
, :

X Y = {[x; y ] | x X; y Y };
X Y = {[0; x ] | x X } {[1; y ] | y Y }:
[x; y ] hx; y i
.
{x } {y } hx; y i, {x } {y } x y ( ).
, X; Y X Y
X Y ( O (1)-).
443

444

13.

X Y X Y , X Y | X Y .

, .
, | , ,
(- , ,
, ,
, ).
:

X ~ Y = {[x; y ] | x X y Y }:

O (1), , .
~ Y ) = KS (X Y ) + O (1).
330 , KS (X
() ,
X Y . ( ,
, .)
KS (y | x ) , x y .
{x } {y } , . , X Y ,
Y X .
, ,
, [p ](x ) p x . , [p ](x ) .
,
. , ,
(
, , . [173]).
,

X Y = {p | x (x X [p ](x ) [p ](x ) Y )}:

, 6.4 KS (x |> n ),
, x ,
, n . ,
KS (x |> n ) = KS ({m N | m > n } {x }). , : {x } {y } y x (
).
12 .
, (x y ) (y x ) ( ) , x y ,

445

13.2.

| y x .
,
KS (y | x ) KS (x | y ) ( O (log KS (x; y ))).
. (x z ) (y z ) ,
x z , | y z . ,
KS (z | x ) KS (z | y ) ( O (log KS (x; y; z ))).
331 a (b c ). [. (a b ) c .]
332 a (b c ) ( ).
[: KS (a ) + KS (c | a; b ). : a c a b , c b . : KS (b | a ), KS (a; b; c ),
, a , a b
b c (a; b; c ).]
~ y ) 333 , (x y ) (x
, (x ~ y ) (x y ) ,
x y O (log n ), n | x; y . [.
p | (x ~ y ) (x y ). , (u; v )
n p , w n p [u; w ], [w; v ]
u v . p u = x v = y .]
334 ,
((x ~ y ) (x y )) (x ~ y )
O (log n ), n | x; y .
. , , x ~ x x
, .
(x ~ x ) x x .
13.2.

: X X
Y :

KS (Y ) 6 KS (X ) + KS (X Y ):

O (log KS (X )),
O (log KS (X Y )).
KS (y ) 6 KS (x ) + KS (y | x );

446

13.

x; y ( ). , :
KS (X Y ) 6 KS (X ) + KS (X Y ):

(
).
335 X; Y , KS (X Y )
, KS (X ) + KS (X Y ). [. X n , Y |
2n .]
; ; [60] [59], (IPC); [155]. , ,
IPC, [172].
.
(p; q; : : :) | ; ; .
X; Y; : : : (X; Y : : :), ,
.
. : x; y [x; y ],
, , 0; 1
. ,
, . .
(p; q; : : :) | , X; Y; : : : | . 0 (X; Y; : : :) 00 (X; Y; : : :) | , ,
[x; y ]0 , [x; y ]00 , U 0 (p; x ) = [p ]0 (x ) U 00 (p; x ) = [p ]00 (x ), , , a 0 ; b 0
a 00 ; b 00 . 0 (X; Y; : : :)
00 (X; Y; : : :) . . ,
: f12 0 (X; Y; : : :) 00 (X; Y; : : :), f21 | 00 (X; Y; : : :)
0 (X; Y; : : :).
| . ,
, f12 : s
[u; v ]0 , u v f12 f12 , ; .
f21 . .
, , f12
. V (s; b ) = f12 ([s ]0 (f21 (b ))). s |
0 (X; Y; : : :) 0 (X; Y; : : :), b | 00 (X; Y; : : :),

13.3.

447

V (s; b ) 00 (X; Y; : : :). V

; ,
U 00 ( , , U 00 | ).
t : , [t (s )]00 (b ) = V (s; b ). t
f12 .
336 .
: (p; q : : :) , (X; Y; : : :) ( X; Y; : : :). , s , (X; Y; : : :)
X; Y; : : : . IPC. , p (q p ) ( IPC) :
x , x .
337 ,
IPC (p; q : : :) s ,
(X; Y; : : :) X; Y; : : : .
: (p; q; : : :)
IPC, (X; Y; : : :) . , :
238. (t1 ; : : : ; tk )
; ; ( ) IPC.
" X1n ; : : : ; Xkn ( n =
= 1; 2; : : :), n ,
(X1n ; : : : ; Xkn ) "n n .
| . ,
IPC .
,
( IPC) . (.
). , .
13.3.

((p q ) p ) p:
, (Peirces Law), ( ), . ((x y ) x ) x
1

[155]

448

13.

( , ) O (log n ) x; y n ( 239 ). ,
,
n ,
"n . ,
. : ((X Y ) X ) X X; Y , X; Y | ,
X; Y , X; Y | .
239. ((x y ) x ) x O (log n )

x; y

n .

J , n
(x y ) x x . . p |
(x y ) x . S n .
 : S S ( )
l , . (u; v ) S S
p , [p ](l ) = u  : S S  (u ) = v .
(x; y ) p . p n , p
u (u; v ). ,
u = x . ,  ,
 (x ) = y  (u ) = v , p l
u x . I
. , ,
l ,  ( ).
(
, ). ,
, : ,
(, ) ,
. , ax + b
.
338 , O (log n )
O (log k ), k | x; y . [.
x; y k . S
k , l : u
u k , 
.]

KS (Y ) 6 KS (X ) + KS (X Y ) + O (log KS (X ))
, KS (x ) 6 KS ((x y ) x ) + O (log n ) ( n |
x; y ). : -

13.3.

449

A (p; q ) B (p; q ), x; y
B (x; y ) A (x; y ),
A (x; y ) B (x; y ) x; y ( x; y ).
: (x y ) y x y . ( , , .) O (log n ),
, ((x y ) y ) (x y ),
, n .
(x y ) y .
240. (x y ) y x y
( O (log n ), n | x; y ).
, , x y O (1).
J ,
x y (x y ) y , ,
(x y ) y n
x y .
, [0; x ] [1; y ],
, (x y ) y .
[1; y ], : , y .
[0; x ], :
(x y ) x , y , .
, (x y ) y ,
n x y .
p | (x y ) y . S
n .  : S S l , .
(u; v ) S S p , [p ](l ) = v  ,  (u ) = v .
(x; y ) p .
, p . p (u 0 ; v 0 )
(u 00 ; v 00 ) . ,
,  , u 0 v 0 , u 00
v 00 . p l v 0 , v 00 .
, .
p , p n .
. (u; v ) | . ,
u = x , v = y , , .
: , x
y ( ). I
:
241. C (x y ) z ( O (log n ),
n | x; y ) z (x (y z )).
332 ,
KS (z ) KS (x ) + KS (z | x; y ).

450

13.

J , , ,
n .
. , (x y )
z . | z , , x
, y z .
z , :
, z . x
, y z ,
: (x y ) x , y .
, y z , y .
, , n
.
p | (x y ) z . S
n .  : S S
l , . (u; v; w ) S S S
p , [p ](l ) = w   (u ) = v .
, , . , : (u; v; w ) (u 0 ; v 0 ; w 0 ),
w 6= w 0 . , u = u 0 , , u v u 0
v 0 , w w 0 , . , ( )
,
| .
(x; y; z ) p . p
, p n . .
(u; v; w ) | . , u = x w = z .
: w = z . ( ,
) z .
: u = x . x ,
y z . , (x y ) z , y x y .
, (x y ) z , n ,
z , x (y z ). (
, , .) I
13.4. 238

((x y ) y ) (x y )
x; y , .

13.4.

451

242. ((x y ) y ) (x y ) x y
n min(KS (x | y ); KS (y | x )) + O (log n ). ,
x; y | n , n .

J , ((x y ) y ) (x y ) KS (y | x ) ( O (1)): p , x y ,
q (x y ) y , y [p ](q ).
, ((x y ) y ) (x y )
KS (x | y ) ( O (log n )). ,
, n , p , y x , q (x y ) y , x y . S
n . ,
(u; v ) S S q , [q ](l ) = v  : S S ,
 (u ) = v .
, q
. , x , y
( , ). , , x ( y ). (x 0 ; y ).
, y (
x ); (x; y 0 ). (x; y 0 ) (x 0 ; y ) ,
.
n , p q , (u; v ), q . q ,
[p ](v ) = u . , : [p ](v ) [p ](v ) 6= u , (u; v ) (x; y )
.
(u 0 ; v 0 ), p , v 6= v 0
x ( u = u 0 = x ), u 6= u 0 y ( v = v 0 = y ).
, [p ](v ) = u , , u = x (
u 6= x , v = y x = p (y ) = p (v ) = u , ).
( ) . , ((x y ) y ) (x y ) min{KS (y | x ); KS (x | y )}. p ,
((x y ) y ) (x y ). p , (r1 ; r2 )
: r1 x y , r2 y x (
, ). ,

(((x y ) y ) (x y )) ((x y ) ~ (y x ));

.
. p ,
((x y ) y ) (x y ). x y , . x y

452

13.

(x y ) y . , y ,
y . x , x y y .
( x y ) (x y ) y ,
p x y ,
x y . , p y , x , ,
, p x , y .
?
, , A; B
. ( , , A; B
.) , A
, 0, B | 1. (., , [173].) , A
B .
i u; v qi (u; v ),
s . ( s
.)
qi (u; v ) s :
i A : , v ;
i B : [s ](u );
s [u ] = v : v ( [s ](u ))
, qi (u; v ) ( ) , A B [s ](u ). ,
,
| ,
.
, :
(1) i A , u qi (u; y )
((x y ) y );
(2) i B , v qi (x; v )
((x y ) y );
(3) i qi (x; y ) (x y ) y .
, p qi (u; v ) x y .
r1 r2 ,
r1 x y , r2 y x , , .
r1 p qi (x; v ) i B v ,
[1; z ] z ; ,
z . r2 p
ai (u; y ) i A u , [0; z ]
z , z .
qi , r1 r2 ,
, . ,
- .

13.4.

453

. , [p ](qi (x; v )) 0 (
i B v ), [p ](qi (u; y )) 1 ( i A
u ). , v = y u = x . , , [p ](qi (x; y )) i . ,
[p ](qi (x; y )) A B ,
. I
, ,
. 238 , ((x y ) y ) (x y ).
k > 2 , u1 ; : : : ; uk .
I; J {1; : : : ; k }.

((X Y ) Y ) Z;
X ui i I ( , ,
, ), Y | uj j J ,
Z | u1 ; : : : ; uk . , k = 2, I = {1},
J = {2} ((u1 u2 ) u2 ) (u1 u2 ).
( ):
((x1 x2 y1 y2 ) y1 y2 ) x1 x2 y1 y2 z:
243. ((X Y ) Y ) Z
ui u1 ; : : : ; uk
( O (1)).

J : k ;
p , ((X Y ) Y ) Z , m , m - p u1 ; : : : ; uk
um um .
: ( um )
, (X Y ) Y p . ,
,
X ( X ), Y (
Y | , , ;
). , ,
(, X , Y ).
( ) (X Y ) Y
p . -
ut ( t ), , t = m ,
um . ( , Y Z
[t; ut ]; ,
, (u1 (u2 (: : : (uk 1 uk ) : : :))),
.)
, , ( m ) (t = m ) ,

454

13.

. : d ,
u : u
i , d (i ) ' u (i ), d (i ) = u (i ),
d (i ) u (i ) . d :
d (i ) i - i . (
.)
0 1;
d ( ), 0 1, d , , . k
1; 2; : : : ; k .
, v1 ; : : : ; vk i qi (v1 ; : : : ; vk ) :
(1) u1 ; : : : ; uk qi (u1 ; : : : ; uk )
(X Y ) Y i ;
(2) d (i ) = m , qi (u1 ; : : : ; uk )
(X Y ) Y um vm (
qi (u1 ; : : : ; um 1 ; vm ; um +1 ; : : : ; uk )
(X Y ) Y vm ).
m - ( um ut ): d ;
i d (i ) = m , p
(X Y ) Y , qi (u1 ; : : : ; um 1 ; ; um +1 ; : : : ; uk ) (
| (2) ). p
[m; ], : um .
(2), ,
m ( ).
. m . , ,
qi (u1 ; : : : ; uk ) i , d (i ) .
i (X Y ) Y (1). , [p ](qi (u1 ; : : : ; uk )) i
Z , [t; ut ]. ,
t d (i ), d (i ) . t i ,
.
qi (v1 ; : : : ; vk ) (
i v1 ; : : : ; vk ). s ,
:
(1) d (i );

13.4.

455

(2) vt t I X ,
s , s [t; vt ] c t J (
v1 ; : : : ; vk ).
(
) , :
(1), d (i ) m :
{ m
= I , vt t I X ,
s
qi (v1 ; : : : ; vk ) s ;
{ m I ( m
= J ), [t; vt ]
t J | , , . (
s .)
(2) [t; vt ],
s .
. v1 ; : : : ; vk
u1 ; : : : ; uk , s (X Y ) Y ,
( ); qi (u1 ; : : : ; uk ) Z . ,
qi (u1 ; : : : ; uk ) ((X Y ) Y ) Z .
d (i ) = m , vi , () m -, ui , s (X Y ) Y .
, .
qi (v1 ; : : : ; vk ) Z . , (1) vi . (2) ,
( ), ,
vt ut . I
238 . u = u1 ; : : : ; uk .
(N ) {1; : : : ; k }:

Il Jl = ; Il ; Jl {1; : : : ; k }; l = 1; : : : ; N:
l Xl Yl , Xl
ut t Il , Yl | ut t Jl . ,
Z | u1 ; : : : ; uk .


((X1 Y1 ) Y1 ) : : : ((XN YN ) YN ) Z:
244. C ui u1 ; : : : ; uk ( O (1)).

J . l , i v = v1 ; : : : ; vk ,

456

13.

u , , ,
qli (v ),
(Xl

Yl ) Yl ;

d (i ) , u v ,
v = u ( , d (i )).
m um ,
p
((X1 Y1 ) Y1 ) : : : ((XN

YN ) YN ) Z;

u , m -. p ,
q1i (v ); : : : ; qNi (v ). v ,
u , m -, i |
, d (i ) = m .
v; i p m ,
um . , d ,
m , v; i ( ,
v u ). I
, ,
, . ,

((P1 Q1 ) Q1 ) : : : ((PN

QN ) QN ) R;

R s1 ; : : : ; sk , Pl
, Ql | - , Pl Ql
l .
IPC ( ,
). , (IPC)
:
245. (t1 ; : : : ; tm ) ; ; k ,
T1 ; : : : ; Tm s1 ; : : : ; sk J (s1 ; : : : ; sk ),

(T1 ; : : : ; Tm ) J
IPC. T1 ; : : : ; Tm ; .

. .
. [174],
. ,
238.

13.5.

457

J (t1 ; : : : ; tm ) IPC. 245

k , T1 ; : : : ; Tm s1 ; : : : ; sk ; J (s1 ; : : : ; sk ) ,

(T1 ; : : : ; Tm ) J
IPC.
u1 ; : : : ; uk n=c ( c ) , , T1 ; : : : ; Tm . , X1 ; : : : ; Xm .
(T1 ; : : : ; Tm ) J IPC,
(X1 ; : : : ; Xm ) J (u1 ; : : : ; uk )
. 244 , J (u1 ; : : : ; uk ) n=c O (1).
(X1 ; : : : ; Xm ) n=c O (1), n=(2c ) n .
, X1 ; : : : ; Xm n (
c n ). X1 ; : : : ; Xm u1 ; : : : ; uk
v; w 7 [v; w ]
. [v; w ] v; w , . ,
. , ,
, . I
13.5. 238

238, 245. ; . .
, IPC . ( 238; .)
246. (t1 ; : : : ; tk ) ; ;
IPC. X1n ; : : : ; Xkn
O (n ), (X1n ; : : : ; Xkn ) n
n .

238 ,
( ). ,
(, , ,
).

458

13.

J hK; 6i | ,
(t1 ; : : : ; tk ). , n
X1 ; : : : ; Xk . ( n ,
n .)
, ,
(,
) 2n .
. K ,
, , , , . ,
u , u , | u .
. ,
Xi , ti .
. ,
ti . , C , i
hx; y i, x y |
. ,
, , ,
. .
, C hx; y i
[x; y ],
, :

C = {[x; y ] | x; y };
Xi = {0x | ti v; x | v }
{1y | y C }:
, Xi
, .
t1 ; : : : ; tk ,
(X1 ; : : : ; Xk ) X , , .
X ,
, C ( ,
Xi ). , , (X1 ; : : : ; Xk ) X
: f; g : (X1 ; : : : ; Xk )
X , X
(X1 ; : : : ; Xk ).
, (X1 ; : : : ; Xk ) X
. , X
:
() X X X ;
() X X X ;

13.5.

459

() X X X .
, , , : U; V U 0 ; V 0 ,
U V U 0 V 0 (
). , (), () ().
() X X X ,
X X X .
: X X , ,
X X .
() X X X , X X
. x
, [x; x ]. :
[x; y ] X X .
x; y C , .
C , x; y |
u; v , .
.
.
(1) . [x; y ],
C , , X X .
(2) u; v , , u v .
, v , y
X X .
() . , X X X , ,
X X X .
.
x X .
X X . - : , x y X ,
X . x; y C ,
. C . x |
u , , y |
v , (
, x; y ). .
(1) v u , u ,
, u (,
u ). , x X .
(2) u v , v , u . ,
y X .
(3) u v , [x; y ] C , , X .

460

13.

, X X X . r ,
X X .
, X
.
. u , , . l u , r . ,
l r X . ,
, , . r l . - s
2l=2 r , . , l , 2l=2 , ,
s . ,
s X X .
, , .
x | l , s | r x .
s x r ( ),
2l . , s X , , ,
0t 1[y; z ], t; y; z | .
t; y; z l . , t
l , t , ,
u (, u ). t l=10.
, y z , ,
l=10.
l=10, r
2l=2 . ,
- 2l=2 .
- y; z l ,
. , . s 2l=2
, : y , 2l=2
x l r x 1[y; z ] ( 1[z; y ]),
z l . ( x z .)
y , u .
, x , r 1[y; z ] (
1[z; y ]) , , r X .
y z . z u ( l ), y
, u .
r l ,
s y . s
, X X .
. y
v , u . v ,

13.6. ,

461

y . u1 v , , , .
X ,
v1 , u1 . v1
v ( u1 ). , v1
v (
), . ( v1
v ), v1 , .
v1 . , , ,
.
, , (X1 ; : : : ; Xk ) X . ,
X 2n , , (X1 ; : : : ; Xk )
n . , Xi
O (n ). , K
, ( ,
;
). , 2n . 2n
Xi . I
13.6. ,

,
; ; . , , {x }; {y }; : : : ,
x; y; : : : ; , ..
. (x z ) (y z ), , ,
KS (z | x ), KS (z | y ), , . , (a c ) (b d )
, 247 (. [171]).
:
339 , a; b; c; d
KS ((a c ) (b d )) 6 KS (c | a ) + KS (d | b );
KS ((a c ) (b d )) 6 KS (d | b; c ) + KS (c );
KS ((a c ) (b d )) 6 KS (c | a; d ) + KS (d );
KS ((a c ) (b d )) > KS (b; c; d | a ) KS (b | a; c );
KS ((a c ) (b d )) > KS (a; c; d | b ) KS (a | b; d ):

462

13.

340 n ,
(a c ) (b d )
339 , o (n ).
[. a = d b = c , a; b |
n .]

247. 
a~n ; b~n ; c~n ; d~n an ; bn ; cn ; dn ( n ) ,
(~
an c~n ) (b~n d~n ) n
(an cn ) (bn dn ). a~n ; b~n ; c~n ; d~n
an ; bn ; cn ; dn O (log n ),
, .
J . .

a~n ; b~n ; c~n ; d~n 339,

(a c ) (b d ), |
"n .

. ,
o (n ).
,
, . 2n
, . 23n .
24n ( | 26n ,
22n ,
2n ). 23n (
| 29n ,
22n , 26n ). ha~ ; b~ i
, c~ , d~ | , . ,
339 n ( O (log n )).
,
KS ((~
a c~) (b~ d~)) > 1;5n
( O (log n )).
(~a c~) (b~ d~), | h;  i, a~ c~, | b~ d~.
S , a; b ,
 a a b ,  b , a b . ,  n
S . ha~ ; b~ i S , ,
7n 6 KS (~a ; b~ ) 6 KS ( ) + log |S |
( O (log log |S |)). , , S O (25;5n ).
.

13.6. ,

463

. f | , , g | ,
, . S ha; b i , f (a )
b , g (b ) a . S O (25;5n ) .
. , , -

. b 22n a
g (b ), S 22n 24n , |S | 6 26n . ,
a b ,
f (a ). , , b
f (a ), | , a
g (b ). : , , S b 21;5n a .
f (a ) b . ( | , S a
21;5n b .)
S , ha; b i
g (b ). ,
. ,
. , d
S , , d .
c d
Ac a d f (a ) = c , Bc |
b , c , g (b ) = d ( ,
a c , b d ). ,

|Ac ||Bc | 6 |Ac |2 |Bc |2

r

( ). , . , c |Ac |2 , a 0 ; a 00
d f (a 0 ) = f (a 00 ). , c
f (a 0 ) = c f (a 00 ) = c .
Ac d ,
22n . , f (a 0 ) = f (a 00 )
2n ( a 0 f (a 0 ) = f (a 00 )
, a 00 f (a 0 ),
2n ). c |Ac |2
(22n )2 2n = 23n :
.

464

13.

c |Bc |2
b 0 ; b 00 Md ,
b , g (b ) = d ( d ). , b 0 b 00 c
, c b 0 b 00 . c b 0 c b 00

Bc Md . c |Bc |2
b 0 b 00 Md .
,
( 1=|Md |),
1 + 2n =|Md |.

|Bc |2 6 |Md |2 (1 + 2n =|Md |) = |Md |2 + |Md |2n :

c

,
, d , p
2
|
A
|
c c c |Bc |2 ,
p

23n (|Md |2 + |Md |2n )

( ).
,
21;5n (|Md | + 2n ):
d :
|S | 6 21;5n (|Md | + 2n ) = 21;5n
d

|Md | + 2n
d
d

Md , ,
Md 24n . , d 23n ,
24n . ,
(~a c~) (b~ d~), .
ha ; b ; c; di , ha~ ; b~ ; c~; d~i, (a c) (b d) n .
7n 7
u; v; w; p; q; r; s n . a = uvws , b = pqrs , c = ups , d = vqs .
, , . . :
KS (a ) = KS (b ) = 4n; KS (c ) = KS (d ) = 3n;
KS (a; b ) = 7n;
KS (a; c ) = KS (a; d ) = KS (b; c ) = KS (b; d ) = KS (c; d ) = 5n;
KS (a; c; d ) = KS (b; c; d ) = 6n;
KS (a; b; c ) = KS (a; b; d ) = KS (a; b; c; d ) = 7n:

13.6. ,

465

(a c) (b d) n , ,
p v ( 2), a c, b d.
. n .
ha
~ ; b~ ; c~; d~i n , n , ,
, | 2n , ,
| 3n .
Q , ha; b; c i
n d . , ,
ha; b; c i (a c ) (b Q (a; b; c )) 2n O (log n ). , , , Q , . n
Q ,
O (log n ). ha~ ; b~ ; c~i d~ = Q (~a ; b~ ; c~).
ha
~ ; b~ ; c~i 3n , . ,
a~ ; b~ ; c~, a~ ; b~ ; c~.
(~a c~) (b~ d~) 2n O (log n ). , Q , ,
n . , Q . ,
.
, , hb~ ; c~; d~i . , (~a c~) (b~ d~) 2n
KS (~c ) + KS (d~ | b~ ; c~) 6 2n . ,
n , d~ hb~ ; c~i.
hb~ ; c~i , hb~ ; c~; d~i. , , , ha~ ; b~ ; d~i
ha~ ; c~; d~i. , .
S n , M | S S . , M ha; b; c; d i S 4 , f (a ) = c g (b ) = d hf; g i M . Q : M S S 2k "23n
ha; b; c; Q (a; b; c )i. k; " . k
2n , " O (1=n ). ,
ha; b; c i (a c ) (b Q (a; b; c ))
k . , (a c ) (b d )
hp; q i, [p ](a ) = c , [q ](b ) = d .
hp; q i k a 7 [p ](a )
b 7 [q ](b ) S . M
. 2k . , M
"23n ha; b; c; Q (a; b; c )i. M
ha; b; c; d i, (a c ) (b d ) k .
Q
. , Q (a; b; c ) -

466

13.

S . , Q (
" = O (1=n ) k = n O (log n ), 1).
M 2k
, "23n .
ha; b; c i .
"23n 1 . ha; b; c i d ,
ha; b; c; d i M .
, ha; b; c; Q (a; b; c )i,
, "23n 1 .
, ha; b; c i ( ha; b; c; d i) ,
hf; g i M , f (a ) = c , |M |n 2n (
b d ). hf; g i M
22n ha; b; f (a )i, |M | 22n =(|M |n 2n ) =
= 23n =n ; .
ha; b; c i , M ha; b; c; Q (a; b; c )i, 1=n . ,
M ha; b; c; d i, d ,
g (b ), f hf; g i M
f (a ) = c . n 2n |M | = 2k n +log n .
, k 2n 2 log n , (1=n )- n .
: N , p , 0 < " 6 p (1 p )
p + " 1 2" N=(2p ) .
, " = p=2: p , ,
3p=2, 2pN=8 .
ha; b; c i, 23n 1 6 N 6 23n . ha; b; c i d , , ha; b; c; d i
M . p = 1=n .n Q 1 2(3 =n )
3=(2n )- ha; b; c i
ha; b; c; Q (a; b; c )i M .
3=(2n ),
,
3=(2n ) + 1=n = 5=(2n ). ,
ha; b; c; Q (a; b; c )i "23n , 2(N=n ) ( " = 5=(2n )).
,
M 2k . M
, n
n ( 2n 2n ), 2k .
2

22n 2 2 = 22
n k

n +k +log n +1

13.6. ,

467

,
". (23n =n )
2n +k +log n +1 . k = 2n 2 log n c , c | .
(, , , ,
k 2n 2 log n , .)
, Q ha~ ; b~ ; d~i, ha~ ; c~; d~i. | , hb~ ; c~; d~i.
, ha; b; c i (a c ) (b d ), (c b ) (a d )
(b a ) (c d ). Q , : M , f (c ) = b ,
g (a ) = d hf; g i M , "23n , f (b ) = a , g (c ) = d .
Q . ,
( ) .

, ,
KS ((a c ) (b d )) , 2n .
3n , n . a , b
c ; d = a b c . a c , a c , b
d , KS ((a c ) (b d )) = n ( ). I
341 , (p q ) (r s )
p; q; r; s , , , . [ p = a ,
q = b , r = ac , s = bd , ha; b; c; d i | ,
(, ).
, , p; q; r; s , , ,
.]
. |
, .
(a c ) (b d )
339, 2n . 2n ,
1;5n (a c ) (b d ).
, .

14.

14.1. . .

: ,
, ( ).
, , ( ). , (= 0
21 000 000 1). ,
?
, , .
,
( , ), . (
,
.) , , , |
. | 21 000 000
( ).

. , ,
.
, , . -
.
( ) , .
, , 00 : : : 0.
x :
,
( {x }).
( ,
) , ,
,
1 000 000.
468

14.1. . .

469

. , 500 000
, 500 000 (
500 000). ,
: , 500 000 ,
500 000 .
1 000 000,
( , , 2500 000 ).
. x .
A , x . , :
A ( A );
x A .
?
, ( | , ),
. ( ,
,
.)
. , A N ,
KS (x | A ) A log2 N + O (1),
A . A
, log2 N (
N ), A
.
. ( )
d (x | A ) = log2 |A | KS (x | A )
x A ( , x A , ; x = A
, d (x | A ) = +, A x ).
A x A , d (x | A ) .
342 , ,
A k , 2k .
(
A . ,
log2 |A | ,
, .)
, d ( )
( ,

470

14.

, ).
, KS .
343  (x | A ) x A , : (a)  ; () A
k A ,  (x | A ) > k , 2k .
 (x | A ) 6 d (x | A ) + O (1).
( , . 19 . 45) .
, ( ).
, , k - 2k , ,
,
( , ).
, ( 3.5). ,
;
, .
344 , x A , dP (x | A ) = log2 |A | KP (x | A ),
 (x A ),
(1=|A |) x A 2(x | A)
A . [:
.]
, x : A ,
d (x | A ) . ( x ) ? .
,
, . ( |
) x P log2 P (x ) KS (x | P ) ( x ,
P (x ) = 0: x P ).
(
1=|A |) . ,
, :
345 x n
k , x l .
A k + O (log(l + n )), x , -

14.2.

471

x l + O (log(l + n )). [. p |
x P , . A = {y | P (y ) > p }.]

( ) .
, , ( ), ,
, ( ,
). ,
: x n Sn n , O (2n )
O (log n ), Sn
x .
( ) ( )
, ,
, | |
.
14.2.

, x (;  )-,
: A ,
x , KS (A ) 6  d (x | A ) 6  .
: n
  O (log n ) o (n ) ( ,
, ).
  () ? ,
.
248. 2 +  < n O (log n ) n ,
(;  )-.
(: c , n
  2 +  < n c log n n ,
(;  )-.)
J .  + O (log ) =  + O (log n ) (. . 35). O (log n ), ,
; , ,
.
, 2+ .  2
2+ . 22+ < 2n , n ,

472

14.

. (, ). ,
( n ) .
, ( t ) (;  )-. t A ,
2+ , . d (t | A ) = log |A | KS (t | A ) > ( +  ) KS (t ) >
> ( +  )  >  .
( , , c log n
c , O (log n ).) I
:
249.  +  > n + O (log n ), n
(;  )-.
J n 2 2 . I
, (
) , (.
360 . 494).
,
. , , n . , 2 , A ,
n ,  2 .
, 2 +  n , 248, . , h

2++h 2h , ; , 2 +  + h < n .
 + h 2++h  . (
O (log n )), :
250. n -(;  )-
22O (log n ) .
(
, ), (
). , m (x ) |
x ( 4, 2 KP (x )+O (1) ). m (x )
n , (;  )-.
251. 2 +  < n O (log n )  <  O (log n ),
2+O (log n ) .
J .
248; ,

14.2.

473

 2 ( , O (log n )).
m (x ) n . !, .
! | 2 (  ,
). ! = {m (x ) | l (x ) = n } ; ,
! .
P
n ,  (
! ). P
2 ( ).
345
( ) O (log n ) .
, ,
P  , 2 . , x

log P (x ) KS (x | P ) > :
P  KS (x ) KS (x | P )
,
log P (x ) KS (x ) >  :
O (log n ) , :
log P (x ) KP (x ) >  :

, , ,
log(m (x )=P (x )) >  
x ( P )  .  < 
, ,
, P (x ) < m (x )=2,
(m (x ) P (x )) > m (x )=2. , m (x ) P (x ) x 2 P , ,
m (x )  P 2+O (log n ) ,
. I

, .
, , .
346 , ! - , n
(O (log n ); O (log n ))- . [: .]

474

14.

, ,
- . [:
.]
14.3.

. . x
A , , :
A ;
x ( - , , ).
, KS (x ) 6 KS (A ) + log |A | x
A ( ).
x .
, ? , -
:
( , x ), . ,
, ? | . (-
Minimal Description Length principle, MDL.)
,
,
( ).
252. A x i < log |A |.

A 0 , x , |A 0 | 6
6 |A |=2i KS (A 0 ) 6 KS (A ) + i + O (log i ).

J A - (, ) 2i ( |A |=2i , ..;
, ). A 0 , x . ,
A , i , i . I
. x Px hk; l i, A 3 x KS (A ) 6 k log |A | 6 l . ,
( k ) ( l ). ,
- hk; k i ( ).
, ,
()
(
, ).

14.3.

475

Px ( ). h0; l (x )i, A , x . , hKS (x ); 0i,

A = {x }. Px ,
, k + l 6 KS (x ) ( ) 45 , 252
(. 14.1).

l (x )

Px

KS (x )

KS (x )

. 14.1. Px .

: ? , , Px ? , x ,
( ) .
(0; KS (x )) A ,
, . 252
Px 45 . Px , ( ).
: 45
, hKS (x ); l (x ) KS (x )i ( hKS (x ); 0i), . 14.2. ,
, x : l (x ) ( , 252),
{x }.
347 , x (;  )-
;  , KS (x ) n 2 KS (x ).

, (
. 14.2), : ( ) -

476

14.

l (x )
KS (x )

KS (x )

. 14.2. .

Px x (
). ,
253.

k 6n

n = t0 > t 1 > : : : > t k = 0

, m . x k + O (log n ) + O (m ) n + O (log n ),
Px T = {hi; j i | (i 6 k ) (j > ti )}
O (log n ) + O (m ).

(, P Q ", P
"- Q .)
J , . ,
, 248.
i 0 k i
2ti ; ( i ), Si , 2i +ti . (

n , O (log n )
.) ti ( 45 ), i + ti i , Si
2t = 2n . Si 2n ( ), n
(, n + O (log n )) , Si . ( -, , )
x .
0

14.3.

477

Px ti ( T ).
x , Px (
T Px ).
x ,
k k + O (log k )
( k k , .
. 35); t0 ; t1 ; : : : ; tk , m .
: k x , .
, i 6 k x A i ( ) 2ti ( ).
A .
2ti A j 2tj j = 0; : : : ; k . j ,
j -. | ;

. A ( A ), ,
A .
A , A ,
2ti ( ) .
, A
( j -
j ); , A , 2ti
, .
,
A x . ,
, x ,
?
,
t0 ; : : : ; tk ( , n ),
m + O (log n ) . A
( ).
, ,
2i ; ( , ) i .
, A
? , , j - j 6 i .
O (2i ) , j - O (2j ) .
-

478

14.

A , . ,
A j - j > i .
:
j - 2j 2tj ; tj + j 6 ti + i j , O (2ti +i ) ,
|A | = 2ti 2i . I
, , KS (x ), x
; Px (, , ). ,
, (
, - , ).
348 , 253 , Px
T O (log n ) ( O (log n ) + O (m )). [.
n + O (log n ) , T , .]
349 , ,
x Px O (log l (x )).
Px
x [175].

S0 S1 S2 : : : ; Si | i . Si i O (2i )
.
Si;j , Si;j x , A KS (A ) < i log |A | < j . ( A
(i j )- x .)
Si;j , (Si;j i j ). , 252 , : Si;j Si +k;j k . ( , :
Si;j Si +k +O (log k );j k .)
, Si;j . , ,

( S S 0 ) , Si;j Si0+O (log n );j +O (log n )
( n = i + j ).
,
, (, );
( ). () , ,
( ).

14.3.

479

254. x ( ):
() x Si;j ( (i j )- );
() ( O (log n )) 2i +j ,
x 2j ;
() ( O (log n )) 2i +j ,
x , 2i ;
() ( O (log n )) ,
i + j , x 2j .
J

(a).

i 2j . , -

. 2i 2j (
) , 2i +j ,
(). ,
i j . , (a) ().
(),
2j ; 2i +j , . ,
(a) ().
, () (), 2j ; 2i
2j . , x .
i ( , ).
() (),
2j ( ,
, ). 2i ,
2i +j .
i ( , ). 2i ,
i .
, () { () ( ), , (). , () (),
, () ().
, x A i , log |A | 6 j . A , x ,
i + j + O (log(i + j ));
, (,
).
,
i + j . , x
( 2j ). A ,
, A . B

480

14.

i ( B A ,
). ( ) 2j B :
B (i ) (j )
i + j ; 2j ,
x . I
,
n , .
Si;j Si;j i + j = n ( ,
| i j |
).
n ( n n ) , (n 0)-; () ,
(0 n )-.
350 , n ,
( , , poly(n ) ),
: O (log n )
.
, B (n c log n ) BB (n c log n ), 1.2 (. 31 33), c n .
, n
: n
, ( B (n )) | (
n ). .
x y , KS (x | y ) 0
KS (y | x ) 0. ( , y x .)
x y ,
(. ).
x n (
n ) , x n 0 n 0 > n .
x n 0 7
x n 0 .
Px , ( , i + j = n 0 Px ).
351 x y
t . , x Si;j , y Si +O (t );j .
, , ,
,
( 30 . 44).

14.3.

481

15 (. 35), ,
n (
); |
(= )
. , , , . , , kn
n ( () 15) mn n ,
.
, 254
kn ( mn ) n ,
:
352 , n 0 < n kn ( ,
kn ) (
O (log n )) n 0 kn . mn mn . [. kn ,
n 2s
, B (n s ). : , T , n
. t > T n s ,
n s , n , 2s , 2s
. :
n , 2s ; B (n s ),
(, , B (n s ),
n s ) . mn .]
38 (. 49).
, x ,
. ,
(i j )-.
255. x 2k , (i j )-. (i (j k ))-
((i k ) j )-.
, ,
O (log(i + j + k )), . 252, (i k ) j
i (j k ).
J ( ) ,
254. A
i 2j , x
2k . 2i +j =2k = 2i +j k ,
2i ( A
). () 254.
0

482

14.

2i k . . - i 2j ,
, 2k , |
, (2k 1 ).
, ,
, ( ).
( ). :
, , 2k 1 (
2k 1 2k ). . I
:
256. x (i j )- A , KS (A | x ) > k , (i (j k ))-
((i k ) j )-.
( , ,
.)
J , x , i j (
), (i j )- x . (
) . A KS (A | x ),
. I
,
( Px x ),
x . , , : ( x ) ,
.
14.4.

,
A .
, x . , , x
A ( ,
). , x ,
, A .
, ( ) A , .

14.4.

483

(1) A . , , A ;
, .
(2) n A n .
(3) p , A A
n c < |A | : n A p (n )|A |=c A ,
c .
. 252 ,
(i j )-, ((i + k ) (j k ))- (
k 6 j ). (i j )- 2k
, 2j k .
, , ( n ).
x . Px , . 474,
PxA hi; j i, x (i j )-,
A . A , , PxA = Px .
PxA Px
A , PxA .
(1) { (3) , PxA , Px . , n :
PxA , h0; n i ,
O (log n ). , (2) A
n , n 0 n - A
( ).
PxA , hKS (x ); 0i
. , (3), c = 1 n A , , A , (KS (x ) 0)- (
O (1)-).
252: x (i j )- A ,
k 6 j ((i + k ) (j k ))- A . ( i + k O (log l (x )).) , x
(i j )- A A . n = l (x ), A k .
A , n A p (n )2k
|A |2k ( p | (3)). , x , i + k + O (log n + log k ),
, A , n , k
, A . ,
k 6 n , |
{x }. O (log k ) .

484

14.

. A , {x | l (x ) = l (y ); d (x; y ) 6 r }, y | (
), r | , ,
d (x; y ) ( , x y
). , , y r x y r
, . y r
. , y
y x y
.
353 , r 6 n n poly(n )2n =V r , V
r . [. N r . x ,
(1 V 2n )N < e V 2 n N . N = n ln 2 2n =V ,
2n . N ,
n , 1.]
354 ,
(1) { (3). [. A a c < |A |. A c . n
n=2,
, a 6 n=2. b 6 n=2 , |B |
b c , A b . , 1, ,
n + 1 , |B | > c=(n + 1) A
poly(n )|A |=|B | b .
b A
b ( ). :
d A ,
d {b + 1; b + 2; : : : ; a } n ,
S d (b; n=2] poly(n )|S |=|B |
b .
f b + f (1 2b=n ) = d , . B
b f S . 1= poly(n )- B S . , x y
S B , . y (b=n )- , y x , (b=n )- , y
x , . , , b y f (b=n )f + (n f )(b=n ) = d
x . Cff (b=n ) Cn(n f f )(b=n ) ,
n

2fh (b=n;1b=n )+(n f )h (b=n;1b=n ) = 2nh (b=n;1b=n ) :

14.4.

485

|B | b ( ).
, B b f x
|B |= poly(n ) S . B z S
. , z S B , |B |=(|S | poly(n )). ,
poly(n )|S |=|B | b f x S .]
355 A . , x , PxA
Px : " n
x n , PxA Px "n . [.
0 <  < 1=2 V n .
n E , N = 2n =V
n , n
n E . (
: N n ,
.) x
E , , x E log |E | = n log V . A n , x , KS (x ) = n log V
( O (log n )). , A x A E ,
x . (n log V; log V ) PxA . , Px KS (A ) + log |A | = n log V . , x
(0 (n log V ))- ( ) | E .]
356 PxA x A . [.
PxA KS (A ) = n log V ,
log |A | 6 log V KS (A ) + log |A | = n , log V 6 log |A |,
45 .]
A (1) { (3). 253 : O (log n ) O ( n log n ).
257. k 6 n n = t0 > t1 > : : : > tk = 0 | , m .
x k + O ( n log n ) + O (m ) n + O (log n ), A
P
x T = {hi; j i | (i 6 k ) (j > ti )}
O ( n log n ) + O (m ).

J 253. , . x
n 0 ,
i 2j , (i; j ) T ( ). n 0 ,
n 0 . , (i; j )

486

14.

Aij , x , 2j , i .
Aij . , j Aij 2j .
Aij
.
Aij , 2j . ,
Aij . ,
,
Aij . Aij
x . Aij , , j
.
, Aij i .
, Aij
. , (
2j ), ( 2j ).
T , 2i +j ( n ),
Aij 2i . 2i , i .
( , Aij , , 2i .)
, , A ? - , ,
n 0 x . A | ,
A . ,
Aij 2j | A . - x .
x ,
, . , ,
Aij ,
.1 ,
( 2j ) 2j .
, .
, ,
, ,
, .
1
|
.

14.4.

487

. , A1 ; : : : ; Al , Al 2j ,
 2j .
Al +1 2s < 2j , A1 ; : : : ; Al +1
. Al
poly(n 0 )2j s A , 2s ,
,
A1 : : : Al .
A , |
.
Al +1 A1 ; : : : ; Al +1
 2j
 2s
=
poly(n 0 )2j s poly(n 0 )
.
, Aiti (i; ti ) T ,
k .   = poly(n 0 ) .
, , i i 2ti . i 2ti .
( )
, Aij (i; j )
T ( ).

, .
p
N = n= log n T ,
, (0; n ) (k; 0).
, x , (i; j ) A 2j ( ) i .
?
N
n log n . T
45 ,
( , n log n ). , i + j
( ). T ,

( n log n ). PxA : ( )
. T .
T PxA , ,
.
x . N (i; j ), il ; jl , j1 = n jN = 0. l
Al A 2jl

488

14.

, l
l 2jl . N ,
A0 n 0 ( A ).
.
n 0 ( ). n 0 ,
2n (,
n 0 = n + O (log n )).
l
l 6 N , l ,
l -, . (
n 0 l0 = n 0 .) l - : l - l
, .
l , l -? 2il l -. ,
l - l
(, ) . , l - (l 1)- .
, l
0

l 1 =2jl

jl

. , , l - , , . , , 0
A0 .
l = (2)l 2jl =2:
l - Ar r 2r . , l -
l ( , l -
s - s 6 l
l ).
, l - . s -
s 6 l . s - s , l . l
( 2jl ),
( 2jl ).
r<l 2ir ,

14.4.
r >l 2ir +jr .
s 6 l

489

s -

2ir + 2ir +jr =l :

r<l

r >l

( s -, ,
s -, .) ir N 2il . ir + jr
r , N 2il +jl =l . , l = (2)l 2jl 1
 = poly(n 0 ), ,

N 2il +jl +N log 2jl +1 = N 2il +O (N log n ) :

0

, s - s 6 l

N 2il +O (N log n ) ;
0

, l -

N 2 2il +O (N log n ) :
0

n 0 n , N
n= log n . l -
il + O ( n log n ) + O (m + log n ) (
T l ).
, . x
(, ),
. ,
, x ,
iN = k . I
. ,
A . PxA , . , ,
x PxA A ,
, A (
. 482).
357 .
358 () x | n , r | , n=2. KS r (x ) () y
, x , x r . , KS r (x ) O (log n ) i , x
(i log V (r ))-, , V (r )
r .
p

490

14.

()
r 7 KS r (x )
O ( n log n ). [. x n KS 0 (x ) =
= KS (x ), KS n (x ) = O (log n )
0 6 KS a (x ) KS b (x ) 6 log(V (b )=V (a )) + O (log n )
a < b 6 n=2. , k 6 n
t : {0; 1; : : : ; n } N m , t (0) = k , t (n ) = 0
0 6 t (a ) t (b ) 6 log(V (b )= log
V (a )) a < b 6 n=2,
n log n ) + O (m ), KS a (x ) = t (a ) +
x
n

k
+
O
(

+ O ( n log n ) + O (m ).]
KS r (x ) [53]. [41] :
. KS urs (x | y )
, , y 0
s y x 0 r x ( x 0 y 0 ). KS rs (x | y ) , x 0 ; y 0 r; s x; y , ,
KS (x 0 | y 0 ). y 0 x 0 y 0 , |
.
( ,
[41]).
254 , (i j )- (
). , A . 255
.
258. A . x n 2k A , (i j )-.
((i k ) j )- A (, , (i (j k ))-,
A (3) . 482).

, ,

O (log(n + i + j + k )), .
J i; j; n; k . (i j )- A ,
2j i ,

. :
x n , 2k ( ),
, 2i k p (n; k; i; j ), p | .
, p
, . (
n; i; j; k ,
O (log(n + k + i + j )).)

.

14.4.

491

. ,
2i . , ,
n ,
, . ,

2i k +1 (n + 1) ln 2
x n , 2k
, .
. ,
. , , . ,
.
:
A A

p = 2k (n + 1) ln 2:
, , .

p 2i = 2i k (n + 1) ln 2:
,
, 1/2. ,
( x ,
2k ,
) 1/2.
, x 2n 1 . t ,
x
t , (1 p )t . Rt .
t = 0 . ,
, Rt +1 Rt 1 p .
z = (z1 ; z2 ; : : : ; zs ) | s
(zi = 1, i -e , zi = 0
). z ,
s - x t ( ,
s - x zs = 0). ,
Rt . z = (z1 ; z2 ; : : : ; zs )

492

14.

z Rt . ,
z Rt +1
, z , 1 p . ,
z1 ; : : : ; zs , x , .
1 p ( ), 1 p
, z1 ; : : : ; zs ,
x . , 1 p .
, p , t = 2k (1 p )t 2n 1 .
. ,
2i k +1 (n + 1) ln 2

2i k i 2 n ln 2
( , ). . i , 1; 2; : : : ; i .
s 2s , , , 2s . ,
S , 2s , T ,
, 2k =i S .
S , T . (
S , T , , . .), ,

in 2s k ln 2
. , T , 2k =i S . S |T |2k s =i
T . , ,
. T : , , 2k s =i -
T . T ,
in 2s k ln 2 ,
s k
k s
s k
|T |(1 2k s =i )in 2 ln 2 < 2n e (2 =i )in 2 ln 2 = 1;

. ( , , in 2s k ln 2 S

14.5.

493

T .
.)
, ,
s ,
in 2s k (ln 2)2i s = in 2i k ln 2;
i 2 n 2i k ln 2 .
, , 2k ,
. t
x . t : t = 2s + 2s + : : : ( s1 > s2 > : : :). x , s1 ; s2 ; : : : ;
x 2s 2k =i , x 2s 2k =i .. , t x
i 2k =i = 2k . I
, , .
1

259. A , , . x (i j )- A A , KS (A | x ) > k ,
x ((i k ) j )- A (, , (i (j k ))-, A (3) . 482).

( , ,
.)
14.5.

A , x : () d (x | A ) = log |A | KS (x | A ) ()
log |A | + KS (A ) KS (x ), , x A .
A x
 (x | A ).
? :
260. x A , , (
):

d (x | A ) 6  (x | A ) + O (log l (x )):
J

,
log |A | KS (x | A ) 6 log |A | + KS (A ) KS (x ) + O (log l (x )):

log |A |
KS (x ) 6 KS (A ) + KS (x | A ) + O (log l (x ));

494

14.

( ) hx; A i
KS (x ). I
, KS (x; A ) KS (x ), KS (A | x )
O (log l (x ) + log KS (A )), O (log l (x )), KS (A ) = O (KS (x )). (
: ,
?)
, . , x n
B , n , B y n 1, x . KS (B | x ) n ,
( -
, y ) n . ,
,
y , x ;
y ,
( ).
256 , : B , x ,
 (x | B ) d (x | B ) ( KS (B | x ), ), A ( , B ),
 (x | A ) d (x | B ).
, x A KS (A ) 6 
d (x | A ) 6  , (;  )-, ( ) , A
KS (A ) 6   (x | A ) 6  .
359 , ( x ) Px (. 253) ,   x (;  )-: , (; KS (x )  +  ) Px ( ,
).
360

(. 472) ,

 +  < n O (log n ), n , (;  )-. [. ( )

n ,  (n ) ( ,
O (log n )). ,
.]

361 , n -(;  )-
2O (log n ) . [. 2n  n (
),  (n )- ( ).  + (n   ) =
= n  . x (; KS (x )  +  ) Px .]

495

14.6.

362 , 251  +  < n O (log n ). [.

: , 360, 2 . 250
 <  O (log n ).]
363 x Qx , h;  i,
x (;  )-. , Qx ( ) , h0; i i, i 6 l (x ) KS (x ), hKS (x ); 0i,
.
364 , x  ,
,
,
Px   ( ) 45 .
[. 256.]
365 A | ,
(1) { (3) . 482. , x
A A  d (x | A ) 6  ,
A A   (x | A ) 6  h; KS (x )  +  i PxA ( ).
366 A | ,
p . , x n
A A d (x | A ) 6  A A  (x | A ) 6 
( O (l (p ) + log KS (A ) + log n + log log |A |)).
14.6.

x . , , Px (;  ), x (  )-. ,
, , x . , .
, ,
.
254.
l | , KS (x ). l x . ( , ). Nl | .
Nl ,
:

Nl = 2s + 2s + : : : + 2st ; s1 > s2 > : : : > st :

1

: 2s , 2s
1

496

14.

. x . (
) x . ,
( l > KS (x ) | ).

(-, , Px ;
-, x ).
261.

2s . ((l s ) s )- (l s; s )
Px ( , ((l s + O (log l )) s )- O (log l )- Px ).
J , ,
, s , l Nl , s
( l s ). , .
l s + O (log l ), 2s , .
(l s; s ) Px ,
Px ,
x ,
(
) 254 ( ()) x
2s ( ). I
,
. x
A , . A l .
, l ( Nl )
, ,
Nl . B | , x ,
2s .
262. B ( x ) A
:
() KS (B ) 6 KS (A );
()  (x | B ) 6  (x | A ) ( O (log l )). ,
() KS (B | A ) = O (log l ) ( B A ).
J A l , , l A .
x ( 2s ),
O (2s ) ( ). , Nl
O (2s ) l s O (1). ( l s ) B .
, KS (B | A ) = O (log l ). () ( ()) .
() : KS (A ) =  log |A | =  ,
A (  )-  +  +
+ O (log ), l  +  + O (log ).

14.6.

497

, ,
((l s ) s )-, ( ) , A . I
A B . 14.3:
A , ,
B .

. 14.3. A B .

, A (
Px )? , B
, A ? , : , B (. 14.3). (
, A ,
, Px .)
: Px
, - ( 45 ) ,
, ,
( A
, B , Px ).
, , , , x : B
, Nl l s . 352
(. 481), Nl s ( 116, . 194)
. ( Px ) ,
x
( ) .
x ( ),
( x ).
, , ,

x . [170] A x . ,

498

14.

, x x . , , 261 ( ). ,
[170].
, ( , ) ,
Px . . x | n .
: n , , x ,
n , , x .
, . ( ,
B , , n .)
14.7.

x -. ,
x , .
( A ; , ,
), , (
A ; , ,
).
,
. , x A (
).
.
:
x .
- , (
).
. ,
.
, , ,
( ,
). ( ).
, .
, .

14.7.

499

, ,
, .
, .
: (,
), ( ). , ,
,
, . , .
, , (
, ).
, 366. x y
, r x
r y . ,
r , x ( ). ,
. x , , 366
( , r )
x . ,
x . ,
x ( , , y ).
: , , ,
, , ,
.
,
,
.
, ,
.
, | , ,
.
( , , .
, x , .)

 1.

, ,
, [154].

, ,
: ,
, .
? ,
( ), , .
( ) 1000.
- ,
, 21000 1000 ? , |
? ,
( )?
, . (,
XIX ), , .
( ),
. ,
: , , .
? ,
n ! !
. , 20 1
, ,
. ,
. ?
1

500

 1.

501

, |
. , [165, 149, 154].
. . , , .
: ( )
A , B , B
, A . (

, .) , A ,
A ( B , ).
[12] : . . .
[ ];
, ; ,
,
; , , ,
. . . . ,
(. 159 { 160).
. . ,
, . , ,
,
21000 .
.
, , . (,
)
.
: | , ,
. ,
, ,
.
:
. : ,
([12], . 7).
. ,

502

1.

, . (, ,
.)
?

, . , ,
, , , ,
, , , .
, -
.
: , , , (
). . ,
, . , , ,
,
(??0??1??0??1 : : :). - ? :
, , .
: ( ,
). ,
( , ).
: ,
- , , .
, , ( , )
(). , ,
,
.
, ( ) ( ).
( ):
, ;
. , 1 000 000 2 000 000, , 1342517, ; ,

 1.

503

1500000, .
, ;
, , 1542317;
, ,
, 1324519 1324517;
, , ,
| .
, , , 13 420 5100;7,
.
, , - ,
, ,
, , a priori,
, ,
. . .
, , , , , , , h: : :i . . .
:
, , , , ,
, .

: , . (
.)
, ,
. : ,
1=2 1=2.
, 1=2
.
, , ,
.
,
. , -

504

1.

1 000 000 500 000

100 000 . , (
, ).

.
: , , -
. :
?
- ,
(
)?
, , .
. , .
,
?
, , , . (
), .
,
, . , .
, ( )

. . ,
,
.
,
, , . , ( )
, .

?

. , , - ,
, (

 1.

505

, ).

.
. ( ) . -
, , gzip. (
.) ,
1%, .
, 210 000 - .
( )
| ,
. , :

( ) ?

, . ,
, [0; 1], ( )

x 7 T (x ) = if 2x < 1 then 2x

else

2x 1:

x0 ( ), x1 = T (x0 ),
x2 = T (x1 ) . ,
0, , 1, .
: - ,
, - T ,
, ( ). ,
,
. , T - , . ,

(, )
.
?
, (= ) ?
( , .) (
) ,
( ) , . (, ,

506

1.

: , , ,
106 .)
, ? ,
, ?
:

,
. , , .
,
. (
| , ,
.)
.
( ,
; , , [47]).
,
( ), .
, .
() , (seed ), , ,
. ,
, 1010 . ,
, ( ) . ,
, .
, 1010 ,
- . : ,
, ,
?
| ,
, .
1010 , 21000 (
), ,
.

 1.

507

,
(, , ). , 106 ( ,
) . , ( )
.
:

.
. , ,
, , | .
, , , ,
: ,

.
, ( ),
. .
, .
, ( ).
- , .

( ) , . ,
. , , ,
. , ,
( , )

508

1.

. , , ( ) .
, ( ,
).
, . ( )
:
. ,
, .
, ,
( )
. .
, | .
, , . ,
,
, .
, ( ) . , , (
) , . .
,
, .
, , -
.
( ); ,
( : ,
). , , ,
- .
:

, | .
|
( ) . ,
, - -

 1.

509

.
; ,
. , , :
. , :
A ( ) B ,
A ( ). ,
, .
( ) , .
, N , , 1
z ( ). ,
.
N |z |2
( )
| .
, ,
( ),
, .

 2.

. . 1

- , ,
, | , :
:

10001011101111010000

(I)

01111011001101110001;

(II)

. ,
:
00000000000000000000
(III)
:

01010101010101010101;

(IV)

. : ?
-, (I) (II) , (III)
(IV) | .
?
. : (III) (IV)
, 220 , .
(I) (II)!
1
( ) (2- ., . | .: , 2009; 2006 .),
, , . . , 23 2005 . ,
, ;
.

510

 2.

511

-, .
, ,
(III) (IV) . | |
.
-,
. , 00, 01,
10, 11 , .
-, ( ) .
, . , ,
(III) (IV). .

, , |
(, |
). . ,
. , .
, . ,
, , . ,
, ,
, . , .
.
hi1 ; : : : ; in i , n | . x :
|x |.1 ;
. .
. .
ha1 ; a2 ; : : :i ha1 ; a2 ; : : : ; an i
. x | . , x , x .
1

l (x ).

512

2.

x , x , . x
1 v(x ), 2|x | .
, . ,
, . , , , ,
: , , .
| , .
, .
. ,
, , |
, : ( | ) .
, : , ( ,
) , , , | | .
?
-, .
, : , ,
( |
). :
,
, .
-, . ,
. , ,
. (I) (II)
, , .
(III) (IV) , .
-, . ,
.
-, . , ,
(. . ), .
, , , . , |
1

 2.

513

. , : , , , .
,
, ,
.
: ,
, ; , .
, . -, , , . -,
, , .
:

-, ,
,
XX | 1919 . ,
( ) ,
.
, , : ( )
. .
,

0; 1; 0; 1; 0; 1; 0; 1; : : : :
,
, . . ,
, . . . , ,
, ,
. , ,
, ,
, .
,
, .
, ,
. 1940 .

514

2.

| . , . ,
, .1 , :
, , ,
.2
1963 . ,
, , (
) ; , , . , (. . ,
),3 , ,
, , . . .
, , S.
, S . , , , , ;
, (, ).4 ,

(
).
. ,
. ,
.5
,
. , ,
, . |
| . ( , , .)
, { .
. 203() . 343.
3
{ { .
4
. 203() . 343.
5
.
1

 2.

515

, -,
, -, .
. ,
; , . (,

.)
.
, . , f ,
x , , f (x )
, .
a1 ; a2 ; : : : ;
n - an , 0 1.
G ,
: . , , , | |
, . . n , , ,
a1 ; : : : ; an . G (a1 ; : : : ; an ) , , (n + 1)-,
. G (a1 ; : : : ; an ) , ,
(n + 1)-, .
a1 ,
G (). , G (
, )

an (1) ; an (2) ; an (3) ; : : : ;

n (1); n (2); n (3); : : : , n , G (a1 ; : : : ; an 1 ) = .
.
a1 ; a2 ; : : : ; an ; : : :

a'(1) ; a'(2) ; : : : ; a'(k ) ; : : : ;

i<j

'(i ) 6= '(j ):

( ) | '(i ) < '(j ).

.

516

2.

, , ,
, (. . ), . , . . -
, .
(. . )
: F G . .
G
. F G ,
.
F , G
: .
n (1); n (2); n (3); : : : :
n (1) = F (); n (2) = F (an (1) ); : : : ; n (k + 1) = F (an (1) ; : : : ; an (k ) ):
( ), :
F (an (1) ; : : : ; an (k ) ) ;
G (an (1) ; : : : ; an (k ) ) ;
F (an (1) ; : : : ; an (k ) ) n (1); : : : ; n (k ).
n (1); n (2); n (3); : : : ;
an (1) ; an (2) ; an (3) ; : : : . , , | k | an (k ) ,
G (an (1) ; : : : ; an (k 1) ) = .
:

,
: (I) (II) ,
; (III) (IV) ,
. -, ,
, , - .
, | , | .
60- ,
. .
: .

 2.

517

, ,
.
Y | , , X | . |x | x . y Comp(y ). ,
Comp(y ) = min
{|x | : x y }:
x
y , . . , , , .
, , ,

( ), | ( ). | . -
, X = .
hx; y i, x y ,
.
, , . ,
, , , , , .
, .
Y E,
. hx; y i E , , x y . CompE y E
:
CompE (y ) = min
{|x | : hx; y i E }:
x

, .
E = Y , x y ,
y , y
; , , .
, -
.
, . , .
, A B A 6 B , c , y CompA (y ) <
< CompB (y ) + c .
, , . . , ,
, ,

518

2.

. , , - :
- . , ,
.
.
. , .
| ,
. L | , . ., ,
. A L ( L ),
, . .
B L

A 6 B:

, .
.1
.
, . { .

. , ,
( ) . , A B
L , c , y
|CompA (y ) CompB (y )| < c:

. , , ,
, , , .
.
2
K ; K ,
, . K 0
K 00 , ,
, ,
|K 0 K 00 | < c:

, .
K ;
C . K H
( | ).
1
2

 2.

519

, . ,
. ( :
, | ,
,
.)
, , , (I), (II), (III), (IV) . . Y = .
hz; z i, , z . D , ,
( ), ( ). CompD (y ) = |y |. , ( , ,
, ). K ,
,

K (y ) < |y | + c:
, ,
. ,

, . . | -, .
.
,
K .

a1 ; a2 ; : : : ; an ; : : :
, c ,

K (a1 ; a2 ; : : : ; an ) > n c:
, ,
.
,
.
, { . , . |
( ).
. , .

520

2.

, .
. , ;
| , ,
. , - |
.
. , ,
.
.
.
. , ( ), | ,
. , , | ,
-
. , M ,
. ,
, . , , . ,
; . : , ,
(. .
- ). , {a; b; c }
a; b; c; c; c; c; : : : . , . ,
.
w1 ; w2 ; : : : ; wn ; : : : , , n - wn n . , , , | , ,
. .
: ,
, ,
(. . -
).

, , . ,
( | ) .

 2.

521

. , 1973 .
.1 .
, u v , u v ,
.
E , :


hx1 ; y1 i E &hx2 ; y2 i E &(x1 x2 )

(y1 y2 ):

, . , ,
2 KM .
, , .3 ha1 ; a2 ; a3 ; : : :i :
c n

KM (a1 ; a2 ; : : : ; an ) > n c:

C.
, .
.
-, .
-, , T (
):
C = T:
-, TC CT.
S ,
(, , ):
TC S;

TC 6= S:

- , | ,
. , ,
1972 . , . .
. 6.2.
3
- (),
.
1
2

522

2.

, (. .
, ),
(. . ,
) . . , , ,
, ,
, ,
, .
, . |
.
, , ,
. , , , |
.
.
, .
. ,
, ,
.
, - Q .
, .
, Q , Q .
, Q ,
. , , , ,
.
Q , , . : Q , m
hx (1); x (2); : : : ; x (n ); : : :i;

x (n ) ;
1

v(x (n )) = 2|x (n )| < m :

n

, , . .
.

 2.

523

-, ,
hx (1); x (2); : : : ; x (n ); : : :i . ,
, , n - x (n ) n .
-, ,
m , m .
. .
, , m , , |
, .
, ,
, , . ( | )
, , m , , ( | ),
hx (1); x (2); : : : ; x (n ); : : :i.
, 1 , ,
.
. , .
T
.
- | ,
-, 1966 . .
, T
C :
T = C:

, ,
- -,
CT TC.
,
CT S; CT 6= S:
:

: N
, ,
, , , . , N
1

524

2.

, , ,
. , ,
, .
, , ,
, . , ,

, ; , ,
,
, .
- , , , , , , .
, , . |
, | . ,
| .
,
, , , .
.
, ,
, ,
, .
, , |
. , ,
. , ,
, . ,
.
, . : ,
, . , .
.
a = ha1 ; a2 ; a3 ; : : :i:

hn; i; v i;

n N; i {0; 1}; v Q; v > 0;

 2.

525

, , N 1 , Q | . : n
, ; i ; v .
, ; , k - ,
hn (k ); i (k ); v (k )i. ,
, .
k - V (k 1). , : V (0) = 1.
( ). :
i (k ) = an (k ) ( ), V (k ) = V (k 1) + v (k );
i (k ) 6= an (k ) ( ), V (k ) = V (k 1) v (k ).
.
-, , , , . , k -
, :
1) : ,
, . . n (k )
n (1); : : : ; n (k 1);
2) : , , . . v (k ) < V (k 1).
, .
. ,
. | , , .
-, , ( !),
,
, . | | . ,
.
, . , .
, . .
, . .
( ) ,
1
, ( ,
) . .

526

2.

. ,
: 1) ; 2)
, ,
; 3) ,
, -
. , , , ,
. .
, ( a),
sup V (k ) = +;
. .

W k

V (k ) > W:

, , W . ,
, , ,
.
, . ,
. ,
: . , ,
(. . ). ,
, . , ; , ,
.
.
.
,
.
, k - :
n (1) n (2) : : : n (k 1)
i (1) i (2) : : : i (k 1)
v (1) v (2) : : : v (k 1)

an (1) an (2) : : :

an (k 1)

( k = 1, ).
,
( ) ,
, . . hn; i; v i. ,
, , , | ,
| .

 2.

527

(
- ) ,
. ,
hn (1); i (1); v (1)i. |
|

n (1)
i (1)
v (1)

an (1) :

,
hn (2); i (2); v (2)i;

n (1)
i (1)
v (1)
an (1)

n (2)
i (2)
v (2)
an (2) ;

.

, . ,
, . . . ,
, , , , . .
N {0; 1} Q+ . Q+
.
:
N {0; 1} Q+ :
N {0; 1} Q+ :
, - . , . A | , X ,
Y . X A, ,
A . A :
,
,
.
- , . (
,
, ,
,

528

2.

.
, .)
a, ,
a, .
, , | .
U.1
, ( S) -
( CT) :
CT U S:

,
:
S 6= U:

( ) :

CT =? U:
.

, . , , ,
.
: , . , , A, , B, .
. A
,
, . , A, , , B ,
.
1
, . . 346.

 2.

529

, , ,
. .
,
. , .
, , ,
, .
, M , , -,
M , , , -, A (A ),
. ,
, ; ,
: .
(M ) = 1, , .
(A ) ,
M A .
. , ( )
x

(x ) = 2|x | :

, . , ( ), p
1 p ; p
. ,
. ,
p

(x ) = p k (1 p )|x |k ;
k | x .
, . , - , ,
. , k , p (k ); ,

530

2.

, 1 p (k ).
.
p = hp (1); p (2); : : : ; p (k ); : : :i;

0 6 p (k ) 6 1:

 , x = hx1 ; : : : ; xn i

p,

(x ) = ri ;
i =1

ri = p (i ) xi = 1 ri = 1 p (i ) xi = 0. : p
p = hp; p; : : : ; p; : : :i.
, , , ( , ).
,  , :
C() = T() U() S();
S() =
6 U()

( , ).
C(), T(), U(), S() , , , ,
, .
( C = C(), T = T(), U = U() S = S(), 
.)
| , , . -,
. -,
,
. -
, ,
.

 ,
, x (x )
x . ,
, . . | , ,
- (

 2.

531

,
). ,
.
, ,
.
.  , , x " ,
(x ) x , ".
, x ,
(x ) = 0. , ( ),
. , , , .
- . -,
,
, . ., , ,
x , (x ) x . , , , , -:


!
,
: - . , . ,
-, ,

, , , , .1

- e k - ek ,
, e (k ).
, . . 1
{ ; , , , "". ( , " "),

.

532

2.

. -

. ,
,
.

p : ,
p .
, , , p . ,
p = 0 p = 1, ;
, ,
| , .
. .
.
.
, , , , ,
| .
. p |
. , , , .
, : a , k , a (k ) = 0 p (k ) = 1, a (k ) = 1
p (k ) = 0. : a ,

b = ha (m1 ); a (m2 ); : : : ; a (mk ); : : :i;

, :

a (m1 ) + : : : + a (mk ) p (m1 ) + : : : + p (mk ) 0

k
k
k

. , a ( ), , -

, .
. , , , .
, ,
, .

 2.

533

,
, .
n (1); n (2); : : : ; n (k )

i (1); i (2); : : : ; i (k ) {0; 1}:

(1); :::; n (k ) a ,
Ain(1)
; :::; i (k )

an (1) = i (1); an (2) = i (2); : : : ; an (k ) = i (k ):
()

(1); :::; n (k ); m
 Ain(1)
; :::; i (k ); 1
(1); :::; n (k )

 Ain(1)
; :::; i (k )

 (1); : : : ; n (k )
 m1  ni (1)
; : : : ; i (k ) ;
, m -


a
1 (); ,
.
, :
a . |
a .
, a b, .
c, b. ,
c = han (1) ; an (2) ; : : : ; an (k ) ; : : :i;

n (k )
han (1) ; an (2) ; : : : ; an (k 1) i:

, , an (k )
b. ,
b = ha (n (k1 )); a (n (k2 )); : : : ; a (n (kj )); : : :i:

, , . .
. , b ,
. ., , , .
b , , a
. b , a
a.

534

2.

rj

; n (2); : : : ; n (kj 1)
 n (1kj )  a (nn(1)
(1)); a (n (2)); : : : ; a (n (kj 1)) :


r + r + : : : + rj
j = 1 2 j

a (n (k1 )) + a (n (k2 )) + : : : + a (n (kj ))

:
j

j , r1 ; : : : ; rj .
, b , j j 0 j . a , b, a
, .
, a ( ),
| ,
( ).
, .
( ) .

, , :
a = ha1 ; a2 ; a3 ; : : :i ,
c , n

KM (a1 ; a2 ; : : : ; an ) > log (a ;a ;:::;an ) c;

1

, , .
, , ,
. , :
c x

KM (x ) < log (x ) + c:

,  , , x
(x ) (
). ,
( ).

 2.

535

: ,
,
.
. Q
, A, .
A m hx (1); x (2); : : : ; x (n ); : : :i (. .
n 7 x (n )),

x (n ) ;
1

(x (n ) ) < m :
n

, 
( ) .
- :
, | . . ,  | ,
, ,
. , T()
.

, ,
, . : (
)
( , , ).
. ,
| , .
, , . ,
, , .
,
. .

536

2.

a k - ak , a0
k - ak0 . .
, j - , hn (j ); i (j ); v (j )i.
, , a.

A (k 1) = {a0 : an0 (j ) = an (j ) j = 1; 2 : : : ; k 1}
( A (0) = ),

Ai (k ) = {a0 A (k 1): an0 (k ) = i } i = 0; 1:

, ,
n (l ) . ,
= A (0) A (1) A (2) : : : ;
1 = (A (0)) > (A (1)) > (A (2)) > : : : ;

(1)
(2)

k - ,

i (k ) = an (k ) ; Ai (k ) (k ) = A (k );

(3)

k - ,

i (k ) 6= an (k ) ; A1i (k ) (k ) = A (k );
,

(4)

A (k 1) = A0 (k ) A1 (k ):

(5)
, i (k ) = an (k ) ( k - |
),

V (k ) = V (k 1) + v (k ) (A(A1i (k()k(k)))) :
i (k )

(6)

(6) : , . . , . ,
, ( ,
). , (Ai (k ) (k )) .
, .
, .
. ,
, (A (k )) = 0 (
(2)). (A (k 1)) 6= 0, (A (k )) = 0. ,
, k . , i (k ).

 2.

537

, . . , i (k ) = an (k ) , , : V (k ) = +.
, .
, . . , i (k ) 6= an (k ) (, , 1 i (k ) = an (k ) ),
- , ,
, V (k ) V (k 1).
, , .
, (6)
. , (6) , i (k ) =
= an (k ) . , (3), Ai (k ) (k ) = A (k ).
, (A (k )) = 0.
(6), . (, , , (6),
(A1i (k ) (k )) .)
, , , , ,
, .

[1] . . , . . . //
, 1987. . 32, . 3, . 425 { 455.
[2] . . , . . . :
. | .: , 1987. | 288 c.
[3] . . , . . , . . . ? //
, 1990. . 45, . 1, . 105 { 162.
[4] V. A. Uspensky, A. Shen. Relations between varieties of Kolmogorov complexities // Mathematical Systems Theory, 1996. Vol. 29, no. 3, p. 271 { 292.
[5] An. A. Muchnik, A. L. Semenov, V. A. Uspensky. Mathematical metaphysics of
randomness // Theoretical Computer Science, 1998. Vol. 207, p. 263 { 317.
[6] . . // , 1988. . 302, 3,
. 548 { 552.
[7] . . . () //
. 16. | : , 1981. | . 14 { 43.
[8] M. Li, P. Vitanyi. An Introduction to Kolmogorov Complexity and Its Applications. | New York e. a.: Springer-Verlag, 1993. | xx+546 pp., 38 illustrations;
Second ed. | New York e. a.: Springer-Verlag, 1997. | xx+637pp., 41 illustrations.

538

2.

.
( [8]) ,
.
[2] 2.6 : . ,
: , |
-. , ,
[2] , | { , | { { ( [3] | { ; . (D. Loveland)
, : 1963 ., | 1966 .).
| , , | ,
1998 . [5].
, ,
1966 . . . ,
, ,
, , :
(. .
- ) .
(
)
60- XX (
, , ) . 1969 . (
1968 .) :
1) ,
;
2)
,
, .

1965 .;

(Ray Solomono), . -

 2.

539

{ . (. . 60- XX .)

,

. ,
. , ,
1973 . ,
.
( \random", ) , , 1966 .
- (Per Martin-L-of).
, , , ( | ) ,
(. [6], [2, . 6.2.4])1 .
K | - . (
: , , ,
, ;
, ,
, .) ,
a1 ; a2 ; a3 ; : : : ; an ; : : : K (
!),
c n

K (a1 ; a2 ; a3 ; : : : ; an ) > n c:

( , , ,
.)
1973 ., , , .
1973 . - (Claus-Peter Schnorr;
1972 .) ,
( | process complexity ),
( , ), .
( [7, 6 { 4 ],
) , ,
{ .
( - , 1971 .;
1
.
.

540

2.

, , , 1974 .)1 ( ) |
(Gregory J. Chaitin) (. A theory of program size formally identical to
information theory // Journal of the Association of Computing Machinery, 1975,
v. 22, no. 3, p. 329 { 340). ( ),
;
[7]: 3.2 . 38. .
E , :
hx1 ; y1 i E

& hx2 ; y2 i E & (x1 x2 )

(y1 = y2 ):

, (\complexity") , . . .
( ) 1991 . Randomness and Lawlessness ( ), ,
. 4 7
(Institute for Mathematical Studies in the Social Sciences) .
1998 . [5]. , ,

.2
, [5]. , [5]
v (k ) < V (k 1),
v (k ) 6 V (k 1). .
. -, :
,
. -,
- (
[5]) .
.
: ,
. [74] .
, ,
. 1930-
, .
1

 2.

541

v (k ) < V (k 1)?, v (k ) < V (k 1); ,

v (k ) 6 V (k 1)?, v (k ) 6 V (k 1).
: , ,
. , ( )
[5] .
, ,
( ,
) ( , ,
, ) , , - . [5]
. , - ,

.

Z, ( ) | N | R.
Q, - ( ), m=2n m n .
A |A |.
, log x 2 ( , ln x | ).
bx c x
( , x ), dx e
, x .
, f 6 g + O (1) ( f g | ,
) , c , f 6 g + c
. f 6 g + O (h ) ( h ) , c
f 6 g + ch . f = g + O (h ) (
h ) , c |f g | 6 ch . , f = O (h ) , |f | 6 ch
c ; f = (h ) , |f | > ch
c > 0 ( f ), f = (h ) ,
c1 h 6 |f | 6 c2 h ( f ).
B {0; 1}.
, .
( ) A A n
A n , n ,
A ( A ). A
( 0), , ,
= B . x l (x ). ab
a b , b a . ,
a , , b , b = ax
x . , a , , b , b = xa
x . , a b , b = xay
x y ( , a b
b ).
.
.
x , 542

543

x . x .
. A ; A .
. ( = ). x
() x .
,
. (
), . f , (, ),
, f (x ) ,
f (x ).

( , , , ) | ,
( ,
- ,
).
(
, ), (. ).
( , .)
, ,
( ;
, ).
 , ,

( " > 0  ").
 , (: , , ).
, , ,
(. ),
.
( ) ;
x p ,
p () = 1, p (x ) = p (x 0) + p (x 1) x ,
. , . p , p () = 1 p (x ) > p (x 0) + p (x 1).
, pi

544

, i N pi 6 1.
N , ( ).
( )
. ( ). (
). n
m (n ); x (
x ) a (x ). m (x )
x ,
.
: KS (x ) ( C (x )). KP (x )
KP 0 (x ), , . ( K (x ).) , . ., . , KS (x | y ) (,
) x y , m (x; y | z )
(x; y ) (, , ) z .
KM ,
( ) KA . ( Km Km
KM .) ,
KR .

n BB (n ) ( BP (n )),
,
n , B (n ).
. N ();
, , .
, (
x ) .
,
( x x , ).
( ) , , .
A ,
. A ,
A . .;

545

, , x A
KS A (x ).
;  , k
p1 ; : : : ; pk , H ( ) k pk log pk .
, 
 H (; ) H (). H ( ) + H () H (; )
 
I ( : ). I (x : y ) , ,
x y KS (y ) KS (y | x ).

[1] Ahlswede R., Cai N., Li S. R., Yeung R., Network Information Flow, IEEE Transactions
on Information Theory, v. 46 (2000), no. 4, p. 1204 { 1216.
[2] Ahlswede R., K-orner J., On common information and related characteristics of correlated
information sources, Preprint, Presented at the 7th Prague Conference on Information
Theory (1974).
[3] Alon N., Newman I., Shen A., Tardos G., and Vereshchagin N., Partitioning multidimensional sets in a small number of \uniform" parts, European Journal of Combinatorics, v. 28 (2007), p. 134 { 144.
: ECCC1 TR05-095 (2005).
[4] Becher V., Figueira S., and Picchi R., Turing unpublished algorithm for normal numbers,
Theoretical Computer Science, v. 377 (2007), no. 1 { 3, p. 126 { 138.
[5] Bennett C. H., Gacs P., Li M., Vitanyi P. M. B., and Zurek W., Information distance, IEEE
Trans. Information Theory, v. 44 (1998), no. 4, p. 1407 { 1423.
: Thermodynamics of computation and information distance,
Proc. 25th ACM Symp. on Theory of Computing (STOC 1993), p. 21 { 30.
[6] Bienvenu L., Game-theoretic characterization of randomness: unpredictability and
stochasticity, Ph.D. thesis, University of Marseille, 2008.
[7] Bienvenu L., Downey R., Kolmogorov complexity and Solovay functions, Electronic Proc. 26th Symp. on Theoretical Aspects of Computer Science (STACS 2009),
stacs2009.informatik.uni-freiburg.de/proceedings.php

[8] ., ., ., ., ., . 2 , . 274 (2011), . 41-102.

: Bienvenu L., Gacs P., Hoyrup M., Rojas C., and Shen A., Algorithmic tests and randomness with respect to a class of measures, Proc. of the Steklov
Institute of Mathematics, v. 274 (2011), p. 41 { 102. . : arXiv:1103.1529v2.
[9] Bienvenu L., Muchnik An., Shen A., Vereshchagin N.K., Limit complexities revisited,
Theory of Computing Systems, v. 47 (2010), no. 3, p. 720 { 736.
. : arXiv:0802.2833. ( ): arXiv:1204.0201
[10] Bienvenu L., Sablik M., The dynamics of cellular automata in shift-invariant topologies,
Proc. 11th Conference on Developments in language theory (DLT 2007), LNCS3
v. 4588, p. 84 { 95.
1
ECCC = Electronical Colloquium on Computational Complexity. ECCC eccc.hpi-web.de.
2
= . . .
3
LNCS = Lecture Notes in Computer Science.

546

547

[11] Bienvenu L., Shafer G., Shen A., On the history of martingales in the study of randomness, Electronic Journal for History of Probability and Statistics, v. 5 (2009), no. 1,
p. 1 { 40, www.jehps.net/juin2009/BienvenuShaferShen.pdf
: Bienvenu L., Shen A., Algorithmic information theory and
martingales, arXiv:0906.2614.
[12] ., , ., ., : , 1923, 215 . ( . . 8.)
[13] Buhrman H., Fortnow L., Laplante S., Resource-bounded Kolmogorov complexity revisited, SIAM Journal on Computing, v. 31 (2002), no. 3, p. 887-905.
[14] Buhrman H., Fortnow L., Newman I., Vereshchagin N., Increasing Kolmogorov complexity. Proc. 22nd Symp. on Theoretical Aspects of Computer Science (STACS 2005),
LNCS v. 3404, p. 412 { 421.
: ECCC TR04-081 (2004).
[15] Calude C. S., Information and randomness: an algorithmic perspective. 2nd ed.,
Springer-Verlag, 2002 (rst edition, 1994), 450 pp. ISBN 3-540-43466-6.
[16] Calude C. S., Hertling P., Khoussainov B., Wang, Y., Recursively enumerable reals and
Chaitin Omega numbers, Proc. 15th Symp. on Theoretical Aspects of Computer Science
(STACS 1998), LNCS v. 1373, p. 596 { 606.
[17] Calude C. S., Staiger L. and Terwijn S., On partial randomness. Annals of Pure and
Applied Logic, v. 138 (2006), no. 1-3, p. 20 { 30.
[18] Chaitin G. J., On the length of programs for computing binary sequences, Journal of the
ACM, v. 13 (1966), no. 4, p. 547 { 569.
[19] Chaitin G. J., On the length of programs for computing binary sequences: statictical considerations, Journal of the ACM, v. 16 (1969), no. 1, p. 145 { 159.
[20] Chaitin G. J., Computational complexity and G-odels incompleteness theorem, ACM
SIGACT News, no. 9 (1971), p. 11 { 12.
[21] Chaitin G. J., Information-theoretic limitations of formal systems, Journal of the ACM,
v. 21 (1974), no. 3, p. 403 { 424.
[22] Chaitin G. J., A theory of program size formally identical to information theory, Journal
of the ACM, v. 22 (1975), no. 3, p. 329 { 340.
[23] Chaitin G. J., Incompleteness theorems for random reals, Advances in Applied Mathematics, v. 8 (1987), p. 119 { 146.
[24] Chaitin G. J., Algorithmic information theory, Cambridge University Press, 1987. Third
printing, 1990.
[25] Champernowne D. G., The construction of decimals normal in the scale of ten, Journal
of the London Mathematical Society, v. 8 (1933), p. 254 { 260.
[26] Chan T. H., Yeung R. W., On a relation between information inequalities and group theory,
IEEE Transactions on Information Theory, v. 48 (2002), no. 7, p. 1992 { 1995.
[27] Chernov A., Muchnik An. A., Romashchenko A., Shen A., Vereshchagin N. K. Upper
semi-lattice of binary strings with the relation \x is simple conditional to y ". Theoretical
Computer Science, v. 271 (2002), no. 1 { 2, p. 69 { 95.
: Proc. 14th IEEE Conference on Computational Complexity
(CCC 1999), p. 114 { 122.
[28] Chernov A., Hutter M., Schmidhuber J., Algorithmic complexity bounds on future prediction errors, Information and Computation, v. 205 (2007), p. 242 { 261. DOI
10.1016/j.ic.2006.10.004, . arXiv:cs/0701120.

548

[29] Chernov A., Shen A., Vereshchagin N., Vovk V., On-line Probability, Complexity and
Randomness, Proc. 19th Conference on Algorithmic Learning Theory (ALT 2008),
p. 138 { 153.
[30] Chung F. R. K., Graham R. L., Frankl P., Shearer J. B., Some intersection theorems for
ordered sets and graphs. Journal of Combinatorial Theory, A, v. 43 (1986), p. 23 { 37.
[31] Church A., On the concept of a random sequence. Bull. Amer. Math. Soc, v. 46 (1940),
no. 2, p. 130 { 135.
[32] Cormen T. H., Leiserson C. E., Rivest, R. L., Stein C., Introduction to Algorithms, 3 ed.,
Cambridge, MIT Press, 2009.
[33] Daley R.P., Minimal-program complexity of pseudo-recursive and pseudo-random sequences, Mathematical Systems Theory (now Theory of Computing Systems ), v. 9
(1975), no. 1, p. 83-94.
[34] David A. P., de Rooij S., Shafer G., Shen A., Vereshchagin N. K., and Vovk V., Insuring
against loss of evidence in game-theoretic probability, Statistics & Probability Letters,
v. 81 (2011), no. 1, p. 157 { 162. . : arXiv:1005.1811.
[35] Day, A., Increasing the gap between descriptional complexity and algorithmic probability,
Proc. 24th IEEE Conference on Computational Complexity (CCC 2009), p. 263 { 273.
:
homepages.mcs.vuw.ac.nz/~adam/papers/day monotone a priori.pdf.
[36] Downey R., Hirschfeldt D., Algorithmic randomness and complexity, Springer-Verlag,
2010, 855 pp. ISBN 978-0387955674.
[37] Downey R., Hirschfeldt D., Nies A., Terwijn S., Calibrating randomness., The Bulletin of
Symbolic Logic, v. 12 (2006), no. 3, p. 411 { 491.
[38] Durand B., Levin L., Shen A., Complex tilings, Journal of Symbolic Logic, v. 73 (2007),
no. 2, 593 { 613. . : arXiv:cs/0107008.
[39] Durand D., Shen A., and Vereshchagin N., Descriptive complexity of computable sequences,
Theoretical Computer Science, v. 171 (2001), p. 47 { 58.
: Proc. 16th Symp. on Theoretical Aspects of Computer Science (STACS 1999), LNCS v. 1563, p. 153 { 162 ECCC TR01-087 (2001).
[40] Durand B. and Vereshchagin N., Kolmogorov { Loveland stochasticity for nite strings,
Information Processing Letters, v. 91 (2004), p. 263{269.
[41] Fortnow L., Lee T., Vereshchagin N., Kolmogorov complexity with error, Proc. 23rd
Symp. Theoretical Aspects of Computer Science (STACS 2006), LNCS v. 3884, p.
137 { 148.
: ECCC TR04-080 (2004).
[42] ., . , . 218
(1974), 6, . 1265 { 1267.
: Gacs P., On the symmetry of algorithmic information. Soviet Math.
Dokl, v. 15 (1974), no. 5, p. 1477-1480.
[43] Gacs P., Exact expressions for some randomness test, Zeitschrift f-ur Math. Logik und
Grundlagen d. Math., v. 26 (1980), p. 385 { 394.
[44] Gacs P., On the relation between descriptional complexity and algorithmic probability,
Theoretical Computer Science, 1983, v. 22, p. 71 { 93.
: Proc. 22nd Symp. on Foundations of Computer Science
(FOCS 1981), p. 296 { 303.

549

[45] Gacs P., Every sequence is reducible to a random one, Information and Control (now
Information and Computation ), v. 70 (1986), no. 2 { 3, p. 186 { 192.
[46] Gacs, P., and K-orner, J. Common information is far less than mutual information, Problems of Control and Information Theory, v. 2 (1973), no. 2, p. 149 { 162.
[47] Goldreich O., Foundations of Cryptography. V. 1. Basic Tools. Cambridge University
Press, Cambridge, 2007.
[48] Gorbunov K. Yu., On a complexity of the formula A B C , Theoretical Computer
Science, v. 207 (1998), no. 2, p. 383 { 386.
[49] ., , .: , 1953, 292 .
[50] Hammer D., Romashchenko A., Shen A., Vereshchagin N., Inequalities for Shannon entropies and Kolmogorov complexities, Journal of Computer and System Sciences, v. 60
(2000), p. 442 { 464.
: Proc. 12th IEEE Conference on Computational Complexity
(CCC 1997), p. 13 { 23.
[51] Hammer D., Shen A., A strange application of Kolmogorov complexity, Theory of Computing Systems, v. 31 (1998), no. 1, p. 1 { 4.
[52] H-olzl R., Kr-aling T., Merkle W., Time-bounded Kolmogorov complexity and Solovay
functions, Proc. 34th Symp. Mathematical Foundations of Computer Science (MFCS
2009), LNCS v. 5734, p. 392 { 402.
[53] Impagliazzo R., Shaltiel R., and Wigderson A., Extractors and pseudo-random generators
with optimal seed length, Proceedings of the 32nd ACM Symp. on the Theory of
Computing (STOC 2000), p. 1 { 10.
[54] Kakutani S., On equivalence of innite product measures, Annals of Mathematics, Second
Series, v. 49 (1948), no. 1, p. 214 { 224.
[55] Kalinina E., Prex-free and prex-correct complexities with compound conditions, Proc.
5th Computer Science Symp. in Russia (CSR 2010), LNCS v. 6072, p. 259 { 265.
[56] Karpovich P., Monotone complexity of a pair, Proc. 5th Computer Science Symp. in
Russia (CSR 2010), LNCS v. 6072, p. 266 { 275.
[57] Kjos-Hanssen B., The probability distribution as a computational resource for randomness
testing, Open access Journal of Logic and Analysis, v.2 (2010),
logicandanalysis.org/index.php/jla/article/view/78.
[58] Kjos-Hanssen B., Merkle W., Stephan F., Kolmogorov complexity and the recursion theorem, Transaction of the American Mathematical Society, v. 363 (2010), p. 5465 { 5480.
: Proc. 23rd Symp. on Theoretical Aspects of Computer Science (STACS 2006), LNCS v. 3884, p. 149 { 161.
[59] Kleene S. C., On the interpretation of intuitionistic number theory. Journal of Symbolic
Logic, v. 10 (1945), pp. 109 { 124.
[60] Kolmogoro A., Zur Deutung der intuitionistishen Logik. Mathematische Zeitschrift,
Bd. 35 (1932), H. 1, S. 58 { 65.
: , :
. ., . , .: , 1985, . 142 { 148.
[61] Kolmogorov A. N., On tables of random numbers, Sankhya, The Indian Journal of Statistics, Ser. A, v. 25 (1963), no. 4, p. 369 { 376. : Theoretical Computer
Science, v. 207 (1998), no. 2, p. 387 { 395.

550

[62]
[63]

[64]
[65]
[66]

[67]
[68]
[69]
[70]
[71]
[72]
[73]
[74]

: . , 1982,
. 18, . 3 { 13, .: . : . ., , .: , 1987, . 204 { 213.
. ., ,
, . 1 (1965), . 1, . 3 { 11
: Kolmogorov A. N., Three approaches to the quantitative denition
of information. Problems Inform. Transmission, v. 1 (1965), no. 1, p. 1 { 7.
. ., ,
, . 5 (1969), . 3, . 3 { 7.
( ): Kolmogorov A. N., Logical basis for information theory and probability theory, IEEE Trans.
Inform. Theory, v. 14 (1968), p. 662 { 664.
. ., [ (, 1970)],
, . 38 (1983), 4, . 27 { 36.
. ., . . , 4- ., .: , 1976, 544 c.
. ., . ., ,
, . 32 (1987), . 3, . 425 { 455.
: Kolmogorov A. N. and Uspensky V. A., Algorithms and randomness, SIAM J. Theory Probab. Appl. v. 32 (1987) p. 389 { 412 [with annoying translation
errors1 ]. Without annoying translation errors: Prokhorov Yu. V. and Sazonov V. V., Eds.,
Proc. 1st World Congress of the Bernoulli Society (Tashkent 1986 ), v. 1: Probab.
Theory and Appl., VNU Science Press, Utrecht 1987, p. 3 { 55.
Kucera A., Measure, 01 -classes and complete extensions of PA, : Ebbinghaus H.-D., M-uller G. H. and Sacks G. E. (Eds.), Recursion Theory Week (Oberwolfach, 1984 ), Lecture Notes in Mathematics, v. 1141 (1985), p. 245 { 259.
Kucera A., Slaman T., Randomness and recursive enumerability, SIAM Journal on Computing, v. 31 (2001), no. 1, p. 199 { 211.
Kuipers L., Niederreiter H., Uniform distribution of sequences, Wiley-Interscience, 1949.
Kummer M., On the complexity of random strings, Proc. 13th Symp. on Theoretical
Aspects of Computer Science (STACS 1996), LNCS v. 1046, p. 25 { 36.
van Lambalgen M., Random sequences, Ph. D. Thesis, University of Amsterdam, 1987.
de Leeuw K., Moore E. F., Shannon C. E., and Shapiro N., Computability by probabilistic machines, : C. E. Shannon and J. McCarthey (Eds.), Automata Studies,
Princeton University Press, Princeton, New Jersey, 1956, p. 183 { 212.
. ., , , . 212
(1973), 3, . 548 { 550.
: Levin L.A., On the notion of a random sequence, Soviet Math.
Dokl., v. 14 (1973), p. 1413 { 1416.
. ., () , , . 10 (1974), . 3,
. 30 { 35.

1
Some of those errors drastically distort meaning; e. g. Russian term , which should be
translated as enumerable, or recursively enumerable, was translated as countable.

[75]
[76]
[77]
[78]
[79]
[80]
[81]
[82]
[83]
[84]
[85]
[86]
[87]
[88]
[89]
[90]

551

: Levin L. A., Laws of information conservation (nongrowth) and

aspects of the foundation of probability theory, Problems of Information Transmission,
v. 10 (1974), p. 206 { 210.
. ., ( ), , . 227 (1976), 4, . 804 { 807.
: Levin L. A., Variuos measures of complexity for nite objects (axiomatic description), Soviet Math. Dokl., v. 17 (1976), p. 522 { 526.
. . ,
, . 227 (1976), 6, . 1293-1296.
: Levin L. A., On the principle of conservation of information in
intuitionistic mathematics, Soviet Math. Dokl., v. 17 (1976), no. 2, p. 601 { 605
. ., , , . 227 (1976),
1, . 33-35.
: Levin L.A., Uniform tests of randomness, Soviet Math. Dokl.,
v. 17 (1976), p. 337.
. ., ,
, . 234 (1977), 3, . 536 { 539.
: On a concrete method of assigning complexity measures, Soviet
Math. Dokl., v. 18 (1977), no. 3, p. 727 { 731.
Levin L. A., A concept of independence with application in various elds of mathematics,
MIT Technical Report, MIT/LCS/TR-235, 1980, 21 p.
Levin L. A., Randomness conservation inequalities: information and independence in mathematical theories, Information and Control, v. 61 (1984), no. 1 { 2, p. 15 { 37.
Levin L. A., Vyugin V. V., Invariant properties of informational bulks, Proc. 6th Symp.
on Mathematical Foundations of Computer Science (MFCS 1977), LNCS v. 153,
p. 359 { 364.
Levin L. A., Forbidden information, 2002, 8 pp., arXiv:cs/0203029.
: Proc. 43th IEEE Symp. on Foundations of Computer Science
(FOCS 2002), p. 761 { 768.
Li M., Vitanyi P., An Introduction to Kolmogorov complexity and its applications, 3rd
ed., Springer, 2008 (1 ed., 1993; 2 ed., 1997), 792 pp. ISBN 978-0-387-49820-1.
Li S. R., Yeung R. W., Cai N., Linear network coding, IEEE Transactions on Information
Theory, v. 49 (2003), no. 2, p. 371 { 381.
Loomis L. H., Whitney H., An inequality related to the isoperimetric inequality, Bulletin
American Mathematical Society, v. 55 (1949), p. 961 { 962.
Loveland D. W., A new interpretation of von Mises concept of a random sequence, Z.
Math. Logik und Grundlagen d. Math., v. 12 (1966), p. 279 { 294.
Loveland D. W., The Kleene hierarchy classication of recursively random sequences,
Trans. Amer. Math. Soc., v. 125 (1966), p. 497 { 510.
Loveland D. W., A Variant of the Kolmogorov concept of complexity, Information and
Control (now Information and Computation ), v. 15 (1969), p. 510 { 526.
Loveland D. W., On minimal-program complexity measures, Proc. 1st ACM Symp. on
Theory of Computing (STOC 1969), p. 61 { 65.
Lutz J., Dimension in complexity classes, SIAM Journal on Computing, v. 32 (2003),
p. 1236 { 1259.

552

[91]

[92]
[93]
[94]
[95]
[96]
[97]
[98]
[99]
[100]
[101]
[102]
[103]
[104]

: Proc. 15th IEEE Conference on Computational Complexity

(CCC 2000), p. 158 { 169.
Lutz J. H., The dimensions of individual strings and sequences, Information and Computation, v. 187 (2003), no. 1, p. 49 { 79.
: Gales and the constructive dimension of individual sequences,
Proc. 27th Colloquium on Automata, Languages, and Programming (ICALP 2000),
LNCS v. 1853, p. 902 { 913.
Makarychev K., Makarychev Yu., Chain independence and common information. IEEE
Transactions on Information Theory, v. 58 (2012), no. 8, p. 5279 { 5286.
. : Conditionally independent random variables, arXiv:cs/0510029.
Makarychev K., Makarychev Yu., Romashchenko A., Vereshchagin N., A new class of nonShannon-type inequalities for entropies, Communications in Information and Systems, v. 2
(2002), no. 2, p. 147-166.
. . , .: , 1980, 128 .
Martin-L-of P., The denition of random sequences, Information and Control (now Information and Computation ), v. 9 (1966), p. 602 { 619.
Martin-L-of P., Algorithmen und zuf-allige Folgen, Vier Vortr-age von Per Martin-L-of
(Stockholm) gehalten am Mathematischen Institut der Universit-at Erlangen { N-urnberg,
Als Manuskript vervielf-altigt, Erlangen, 1966, 61 pp, .
www.probabilityandfinance.com/misc/erlangen.pdf.
Martin-L-of P., Complexity oscillations in innite binary sequences, Z. Wahrscheinlichkeitstheorie verw. Geb., v. 19 (1971), p. 225 { 230.
Mayordomo E., A Kolmogorov complexity characterization of constructive Hausdor dimension, Information Processing Letters, v. 84 (2002), no. 1, p. 1 { 3.
Merkle W. The Kolmogorov { Loveland stochastic sequences are not closed under selecting
subsequences, Journal of Symbolic Logic, v. 68 (2003), p. 1362 { 1376.
: Proc. 29th Colloquium on Automata, Languages, and Programming (ICALP 2002), LNCS v. 2380, p. 390 { 400.
Merkle W., The complexity of stochastic sequences, Proc. 18th IEEE Conference on
Computational Complexity (CCC 2003), p. 230 { 235.
Miller J., Every 2-random real is Kolmogorov random, Journal of Symbolic Logic, v. 69
(2004), no. 3, p. 907 { 913.
Miller J., Contrasting plain and prex-free Kolmogorov complexity, (preprint from 2006),
www.math.wisc.edu/~jmiller/Notes/contrasting.pdf.
Miller J., Yu L., On initial segment complexity and degrees of randomness, Transactions
of the American Mathematical Society, v. 360 (2008), no. 6, p. 3193 { 3210.
Miller J., Two notes on subshifts, Proceedings of the American Mathematical Society,
v. 140 (2012), no. 5, p. 1617{1622. .
www.math.wisc.edu/~jmiller/Papers/subshifts.pdf

[105] von Mises R., Grundlagen der Wahrscheinlichkeitsrechnung, Mathematische Zeitschrift,

Bd. 5 (1919), S. 52 { 99. : Selected Papers of Richard von Mises.
Volume Two. Probability and Statistics, General. American Mathematical Society, 1964.
p. 57 { 106.
[106] von Mises R., Wahrscheinlichkeit, Statistik und Wahrheit, Wien: Springer-Verlag, 1928,
189 p.
: ., , . { .: , 1930.

553

[107] von Mises R., On the foundations of probability and statistics, Annals of Mathematical
Statistics, v. 12 (1941), p. 191 { 205. : Selected Papers of Richard
von Mises. Volume Two. Probability and Statistics, General. American Mathematical Society, 1964. p. 340 { 355.
[108] von Mises R., Doob J. L., Discussion of papers on probability theory. Annals of Mathematical Statistics, v. 12 (1941), p. 215 { 217. ( : Selected Papers
of Richard von Mises. Volume Two. Probability and Statistics, General. American Mathematical Society, 1964, p. 356 { 359.)
[109] Moser R.A., A constructive proof of the Lovasz Local Lemma. Proc. 41st ACM Symp.
on Theory of Computing (STOC 2009), p. 343-350, . arXiv:0810.4812.
[110] Moser R.A., Tardos G., A constructive proof of the general Lovasz Local Lemma, Journal
of the ACM, v.57 (2010), no. 2, p. 11.1 { 11.15, . arXiv:0903.0544.
[111] . . .
, 1985, . 285, 2, . 280 { 283.
: Muchnik An. A., On the basic structures of the descriptive theory
of algorithms, Soviet Math. Dokl., v. 32 (1985), no. 3, p. 671 { 674.
[112] . ., , , . 32
(1987), 3, . 563 { 565.
: Muchnik An. A., Lower limits on frequences in computable sequences and relativized a priori probability, SIAM Theory Probab. Appl., v. 32 (1987)
p. 513 { 514.
[113] Muchnik An. A., On common information, Theoretical Computer Science, v. 207, no. 2
(1998), p. 319 { 328.
[114] Muchnik An. A. Conditional complexity and codes, Theoretical Computer Science, v. 271
(2002), no. 1 { 2, p. 97 { 109.
: Muchnik A., Semenov A., Multi-conditional descriptions and
codes in Kolmogorov complexity, ECCC TR00-015 (2000).
[115] Muchnik An. A., Mezhirov I., Shen A., Vereshchagin N. K., Game interpretation of
Kolmogorov complexity, 2010, arXiv:1003.4712.
[116] Muchnik An. A., Positselsky S. E., Kolmogorov entropy in the context of computability
theory, Theoretical Computer Science, v. 271 (2002), no. 1 { 2, p. 15 { 35.
[117] . ., . ., . , . 46, . 1 (2010), . 42 { 67.
: Muchnik An. A., Romashchenko A., Stability of properties of Kolmogorov complexity under relativization. Problems of Information Transmission, v. 46,
no. 1 (2010), p. 38 { 61.
: Muchnik An. A., Romashchenko A., Random oracle does not
help extract the mutual information, Proc. 33rd Symp. on Mathematical Foundations of
Computer Science (MFCS 2008), LNCS v. 5162, p. 527 { 538.
[118] Muchnik An. A., Semenov A. L., Uspensky V. A., Mathematical metaphysics of randomness, Theoretical Computer Science, v. 207, no. 2 (1998), p. 263 { 317.
[119] Muchnik An. A., Shen A., Ustinov M., Vereshchagin N. K., Vyugin M., Non-reducible descriptions for conditional Kolmogorov complexity. Theoretical Computer Science, v. 384
(2007), no. 1, p. 77 { 86.

554

[120]
[121]
[122]
[123]
[124]
[125]
[126]
[127]
[128]
[129]
[130]
[131]
[132]
[133]
[134]
[135]

: Muchnik An. A., Shen A., Vereshchagin N. K., Vyugin M.,

Non-reducible descriptions for conditional Kolmogorov complexity, Proc. 3rd Conference
on Theory and Applications of Models of Computation (TAMC 2006), LNCS v. 3959,
p. 308 { 317 ECCC TR04-054 (2004).
Muchnik An. and Vereshchagin N., Shannon entropy vs. Kolmogorov complexity, Proc.
1st Computer Science Symp. in Russia (CSR 2006), LNCS v. 3967, p. 281 { 291.
Musatov D., Improving the space-bounded version of Muchniks conditional complexity
theorem via \naive" derandomization, Proc. 6th Computer Science Symp. in Russia
(CSR 2011), LNCS v. 6651, p. 64 { 76.
Musatov D., Space-bounded Kolmogorov extractors, Proc. 7th Computer Science Symp.
in Russia (CSR 2012), LNCS v. 7353, p. 266 { 277.
Musatov D., Romashchenko A., Shen A., Variations on Muchniks conditional complexity
theorem, Theory Comput. Syst., v. 49 (2011), no.2, p. 227 { 245.
: Proc. 4th Computer Science Symp. in Russia (CSR 2009),
LNCS v. 5675, p. 250 { 262.
Niederreiter H., A combinatorial problem for vector spaces over nite elds, Discrete
Mathematics, v. 96 (1991), no. 3, p. 221 { 228.
Nies A., Computability and randomness, Oxford University Press, 2009, 420 pp. ISBN
978-0-19-923076-1
Nies A., Stephan F., Terwijn S., Randomness, relativization and Turing degrees, Journal
of Symbolic Logic, v. 70 (2005), no. 2, p. 515 { 535.
Razenshteyn I., Common information revisited, 2012, arXiv:1104.3207.
Reimann J., Computability and fractal dimension, PhD thesis, Ruprecht-Karls Universit-at
Heidelberg, 2004 (URN: urn:nbn:de:bsz:16-opus-55430), .
www.ub.uni-heidelberg.de/archiv/5543.
. ., ,
, . 36 ( 2000), . 1, . 3 { 20.
: Romashchenko A., Pairs of words with nonmaterializable mutual
information, Problems of Information Transmission, v. 36 (2000), no. 1, p. 3 { 20.
Romashchenko A. Extracting the mutual information for a triple of binary strings. Proc.
18th IEEE Conference on Computational Complexity (CCC 2003), p. 221 { 235.
., ., ., , -
, 2011, 80 .
Romashchenko A., Shen A., Vereshchagin N., Combinatorial interpretaion of Kolmogorov
complexity, Theoretical Computer Science, v. 271 (2002), no. 1 { 2, p. 111 { 123.
: Proc. 15th IEEE Conference on Computational Complexity
(CCC 2000), p. 131 { 137 ECCC TR00-026 (2000).
Rumyantsev A., Kolmogorov complexity, Lovasz Local Lemma and critical exponents,
Proc. 2nd Computer Science Symp. in Russia (CSR 2007), LNCS v. 4649, p. 349 { 355.
. : arXiv:1009.4995.
Rumyantsev A., Innite computable version of Lovasz Local Lemma, 2010,
arXiv:1012.0557.
Rumyantsev A., Ushakov M., Forbidden substrings, Kolmogorov complexity and almost
periodic sequences, Proc. 23rd Symp. on Theoretical Aspects of Computer Science
(STACS 2006), LNCS v. 3884, p. 396 { 407. . : arXiv:1009.4455.

555

[136] Schmidt W., On normal numbers, Pacic Journal of Mathematics, v. 10 (1960), no. 2,
p. 661 { 672.
[137] Schnorr C. P., Eine Bemerkung zum Begri der zuf-alligen Folge. Zeitschrift f-ur
Wahrscheinlichkeitstheorie und Verw. Gebiete, v. 14 (1969), p. 27 { 35.
[138] Schnorr C. P., U- ber die Denition eektiver Zufallstests. Teil I. Zeitschrift f-ur
Wahrscheinlichkeitstheorie und Verw. Gebiete, v. 15 (1970), p. 297 { 312.
[139] Schnorr C. P., U- ber die Denition eektiver Zufallstests. Teil II. Zeitschrift f-ur
Wahrscheinlichkeitstheorie und Verw. Gebiete, v. 15 (1970), p. 313 { 328.
[140] Schnorr C. P., Klassikation der Zufallsgesetze nach Komplexit-at und Ordnung, Zeitschrift
f-ur Wahrscheinlichkeitstheorie und Verw. Gebiete, v. 16 (1970), p. 1 { 21.
[141] Schnorr C. P., Zuf-alligkeit und Wahrscheinlichkeit. Eine algorithmische Begr-undung
der Wahrscheinlichkeitstheorie, Lecture Notes in Mathematics, v. 218, IV+212 S,
Springer, 1971.
[142] Schnorr C. P., A unied approach to the denition of random sequences, Mathematical
Systems Theory (now Theory of Computing Systems ), v. 5 (1971), no. 3, p. 246 { 258.
[143] Schnorr C. P, Optimal G-odel numberings. Proc. IFIP congress 71 (1971), v. 1. p. 56 { 58.
[144] Schnorr C. P., Process complexity and eective random tests, Journal of Computer and
System Sciences, v. 7 (1973), p. 376-388.
: Proc. 4th ACM Symp. of Theory of Computing (STOC
1972), p. 168 { 176.
[145] Schnorr C. P., Optimal enumerations and optimal G-odel numberings, Mathematical Systems Theory (now Theory of Computing Systems ), v. 8 (1975), no. 2, p. 182 { 191.
[146] Shafer G., Shen A., Vereshchagin N. K., Vovk V., Test martingales, Bayes factors, and
p-values, Statistical Science v. 26 (2011), no. 1, p. 84 { 101. .
arXiv:0912.4269.
[147] Shafer G., Vovk V. Probability and nance: its only a game! New York: Wiley, 2001.
[148] ., ,
. VIII , . , 26 { 28 1982 ., , 1982, . 104 { 105.
[149] ., ,
, -, . , 29 { 6 1983 ., . 144 { 146.
[150] ., , , . 276

(1984), 3, . 563 { 566.

: Shen A., Algoritmic variants of the notion of entropy, Soviet Math.
Dokl., v. 29 (1984), no. 3, p. 569 { 573.
[151] ., , , . 302 (1988), 3, . 548 { 552.
: Shen A., On relations between dierent algorithmic denitions of
randomness, Soviet Math. Dokl., v. 38 (1989), no. 2, p. 316 { 319.
[152] Shen A., Algorithmic information theory and Kolmogorov complexity, kecture notes,
http://www.it.uu.se/research/publications/reports/2000-034.
[153] Shen A., Multisource algorithmic information theory, Proc. 3rd Conference on Theory
and Applications of Models of Computation (TAMC 2006), LNCS v. 3959, p. 327 { 338.

556

[154] Shen A., Algorithmic information theory and foundations of probability, Proc. 3rd Workshop on Reachability Problems (2009), LNCS v. 5797, p. 26 { 34.
[155] Shen A. and Vereshchagin N., Logical operations and Kolmogorov complexity, Theoretical
Computer Science, v. 271 (2002), p. 125 { 129.
: ECCC TR01-088 (2001).
[156] Sipser M., Introduction to the theory of computation, PWS Publishing, 1996.
[157] Slepian D., Wolf J. K., Noiseless coding of correlated information sources, IEEE Transactions on Information Theory, v. IT-19 (1973), no. 4, p. 471 { 480.
[158] Solomono R. J., A formal theory of inductive inference, part 1, part 2. Information and
Control (now Information and Computation ), v. 7 (1964), p. 1 { 22, p. 224 { 254.
[159] Solovay R., Draft of a paper (or series of papers ) on Chaitins work, done for the
most part during Sept. { Dec. 1974, unpublished (but available to many people in the eld).
[160] Solovay R. M., On Random R.E. Sets, : A.I. Arruda, N.C.A. da Costa, R.
Chaqui (Eds.), Non-classical logics, model theory and computability, North-Holland, Amsterdam, 1977, p. 283 { 307.
[161] Tadaki K., A generalization of Chaitins halting probability and halting self-similar
sets, Hokkaido mathematical journal, v. 31 (2002), no. 1, p. 219 { 253. . :
arXiv:nlin/0212001.
[162] Takahashi H., On a denition of random sequences with respect to conditional probability,
Information and Computation, v. 206 (2008), no. 12, p. 1375 { 1382.
[163] Takahashi H., Algorithmic randomness and monotone complexity on product
space, Information and Computation, v. 209 (2011), no. 2, p. 183 { 197,
dx.doi.org/10.1016/j.ic.2010.10.003. . arXiv.org:0910.5076.
[164] . ., . ., : , .: , 1987, 288 .
: Uspensky V., Semenov A., Algorithms: main ideas and applications, translated by A. Shen, Kluwer Academic Publishers, 1993, 269 pp. ISBN: 0-79232210-X.
[165] . ., . ., ., () ? , . 45 (1990),
. 1 (271), . 105 { 162
: Uspenskii V. A., Semenov A. L., Shen A. Kh., Can an individual
sequence of zeros and ones be random? Russian Math. Surveys, v. 45 (1990), no. 1,
p. 121 { 189.
[166] Uspensky V. A., Shen A., Relations between varieties of Kolmogorov complexities, Mathematical Systems Theory (now Theory of Computing Systems ), v. 29 (1996), no. 3,
p. 271 { 292.
[167] Vereshchagin N. K. Kolmogorov complexity conditional to large integers. Theoretical
Computer Science, v. 271 (2002), no. 1 { 2, p. 59 { 67.
: ECCC TR01-086 (2001).
[168] Vereshchagin N., Kolmogorov complexity of enumerating nite sets, Information Processing Letters, v. 103 (2007), p. 34 { 39.
: ECCC TR04-030 (2004).
[169] Vereshchagin N. K., Kolmogorov complexity and games, Bulletin of the EATCS, v. 94
(2008), p. 43 { 75.

557

[170] Vereshchagin N., Minimal sucient statistic revisited, Proc. 5th Conference on Computability in Europe (CiE 2009), LNCS v. 5635, p. 478 { 487.
[171] . ., . ., (), , . 274 (2011), . 103 { 118.
: Vereshchagin N. K. and Muchnik An. A, On joint conditional complexity (Entropy), Proc. of the Steklov Institute of Mathematics, v. 274 (2011), p. 90104.
: Muchnik An. A. and Vereshchagin N. K., Logical operations and
Kolmogorov complexity. II. Proc. 16th IEEE Conference on Computational Complexity
(CCC 2001), p. 256 { 265 ECCC TR01-089 (2001).
[172] . ., ., , 2, , 3- ., .: , 2008,
ftp://ftp.mccme.ru/users/shen/logic/firstord.
[173] . ., ., , 3, , 3- ., .: , 2008,
ftp://ftp.mccme.ru/users/shen/logic/comput.
: Vereshchagin N K. and Shen A., Computable functions, American
Mathematical Society, Student mathematical library, vol. 19, 2003.
[174] . ., . ., . ., . .,
,
, , . 242 (2003), c. 77 { 97.
: Chernov A., Skvortsov D., Skvortsova E., and Vereshchagin N.,
Variants of realizability for propositional formulas and the logic of the weak law of excluded
middle. Proc. of Steklov Institute of Mathematics, v. 242 (2003), p. 67 { 85. : Proc. 16th Workshop on Computer Science Logic (CSL
2002), LNCS v. 2471, p. 74 { 88.
[175] Vereshchagin N. K, and Vitanyi P. M. B, Kolmogorovs structure functions with an application to the foundations of model selection, IEEE Transactions on Information Theory,
v. 50 (2004), no. 12, p. 3265 { 3290.
: Proc. 43th IEEE Symp. on Foundations of Computer Science
(FOCS 2002), p. 751 { 760.
[176] Vereshchagin N. K, and Vitanyi P. M. B, Rate distortion and denoising of individual data
using Kolmogorov complexity, IEEE Transactions on Information Theory, v. 56 (2010),
no. 7, p. 3438 { 3454, . arXiv:cs/0411014 (2004).
arXiv:cs/0411014 (2004).
[177] Vereshchagin N. and Vyugin M., Independent minimum length programs to translate between given strings, Theoretical Computer Science, v. 271 (2002), p. 131 { 143.
: ECCC TR00-035 (2000).

[178] Ville J., Etude

critique de la notion de collectif, Gauthier-Villars, 1939. (Monographies
des probabilites. Calcul des probabilites et ses applications. Publiee sous la direction de M.
Emile Borel. Fascicule III.)
[179] . ., , , . 294 (1987), 6,
. 1298 { 1302.
: Vovk V.G., On a randomness criterion, Soviet Mathematics Doklady, v. 35 (1987), no. 3, p. 656 { 660. . : www.vovk.net/criterion.pdf

558

[180] . ., , , . , . 32 (1987),
3, . 456 { 468.
: Vovk V.G., The law of the iterated logarithm for random Kolmogorov, or chaotic, sequences. Theory of Probability and its Applications, v. 32
(1987), no. 3, p. 413 { 425.
[181] Vovk V., Vyugin V.V., On the empirical validity of Bayesian method, Journal of the
Royal Statistical Society, B, v. 55 (1993), p. 253 { 266.
[182] . ., () , , . 16 (1981), . 14 { 43, : .
[183] Vyugin V.V., Ergodic theorems for individual random sequences, Theoretical Computer
Science, v. 207 (1998), no. 2, p. 343 { 361.
[184] Vyugin V.V., Non-stochastic innite and nite sequences, Theoretical Computer Science,
v. 207 (1998), no. 2, p. 363 { 382.
[185] Wald A., Sur la notion de collectif dans le calcul des probabilites (On the notion of collective
in probability theory), presentee par M. Emile Borel. Comptes rendus, v. 202, p. 180 { 183
(seance du 20 janvier 1936).
[186] Wald A., Die Wiederspruchsfreiheit des Kollektivbegries der Wahrscheinlichkeitsrechnung, Ergebnisse eines matematischen Kolloquiums, v. 8 (1937), p. 38 { 72. : Menger K., Ergebnisse eines Mathematischen Kolloquiums, Springer: Wien,
New York, 1998.
[187] Wall D. D., Normal Numbers. Ph. D thesis, University of California, Berkeley CA, 1949.
[188] Wigderson, A., Randomness extractors | applications and constructions. Proc. 29th Conference on Foundations of Software Technology and Theoretical Computer Science

[189]
[190]
[191]
[192]
[193]
[194]

(FSTTCS 2009), DOI 10.4230/LIPIcs.FSTTCS.2009.2340,

drops.dagstuhl.de/opus/volltexte/2009/2340/.
Yeung, R. W., A First course in information theory, Kluwer Academic / Plenum Publishers, 2002.
. ., . ., , , . 67 (1962), . 458 { 502.
Zhang Z., Yeung R.W., A non-Shannon-type conditional information inequality, IEEE
Transactions on Information Theory, v. 43 (1997), p. 1982 { 1986.
Zhang Z., Yeung R.W., On characterization of entropy function via information inequalities, IEEE Transactions on Information Theory, v. 44 (1998), p. 1440 { 1450.
Zimand M., Guest Column: Possibilities and Impossibilities in Kolmogorov complexity extraction. SIGACT News, December 2010.
. ., . .,
.
, . 25 (1970), . 6 (156), . 85 { 127.
: Zvonkin A K., Levin L. A., The complexity of nite objects and the
development of the concepts of information and randomness by means of the theory of
algorithms. Russian Math. Surveys, v. 25 (1970), no. 6, p. 83 { 124.

1- 178
2- 178
- 227
- 318
- 194
- 227
, 9
F, 226
00 37
19, 178, 179, 182, 194
x 164
41 180
4c 181
9
a (x ) 140
B (n ) 31, 34
BB (n ) 34
bin(n ) 9
BP (n ) 191
c - 390
C (x ) 24
dE 86
dP 86
f0 - 222, 226
H ( ) 15, 243
H (x ) 24
I (x : y ) 54, 392
I (x : y : z ) 60
K (x ) 24
K (x k A ) 229
KA (X ) 140
KM (x ) 149
KP - 228
KP 0 (x ) 96
KP (x ) 95
KP (x | z ) 119
KP A (x ) 120
KR (x ) 217

KS (x ) 24
KS (x; y ) 39
KS (x | y ) 42
KS A (x ) 120
KS > 31

l (x ), x 9
m - 37
m (i ) 94
m (x | z ) 119
r - 37

ample excess, 171

busy beaver, 34
IPC 447, 456
Kollektiv 20
MDL (minimal description length) 19, 474
PSPACE 416
295
63
87
443
| 443
6
{ 388
509
94, 112, 140
| 140, 178
| 116
| 140
| 119
140, 149, 152, 168
201
166
38
84
57, 250, 354, 377
199

559

560

289
528
19, 65, 77
399

261
96, 99
99
39
238
101
62
{ 67
18, 498
202
199
87, 132
438
509
| 94
| 239
| 88
| 291
| 63
| 245, 306
55, 248, 392
298, 300
{ 408, 417
202
406
99
431
406
71
51
9, 515
23, 105, 217, 226
71
309
181
506
82, 202
() 226
240
482
| 495
110

397
| 397, 411
| 410
| 415
| 425
| 411
| 410
360, 382
164
397, 411
360
8, 23, 217
| 10
493
181
16, 83, 166, 206, 469
| 201
| 86, 170
| 86
| 470
444
178
92, 134
511
226

515
515
514
433
306
443
| 444
| 444
| 444
| 443

337
| 339
| 202, 339
447
268, 300
278
278
277
50, 413, 416, 435, 491

480
63
444
| 456
379, 403
62
446
55
| 248
238
332
195
62, 195, 288
272
278
238
| 238
| 238
| 238
| 238
| 239
242
420
238

348
| x y 15, 54
| 12
| 348
| 348
20, 291, 345
302
{ 46, 48
{ 23, 43
6, 9, 11
| 149
| 39, 58
| 96
| () 23
| 227
| 41, 58
| 42

365, 371
352
505
264
535

561

444
235
101, 146
70
287
391
240
{ 243, 248
{ 108
456, 457
-
143, 166, 186
| 183
| 172
| 75, 82, 184
82
456
{ 241
{ 212
209
270
{ 166
ample excess 171
| { 67
| 270
| 275
| | 281
| ( { ) 108
25
288
273
275
243, 248
92
212
61, 250
302, 307, 346
|
304, 323
| 197, 309, 311
| 305
| 309
|
304
| 323
468
255

562

379
20, 98
| 261
| 262
456

188
63, 195
| 199
| 19, 65, 77, 87
| 71, 137
| 63
| 140
| 64
480
{ 175
495
432,
433
- 74
r - 37
| - 194
| c - 361
| 114
| 62
| 202
| 63
| 62
| 394
| 204
| 63, 293
| 354, 355
| 62, 103
| 222
| 25, 90, 519
| 37
| 178
| 361, 363
| 30, 135
| 30
| 222
| - 195
| 68, 69, 167
| 81
| 82, 202
20
456
146
17, 149, 151

{ 258
408
| 413
27
92
| 139
394
511
, 10,
23
101
17
387
58, 61
| 247
| 61, 382, 383, 403
37
524,
528, 535, 540
512
134
217
| 145
63
348
{ 337, 340
| 250, 354, 377
| 240
| 379, 403
| 302
| 287
| 240
| { 243, 248
| 384
| 251
| 116, 491
16, 53, 390
471
384
17
204
295
295
20, 63, 293
226
| 226
| () 226
| 227

515
205
390, 392, 431
| 60
| 397
| 120
287
512
469
85
482

85
354, 355
| 358
23, 42, 517
| 391
| 94
227
242
10, 23, 96,
148, 225
| 192
| 119
43
518
37, 38, 227
| 00 228
| 203
360
62
418
390
23, 105, 146, 217,
226
| 288
| 104, 217
| 145
| 145
| 439
410, 421
17
| 511
415
| on-line 416

408
478

563

27
91
89

84
25, 90, 519
25
80, 88, 179
88, 89
309
92
447
427
145
439
428
181
37
310
106, 121, 310
| 92, 134
| () 92
| 133
| 133, 134
| 91
| 135
| 92, 140
| | 139
1- 178
| 2- 178
| 82, 202
| 278
| 346, 524, 528
| 295
| 89
| 201
| 292
| 180
| 76, 511
|
311, 317, 347
|
324, 347
| 82, 317, 347
| - 74, 256,
301, 346, 473, 523
| | 144

564

|
{ { 325,
331, 341, 343, 346, 347
| { 295, 296,
301, 316, 347
| { {
320, 331, 340, 347
| 81, 296, 314, 316
| () 74
| 79
399
425
361, 363
292, 320
| {
325
| 294
| { 320
201
183
96, 168
| 122
| 123, 126
94
470
238
298, 300
501, 503
MDL 474
33, 37
101, 146
63
446
406
23
135
30, 135
135
30
226
266
434
445
, 506
417
9, 511
64

512
76
427
194, 195
425
30
212
529
529
| 529
289
{ 241, 308
62
484
31, 191
56, 119, 227, 250
| 249
191
11
94
98
292
181
37
25
291
25
| 135
47
- 62
55
197
262
() 76
c - 390
| 511
| 277
| 238
| 16, 37, 390
| 511
| 16
| 471
280
363, 372
222
| 28
| 140, 149

| 31
| 443
| 9, 11
| 365
| 24
| 165
| 17, 149, 151, 254
| | 225
| 24
| 23
| 517
| 39, 58, 354, 392
| | 98, 122
| 96, 105, 111
| | 112
| | 111
| | 123, 126
| | 118, 225
| 23
| 217
| | 219
| | 225
| 227
| 36, 228, 401
| 44, 415, 480
| 41, 58, 354
| 15, 42, 224, 444
| | 229
| 226

247
| 255
| 382, 383
| 243
68, 291, 511
80
80
16, 118
179
| 16, 83
|
317, 347
| 205
|
347
| 82, 317, 347
| - 74, 256, 346, 523
| { {
325, 346, 347

565

| { 316, 347
| { { 320, 340, 347
| 81, 314, 316
| () 76
411
360
521
{ 10
8, 23, 148, 217, 222
| 105, 113
| 23, 148, 219, 225
|
96
| 105, 150
| 42
| 226
222
239
360

514, 516, 521, 528,
532, 534

514
513,
531
471
527
| 528
|
528
478
310
239
447
{ 388
| 38
| 202
| { 417
| { 224
| 21
| 306
| 332
| 209
| { 5, 20, 164, 166, 196
| | 168
| - 72, 531, 535
| 456

566

| 349, 363, 364

| { 10
| { 419, 427
| 419
| { 359, 361
| 258
| 252

85
| 85
| - 83
363, 364, 370
74, 522,
523
512
469
44, 415, 480
289
200
92, 140

228

178
222
272
20, 65, 77,
82, 267, 307, 339
42
245, 306
61, 250, 382, 383,
403
15, 224
| 229
| 118
245
291, 512
{ 419, 427
446
253
194
- 227
| 84
| 96, 99
| 99
| 9, 23, 515

|
133
| 27
| 84, 309
| 94
| | 118
| 188, 189, 191
| 409
519, 521,
534, 539
512
79,
202
228
195, 317
| 289
| 197, 320
242
- 409
419
323
20, 235, 512
| 235
239
512
116, 491
468
295
| b 295
| 88, 179
| 181
178, 179, 182, 194, 497
| 194
512
484
| 485
15, 66, 238, 239,
243, 349
194, 200
c 390
410, 421
417
139
6, 349
| 112, 243

| 244
| 243, 245
| 238, 239, 243, 252, 253
| 15, 66
518
()
521
()
540

567

197
- 195
68, 69, 167

81
82, 202
517
, 264
518

. (Kazuoki Azuma) 337, 340

. (Rudolf F. Ahlswede) 388, 389,
426
7
7
38
A 7
. (Bruno Bauwens) 7, 50, 129
(Abram
Samoilovich Besicovitch) 289
. (Charles H. Bennett) 418
(Jacob Bernoulli) 529
. (G.G. Berry) 17
. (Joseph Louis Francois
Bertrand) 502
. (Veronica Becher) 296
. (Manuel Blum) 506
. (Felix Edouard Justin Emile Borel)
67, 82, 501, 502
. (Laurent Bienvenu) 7, 86, 178,
186, 188, 203, 231, 234, 289, 316
. (Rene-Louis Baire) 202
. (Harry Buhrman) 7, 417
. (Abraham Wald) 293, 298
. (Yongge Wang) 179
. (Jean-Andre Ville) 298, 300, 302,
304, 346, 540
. (Paul Michael Bela Vitanyi) 4, 7,
264, 418
7, 268, 309, 332
. (Wolf Jack K.) 408, 417
7
7, 204,
539, 540
7, 432
7
. (Peter Gacs) 7, 50, 76, 86, 151, 171,
176, 204, 212, 224, 418

. (Kurt G-odel) 21
. (Josiah Willard Gibbs) 240
. (Oded Goldreich) 506
. (Adam Day) 151, 224
7
. (Rod Downey) 5, 38, 188, 204,
228
. (Joseph Leo Doob) 306
. (Robert P. Daley) 320, 325, 327,
331, 340, 343, 345, 347
. (Bruno Durand) 7, 270
222, 226
. (Zhen Zhang) 384
. (Marie Ennemond Camill Jordan)
82
75
7, 200{202
. (Aubrey William Ingleton) 379,
403
. (Shizuo Kakutani) 332
7, 50, 233
. (Cristian Sorin Calude) 5, 7, 179
. (Francesco Paolo Cantelli) 67,
82
. (Georg Ferdinand Ludwig Philipp
Cantor) 195
7, 223
. (Johannes Kepler) 18
. (Julius K-onig) 272
. (Janos K-orner) 388, 389
. . (Stephen Cole Kleene) 446
4, 7, 10,
23, 46, 165, 226, 302, 324, 325, 327, 331,
341, 343, 345{347, 446, 512{514, 516,
518, 532, 538, 539
. (Michal Koucky) 7
. (Augustin-Louis Cauchy) 287
. (Leon G. Kraft) 240, 243

568

. (Thorsten Kr-aling) 188

. (Saul Aaron Kripke) 456, 457
. (Lauwerens Kuipers) 296
. (Solomon Kullback) 241
7
. (Antoine Augustin Cournot) 501,
503, 509
. (Stewart A. Kurtz) 82, 300, 347
. (Antonn Kucera) 179, 186, 187,
204, 212
- . (Bjfirn Kjos-Hanssen) 76
. (Ning Cai) 426
. (Donald Loveland) 218, 298,
324, 325, 327, 331, 341, 343, 345{347,
538
. (Michiel van Lambalgen)
209, 331, 340, 539
. (Sophie Laplante) 417
4, 7, 17, 20, 46,
76, 86, 97, 129, 164, 166, 168, 170, 179,
182, 196, 200{202, 223, 270, 521, 531,
539
. (Richard Leibler) 241
7
. (Ming Li) 4, 264, 418
. (John Edensor Littlewood) 269
. (Shuo-Yen Robert Li) 426
. (Laszlo Lovasz) 273, 275
. (Lynn Harold Loomis) 252, 285
. (Jack H. Lutz) 197
. (Elvira Mayordomo) 197
7, 273,
384
7, 384
. (Brockway McMillan) 243,
248
30
507
- . (Per Martin-L-of) 4, 17, 20,
68, 72, 74, 166, 176, 177, 179, 256, 301,
325, 331, 341, 343, 346, 523, 531, 535,
538, 539
7
456
7
. (Wolfgang Merkle) 7, 188, 314,
321, 325, 344, 346
. (Richard von Mises) 20, 291, 295,
296, 301, 320, 325, 327, 329, 331, 340,

569

341, 343, 345{347, 503, 513, 532, 538,

541
. (Silvio Micali) 506
. (Joseph S. Miller) 7, 117, 118,
171, 175, 178, 272, 273
7
. (Robin A. Moser) 282
7, 417
208
7, 117, 178,
231, 234, 237, 279, 327, 329, 392, 398,
408, 413, 420, 421, 432, 457, 540
. (Harald Niederreiter) 223,
296
. (Andre Nies) 5, 7, 38, 178, 204, 228
(William of Ockmam, Occam)
18, 498
. (Charles Sanders Peirce) 447
7
7, 117
. (Emil Leon Post) 30
7
(Klaudios Ptolemaios) 18
7, 400, 401
. (Jan Reimann) 7, 195
7
7, 252, 349,
350, 363, 364, 383, 386, 402
. (Cristobal Rojas) 86
7, 169, 271,
273, 278
. (Mathieu Sablik) 289
7
7
7
7, 279, 540
. (Steve Simpson) 7
. (Michael Sipser) 7
. (Dana Scott) 226
. (David Slepian) 408, 417
. (Theodore A. Slaman) 179, 186,
187
. (Robert Martin Solovay) 75, 82,
118, 129, 130, 181, 187, 188, 191
. (Ray Solomono) 4, 10, 23,
518, 538
7
. (Kohtaro Tadaki) 195
7

570

. (Gabor Tardos) 282

. (Sebastiaan A. Terwijn) 178
. . (Alan Mathison Turing) 20,
98, 261, 296
. (Hassler Whitney) 252, 285
, 7
7, 271
. (Delbert Ray Fulkerson) 427
. (Robert Mario Fano) 251
7
. (Lester Randolf Ford, Jr.) 427
. (Lance Jeremy Fortnow) 282,
417
. (Godfrey Harold Hardy) 269
. (Felix Hausdor) 194, 195, 269
. (David A. Human) 241, 242
. (Richard Wesley Hamming) 484
. (Peter Hertling) 179
. (Rupert H-olzl) 188
. (Wassily Hoeding) 337, 340
269
. (Dennis R. Hirschfeldt) 5, 7,
38, 204
7, 196
. (Mathieu Hoyrup) 7, 86
. (Philipp Hall) 419
(Bakhadyr Khoussainov)
179

. (Wojciech H. Zurek) 418

. (David Gawen
Champernowne) 296
. (Gregory Chaitin) 4, 21, 31, 97,
168, 178, 194, 540
7
. (Terence Chan) 359, 361
7, 402, 456
. (Alonzo Church) 294{296, 301,
320, 325, 327, 329, 331, 340, 343, 345,
347, 514, 515, 538
. (Glenn Shafer) 309
. (Claude Elwood Shannon) 6, 15,
238, 239, 243, 252, 258
. (James B. Shearer) 252
. (Wolfgang M. Schmidt) 296
.-. (Claus-Peter Schnorr) 4, 17,
20, 81, 82, 164, 166, 168, 170, 196, 226,
227, 296, 314, 521, 539
. (Hugo Steinhaus) 269
. (Frank Stephan) 178
7
. (Albert Einstein) 506
. (Liyang Yu) 171, 175
. (Raymond W. Yeung) 359, 361, 384,
426
. (Andrew Chi-Chih Yao) 506

1.

1.1. . . . . .
1.2. . . . . . . . . . .
1.2.1.
1.2.2. . . . . . .

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

2.

2.1. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2. . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3. . . . . . . . . . . . . . . . . . . . . . . . .

3. -

3.1.
3.2.
3.3.
3.4.
3.5.

. . . . . . . . . .
. . . . .
. . . . .

. . . . . . . . . . . .

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

...
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
:
4.4.1. . . . . . . . . . . .
4.4.2. . . . . . .
4.4.3. . .
. . . .
. . . . . . . . . .

4.7.1. . . . . . .
4.7.2. .

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

4.
4.1. N . .

4.2.
4.3.
4.4.

4.5.
4.6.
4.7.

571

.
.
.
.
.

.
.
.
.
.

23

23
29
30
31
39

39
42
54

62

62
65
69
77
82

87

87
92
94
98
99
101
103
105
111
118
118
120

572

4.7.3. . . . . . . . . . . . . . . . . . 122
4.7.4. . . . . . . . . . . . . . . 129
5.

5.1.
5.2.
5.3.
5.4.

5.5.
5.6.
5.7.

5.8.
5.9.

. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . .
5.4.1. . . . . . . . . . . . . .
5.4.2. . . . . .
5.4.3. . . .
. . . . . . . . . . . . . . . . . . . . . . .
5.5.1. { . . . . . . . . . . . . .
{ . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . .
5.7.1. . . . . . . . . . . . . .
5.7.2. . . . . . . . . . . . .
5.7.3. . . . . . .
5.7.4. . . . . . . .
5.7.5. . . . . . . . . .
5.7.6. . . .
5.7.7. BB (n ) . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
5.9.1. . . . . . . . . . . . . . .
5.9.2. ,
5.9.3. . . . . . . . . . . . . . . . .
5.9.4. . . . . . . . . . . . . . . . . . . . .
5.9.5. { . . . . . . . . . . . . . . . . . . . .

6.

6.1.
6.2.
6.3.
6.4.

. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .
6.4.1. . . . . . . . . . . . . . . . . . . . .
6.4.2. . . . . . . . . . . .
6.4.3. 00

7.

7.1. . . . . . . . . . . . .
7.1.1. . . . . . . . . . . . . . . . . . .
7.1.2. .
7.1.3. . . . . . . . . . . . . .

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

132

132
139
140
144
145
146
147
148
152
164
178
179
182
183
187
187
189
191
194
199
199
200
204
209
212
217

217
221
224
227
227
229
234

238

238
238
239
241

573

7.1.4. { . . . . . . . . . . . . . . 243
7.2. . . . . . . . . . . . . . . . . . 243
7.2.1. . . . . . . . . . . . . . . 243
7.2.2. . . . . . . . . . . . . . . . . . . . . . . . 245
7.2.3. . . . . . . . . . . . . . . . . . . . 247
7.2.4. . . . . . . . . . . . 249
7.3. . . . . . . . . . . . . . . . . . . . . . . . . . 252
7.3.1. . . . . . . . . 253
7.3.2. . . . . . . . . . . . . 255
7.3.3. 256
7.3.4. . . . . . . . 257
7.3.5. . . . . . . . . . . . . . . . 258
8.

8.1.
8.2.
8.3.
8.4.
8.5.

. . . . . . .
. . . . . . . . . . . .
. . . .
. . . . . . . . . . .
. . . .
8.5.1. . . . . . . . . .
8.5.2. . . . . . . . . . . . . . . . . .
8.5.3. . . . . . .
8.5.4. . . . . .
8.5.5. . . . . . . .
8.5.6.
8.6. . . . . . . . . . .
8.7. . . .

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

9.1. . . . . . . . . . . . . . . . .
9.2. . . . . . . . . . . . . .
9.3. { . . . . . . . . . . . . . . . .
9.4. . . . . . . . . . . . . . . . . . . . . . . . . .
9.5. . . . . . . . . . . . . . . . . . . . . . . . . . .
9.6. : . . . . . .
9.7. . . . . . . . . . . . . . . . . . .
9.8. . . . . . . . . . . . . . . . . . . .
9.9. . . . . . . . . . . . .
9.10. . . . . . . . . . .
9.11. . . . . . . . . . . . . . . . . . .
9.12. . . . . . . . . . . . . . . .
9.13. . . . . . . . . . . . . . .
9.13.1. . . . . . . . . . . . . .
9.13.2.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

9.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

261

261
261
264
267
270
270
273
277
278
280
281
285
288
291

291
292
294
298
301
307
309
311
314
317
320
324
331
331
336

574

9.13.3. . . . . . 339
9.13.4. . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
10. ,

10.1. . . . . . . . . .
10.2. . . . . . . . . . . . . . .
10.3. . . . . . . .
10.4. . . . . . . . .
10.5. . . . . . . . . . .
10.6. . . . . . . . . . . . . . . . . .
10.7. : . . . .
10.8. : .
10.9. : .
10.10. . . . . . . .
10.11. . . . . .
10.12. . .
10.13. , . . . .

11.

11.1.
11.2.
11.3.
11.4.

. . .
. . . . . . . . .
. .

.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

12.

12.1.
12.2. . . . . . . . . . . .
12.3. : .
12.4. .
12.5. : on-line . . . .
12.6. . .
12.7. . . . . . .
12.8. . . . . . .
12.9. . . . . . . . . .
12.10. . . . . . .
12.11. . . . . . . . . . .
12.12. . .

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

, , . . .
.
. . . . . . . . . . . . . . . . . . . .

. . . . .

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

13.

13.1.
13.2.
13.3.
13.4.
13.5.

.
.
.
.
.
.
.
.
.
.
.
.

348

348
354
358
360
361
363
365
368
371
374
377
382
384
390

390
391
397
402

406

406
408
408
413
415
417
420
425
426
431
431
432
443

443
445
447
450
457

575

13.6. , . . . . . . . . . . . 461
14.

14.1.
14.2.
14.3.
14.4.
14.5.
14.6.
14.7.

. . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . .
.
. . . . . . . . . . . .
. . . . . . . . . . . . . .

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

468

468
471
474
482
493
495
498

1.

500

2.

510

542

546
559
568