Full Reviews

Review of pap196s2 by
Reviewer 1
Comments for Authors:
The authors investigate the combination of 
evolution and learning strategies in the 
optimization of dynamic NK landscapes. The idea of
generating dynamic optimization problems by using 
NK landscapes with changing parameters is not new.
See: 

Eriksson, R., & Olsson, B. (2004). On the 
performance of evolutionary algorithms with life­
time adaptation in dynamic fitness landscapes. In 
Proceedings of the 2004 Congress on Evolutionary 
Computation (Vol. 2, pp. 1293­1300). IEEE.

The algorithms used here are not new: they were 
proposed and used in other papers [12­14]. In this
way, it seems that the contribution of the paper 
is an analysis of the algorithms in the dynamic NK
landscapes. In my opinion, it is not a 
contribution strong enough for acceptance of the 
paper in GECCO. In fact, an analysis of the 
behavior of the algorithm from a practical or 
theoretical point of view could be interesting. 
However, the experiments presented in the paper 
are very simple. 

First, if I understood correctly, the number of 
evaluations is different for the different 
algorithms. The two algorithms that use learning 
perform much more function evaluations than the 
other two algorithms. In this way, it is not 
possible to affirm that a better performance is 
due to the use of learning or of the use of more 
function evaluations. Second, the dimension of the
problem (N=20) is very low: we will have 2^20 
possible solutions, what is not too much (if the 
problem is the use of exhaustive search to check 
the error, then the authors could use dynamic 
programming and the adjacent model). More 
experiments are needed.

Scored Review Questions

wri tec con

rel sig orig ach rep rec
t h f
pap 3 2 1 2 2 2 1 1- 4
196 defi
s2 nite
ly
reje
ct
out
righ
t (1
)

Review of pap196s2 by
Reviewer 2
Comments for Authors:
The Baldwin effect describes improvement in an 
agent’s fitness that takes place through learning 
rather than genetics. This paper draws a 
distinction between two forms of learning: asocial
learning, in which an agent learns through 
individual experience, and social learning, in 
which the agent learns by imitating other agents. 
It then investigates evolutionary strategies that 
combine these two learning mechanisms, in the 
context of dynamic NK­landscapes.

This is an interesting investigation, based on 
sound ideas, but its presentation is rendered 
difficult and frustrating by the style and 
language in which it is presented.

There are odd phrases and ill­chosen words, but 
most annoying are the many unnecessary words and 
phrases that clutter the paper. For example, the 
last paragraph in Section 2 could be restated as:

“Most research on evolution and learning in NK­
landscapes assumes fixed environments. We explore 
the effect that combinations of social and asocial
learning might have on evolution in a dynamic 
landscape.”

In Section 2.3, settle on one set of vocabulary 
and stick with it. Also, don’t use citations as 
nouns, and in citing the work of others, mention 
only last names. Beware of the passive voice.

In general, be suspicious of every adjective, 
adverb, and introductory phrase. Most of them can 
disappear. Overall, the paper could probably be at
least an entire page shorter if every paragraph 
were pared down to its essentials.

Scored Review Questions

wri tec con

rel sig orig ach rep rec
t h f
pap 5 4 4 2 1 2 4 3- 3
196 defi
s2 nite
ly
acc
ept
as
pos
ter
(3)

Review of pap196s2 by
Reviewer 3
Comments for Authors:
The manuscript intends (and succeeds) to 
demonstrate that minimal models of individual 
learning (IL) and social learning (SL), when 
combined, improve the populations adaptation to a 
dynamic fitness landscape. The domain is 
introduced informatively, the methods are 
explained with enough detail and the results 
plotted are legible with easy to draw conclusions.
Individual, iterative trial­and­error learning 
contributes most greatly over the baseline GA, but
when social learning is included as well, there is
another marginal but consistent improvement in 
adaptation. This effect is well explained in the 
discussion, but probably most appropriately 
related to the increase in plasticity that affects
both IL and SL in the frequency of '?' alleles 
that allow bit flipping in the phenotype.

The topic is of suitable relevance to the GA track
of GECCO.
This study investigates a particularly minimal 
model of both learning and imitation. For 
learning, an individual performs iterations of 
some trial­and­error bit flipping on a designated 
'?' allele, akin to mutation. For imitation, these
same '?' positions are used to copy bits from the 
best individual of the previous generation. While 
this is simplified to the point that it may not be
well applied to practical problems, it does serve 
to illustrate the effectiveness at combining 
individual learning and social learning for 
adapting to dynamic fitness landscapes. 

Another thing to note about the individual 
learning scheme employed here is that it is 
particularly expensive compared to other GA/ES as 
it must have multiple fitness function evaluations
for each individual, per generation. This is not 
an issue for the NK model, but in useful 
applications, that usually have computationally 
expensive fitness functions, would be a major 
concern.

As the work intends to primarily measure the 
populations adaptation to a dynamic fitness 
landscape, it is understood that K is changed 
randomly between 5 and 40 epochs to identify more 
dramatic effects in the fitness comparison. 
However, it seems to be a very artificial and 
unnatural scenario with less relevance to real­
world applications than a continuously varying 
parameter that controls the fitness landscape. 
This would relate more directly to environmental 
drift in physical systems.

The submitted manuscript is well­written and clear
enough to be acceptable in its current form. There
are some minor issues spotted on the first page:
'...' on Para1 in Introduction.
'studies studying' ­> 'studies on'
'both forms' ­> 'either form'

Scored Review Questions

wri tec con

rel sig orig ach rep rec
t h f
pap 4 3 4 4 4 4 4 4- 4
196 pro
s2 bab
ly
acc
ept
as
full
pap
er (
4)

Review of pap196s2 by
Reviewer 4
Comments for Authors:
The general idea of studying social learning in 
the context of a dynamic problem is reasonable and
very interesting. The results also look 
interesting. Unfortunately, the explanations given
in the paper are quite unclear and poorly 
structured.

The “Baldwin effect” is mentioned at the beginning
as being important but is not explained. 
The abstract and/or introduction should at least 
give a brief summary/reminder. 
The introduction also needs to be clear of how the
Baldwin effect will be used in the paper ­ it only
really describes mechanisms for social learning, 
and not any effect on the genotypes.
This should be discussed much more clearly.

The explanation of the asocial learning in section
3.2.3 is not at all clear. The role of the “?” is 
not properly explained. E.g. in “new behaviour is 
more adaptive” there is no clear description of 
how the “adaptiveness” of a behaviour is measured.

Minor Issues

Page 1 col 2. 
“has been received” to “has received”

page 2. col 1. 
in the list of 3 questions, each question should 
end with “?”.

sec 2.2 The starting sentence seems to repeat what
is said in introduction, but still not does 
explain the Baldwin effect.

page 3 col 2

“loose” to “lose”

Scored Review Questions

wri tec con

rel sig orig ach rep rec
t h f
pap 4 4 4 3 2 2 3 3- 2
196 defi
s2 nite
ly
acc
ept
as
pos
ter
(3)

Review of pap196s2 by
Reviewer 5
Comments for Authors:
This paper investigates the effect of learning 
strategy on evolution process when dealing with 
dynamic rugged landscape. The experimental results
show that social learning performs better when the
NK­landscape is more rugged and more variable. 
This paper is well organized and written.
The suggestion for the authors are as follows:
1. Please explain why mutation is not allowed in 
all experiments. In my mind, mutation is a basic 
operation in genetic algorithms.
2. Please point out the definition of question 
mark in section 3.2.4.
3. Please indicate what the axes in figures 1 and 
2 represent.
4. Please provide the specific formula of 
plasticity.

Scored Review Questions

wri tec con

rel sig orig ach rep rec
t h f
pap 5 3 4 4 4 3 3 4- 5
196 pro
s2 bab
ly
acc
ept
as
full
pap
er (
4)

Review of pap196s2 by
Reviewer 6
Comments for Authors:
This is an interesting, well­written paper that is
easy to follow. A have a few comments.

1) Stuart Kauffman, cf. reference [9] in the 
paper, also defined coupled fitness landscapes. 
These 
could and maybe should also be studied. The 
coupling makes them dynamic in a more natural way 
then the landscapes used in the paper.

2) Wouldn't "The Baldwin Effect in Dynamic Rugged 
Landscapes" be a better title than the one used?

3) Some ICGA­papers that are relevant here are not
referenced, e.g. a)
Richard K. Belew: When Both Individuals and 
Populations Search: Adding Simple Learning to the 
Genetic Algorithm. ICGA 1989: 34­41, b)
Richard K. Belew: Evolution, Learning, and 
Culture: Computational Metaphors for Adaptive 
Algorithms. Complex Systems 4(1) (1990), and c) 
Bernard Manderick, Mark de Weger, and Piet 
Spiessens: The Genetic Algorithm and the Structure
of the Fitness Landscapes. ICGA 1991: 143­150, 
that uses the NK­landscapes the study the 
performance of the GA.

Scored Review Questions

wri tec con

rel sig orig ach rep rec
t h f
pap 4 4 4 4 5 4 3 5- 4
196 defi
s2 nite
ly
acc
ept
as
full
pap
er (
5)

Review of pap196s2 by
Reviewer 7
Comments for Authors:
This paper investigates the effect of individual 
learning and social learning on dynamic 
optimization problems using a modified NK­
landscape benchmark in which the K parameter 
changes over time at regular intervals. The paper 
is very well­written with a clear objective and 
research hypothesis in mind. The paper confirms 
the benefit of learning along an evolutionary 
process and emphasizes their importance and 
significance in the context of dynamic 
optimization. The paper fall shorts with respect 
to addressing the significance of its findings in 
relation to a broader set of problems, such as 
continuous problems. It would be nice if the 
authors comment on how their findings can be 
generalized to continuous domain.

The paper is also detached from the broader 
related literature such as its connections to 
individual and social learning in particle swarm 
optimization and swarm intelligence as well as 
evolutionary dynamic optimization. More details is
given below.

I think the subject of this study is also related 
to particle swarm optimization and swarm 
intelligence in general.

What is the significance of the of the current 
work with respect to static environments? I have a
feeling that the notion of combining IL and SL 
have broader consequences than just being useful 
in a dynamic settings. I suggest that the authors 
investigate the merits of their work in static 
environments as well.

Now after reading the rest of the paper, I can see
that there are works on the effect of learning in 
static environments. 

"received a lot of attention because this form of 
learning" ­> a bit informal. Please rephrase.
Page 2, LHS, items (i) to (iii). Are these 
punctuated correctly? These are obviously 
questions; do they need question marks?

It is necessary to address the body of research on
evolutionary dynamic optimization. I am not expert
in that area, but the current work seems to be 
completely detached from the evolutionary dynamic 
optimization literature. Please see the following:

Nguyen, T.T., Yang, S. and Branke, J., 2012. 
Evolutionary dynamic optimization: A survey of the
state of the art. Swarm and Evolutionary 
Computation, 6, pp.1­24.

Jin, Y. and Branke, J., 2005. Evolutionary 
optimization in uncertain environments­a survey. 
IEEE Transactions on evolutionary computation, 
9(3), pp.303­317.

Branke, J., 2001. Evolutionary approaches to 
dynamic optimization problems­updated survey.

Branke, J., 1999. Evolutionary approaches to 
dynamic optimization problems­a survey.

Figure 2: why is there a marked difference between
the initial average fitness of the EVO versions 
with learning and those without learning at 
iteration 0? The versions with learning always 
start with a better fitness? Why is that? I 
presume they all should start from relatively the 
same average fitness. This is very important issue
and needs to be investigated and addressed by the 
author(s).

There are also some performance metrics commonly 
used to compare algorithms in evolutionary dynamic
optimization.

The paper lacks proper statistical significance 
test (preferably a non­parametric test).

Scored Review Questions

wri tec con

rel sig orig ach rep rec
t h f
pap 5 3 3 4 5 4 3 4- 5
196 pro
s2 bab
ly
acc
ept
as
full
pap
er (
4)

Committee Comments
& Notes
Committee Comments for Authors
Our apologies that this paper was inadvertently 
assigned an unusually large number of reviewers. 
We hope that the comments will be useful for the 
researchers.