Planning and Scheduling

Stephen F. Smith

The Robotics Institute
Carnegie Mellon University
Pittsburgh PA 15213
sfs@cs.cmu.edu
412­268­8811

Carnegie Mellon
 Outline

• What is Scheduling?
• Current State of the Art: Constraint­Based 
Scheduling Models
• Is Scheduling a Solved Problem?

Carnegie Mellon
 What is Scheduling?

Allocation of resources to activities over time so that input 
demands are met in a timely and cost­effective manner
Most typically, this involves determining a set of activity start 
and end times, together with resource assignments, which
• satisfy all temporal constraints on activity execution 
(following from process considerations)
• satisfy resource capacity constraints, and
• optimize some set of performance objectives to the extent 
possible

Carnegie Mellon
 A Basic Scheduling Problem

Carnegie Mellon
 A More Complex Scheduling 
Problem

Origin
Sea­POE

Air­POE Sea­POD Destination

Air­POD

Carnegie Mellon
 Scheduling Research: 
The Last 10 Years

• Major advances in techniques for solving 
practical problems
• Constraint solving frameworks
• Incremental mathematical programming models 
• Meta­heuristic search procedures
• Several significant success stories
• Commercial enterprises and tools

Carnegie Mellon
 Constraint­Based Scheduling 
Models
Components:

Commitment Active Data Base Conflict

Strategies/ (Current Schedule) Handling
Heuristics
Constraint Propagation

Properties:
• Modeling Generality/Expressiveness
• Incrementality
• Compositional

Carnegie Mellon
 What is a CSP?

Given a triple {V,D,C}, where 
• V = set of decision variables
• D = set of domains for variables in V
• C = set of constraints on the values of 
variables in V
Find a consistent assignment of values to 
all variables in V

Carnegie Mellon
 A Basic CSP Procedure
1. [Consistency Enforcement] ­ Propagate constraints to establish 
the current set vd of feasible values for each unassigned variable d
2. If vd = Ø  for any variable d , backtrack
3. If no unassigned variables or no consistent assignments for all 
variables, quit; Otherwise
4. [Variable Ordering] ­ Select an unassigned variable d to assign
5. [Value Ordering] ­ Select a value from vd to assign to d.
6. Go to step 1

Carnegie Mellon
 Formulating Scheduling 
Problems as CSPs
“Fixed times” model 
• Find a consistent assignment of start times to activities
• Variables are activity start times
Disjunctive graph model
•  Post sufficient additional precedence constraints between pairs of activities to 
eliminate resource contention
• Variables are ordering decisions

Carnegie Mellon
 A Simple Job Shop Scheduling 
CSP
Variables: start times (stj,i ) ­ Domain: [0,12] 

Job1: O1,1 O1,2 O1,3

[0,12] [0,12] [0,12]

R1 R3
Job2  : O2,1 O2,2
[0,12] [0,12]
R2
Job3  : O3,1 O3,2 O3,3
[0,12] [0,12] [0,12]

Oi,j Oi,k Oi,j Rx Ok,l

Sti,j  + Duri,j  ≤ Sti,k Sti,j  + Duri,j  ≤ Stk,l  V Stk,l  + Durk,l  ≤ Sti,j 

Carnegie Mellon
 Constraint Propagation

Deductive process of inferring additional 
constraints from existing constraints as 
decisions are made
Two roles:
• Early pruning of the search space by eliminating 
infeasible assignments
• Detection of constraint conflicts

Carnegie Mellon
 Some Constraint Propagation 
Terminology
K­consistency guarantees that any locally consistent instantiation of 
(K­1) variables is extensible to any K­th variable
Example: 2­consistency (“arc­consistency”)

Complexity: Enforcing K­consistency is (in general) exponential in K
• Forward Checking: partial arc­consistency only involving 
constraints between an instantiated 
                        variable and a non­instantiated one

Carnegie Mellon
 Temporal Constraint Propagation 
through Precedence Constraints
Assume dui,j  = 3 for all Oi,j
• Before propagation:

O1,1 O1,2 O1,3

[0,12] [0,12] [0,12]

• Forward propagation

O1,1 O1,2 O1,3

[0,12] [3,12] [6,12]
• Backward propagation

O1,1 O1,2 O1,3

[0,6] [0,9] [6,12]

Carnegie Mellon
 Capacity Constraint Propagation

Observation: Enforcing consistency with respect 
to capacity constraints is more difficult due to 
the disjunctive nature of these constraints
Forward Checking:
O1,1 Scheduled to start at time 6
[6,6]

R1

Before propagation:   [6,12]
O2,1 After propagation:     [9,12]

Carnegie Mellon
 Pruning Operation Ordering 
Alternatives
Example: Erschler’s dominance conditions

Conclusion: Oi cannot precede Oj

In general: For any unordered pair of operations {Oi, Oj},
we have four possible cases:
1. LSTi < EFTj and LSTj ≥ EFTi: Oi is before Oj
2. LSTj < EFTi and LSTi ≥ EFTj : Oj is before Oi
3. LSTi < EFTj and LSTj < EFTi : inconsistency
Carnegie Mellon4. LSTi ≥ EFTj and LSTj ≥ EFTi: both options remain open
 Edge Finding
• S ­ a set of operations competing for resource R
• O ­ an operation not in S also requiring R

((LFT(S) - EST(S) < Dur(O) + Dur(S))

EST(O) ≥ EST(S) + Dur(S)
(LFT(S) - EST(O) < Dur(O) + EST(O))

OP k

OP j

OP i

10 20 30

S = {OP ,OP }; O = OP         Start Time OP   ≥ 25
i j k k
Carnegie Mellon
 More Complex Temporal 
Constraints
“Simple Temporal Problem” (STP) [Dechter91]
• Edge­weighted graph of time points expressing 
constraints of the form: a≤ tpj− tpi≤ b
• Assuming no disjunction, allows incorporation of 
• Temporal relations:
•finish­to­start <0, ∞>  (precedence)
•start­to­finish <t1,t2> (duration)
•Start­to­start <0,0>  (same­start)
•...
• Metric bounds: offsets from time origin
• Efficiently solved via all­pairs shortest path

Carnegie Mellon
 Constraint­Posting Scheduling 
Models
•Conduct search in the space of ordering 
decisions
• variables ­ Ordering(i,j,R)  for operations i  
and j contending for resource R
• values ­ i before j, j before i
•Constraint posting and propagation in the 
underlying temporal constraint network 
(time points and distances)

Carnegie Mellon
 Search Heuristics 
(Variable and Value Ordering)
• Slack/Temporal Flexibility
• Choose pair of activities with least sequencing flexibility
• Post sequencing constraint that leaves the most slack
• Resource Demand/Contention
• Identify bottleneck resource
• Schedule (or sequence) those activities contributing most to demand
• Minimal critical sets
• Generalization to multi­capacity resources

Carnegie Mellon
 Search Control

• Backtracking­based search
• Least­Discrepancy Search
• Iterative Re­starting with randomized 
heuristics
• Local search ­ Tabu, GAs, etc.

Carnegie Mellon
 The Broader Picture
Constraint posting provides a framework for integrating planning and 
scheduling 
• contemporary temporal planners operate with analogous representational 
assumptions
• E.g., IXTET, HSTS/RAX, COMIREM, …
• “Constraint­Based Interval Planning” [D. Smith 00]
Constraint posting is a relatively unexplored approach to scheduling with 
several advantages
• more flexible solutions 
• simple heuristics can yield high performance solution techniques under a 
wide variety of problem constraints

Carnegie Mellon
 Technological Strengths

• Scalability 
• Modeling flexibility
• Optimization
• Configurable

So, Is scheduling a solved problem?

Carnegie Mellon
 What is Scheduling (Again)?
Classic view:
• Scheduling is a puzzle solving activity­ 
• Given problem constraints and objective criterion, 
figure out how to best tile the capacity over time 
surface with operations
• Research agenda ­ specify new puzzles and/or 
provide new best solutions
i j
OP1,1 OP1,2 OP1,3
 st(i) + p(i) ≤ st(j), where p(i)
rd1 is the processing time of op i
dd1 R1 OP2,1 OP1,2
R1 R2
i R j

st(i) + p(i) ≤ st(j) V st(j) + p(j) ≤ st(i)  R2 OP1,1 OP2,2 OP1,3

OP2,1 OP2,2

rd(j) ≤ st(i) for each op i of job j
rd2 dd2

Minimize ∑ |c(j) ­ dd(j)|

Carnegie Mellon
 What’s Missing from the 
Classical View of Scheduling
Practical problems can rarely be formulated as 
static optimization tasks
• Ongoing iterative process 
• Situated in a larger problem­solving context
• Dynamic, unpredictable environment

Carnegie Mellon
 Managing Change 

“Scheduling” is really an ongoing process of 
responding to change

Manufacturing

Project Crisis Action

Management Planning

• Unpredictable, Dynamic • Predictable, Stable

Environment Environment
• Robust response • Optimized plans

Carnegie Mellon
 Approaches to Managing Change

• Build schedules that retain flexibility
• Produce schedules that promote localized 
recovery
• Incremental re­scheduling techniques (e.g., 
that consider “continuity” as an objective 
criteria)
• Self­scheduling control systems

Carnegie Mellon
 Incremental Schedule Repair

Several competing approaches to maintaining solution stability
• Minimally disruptive schedule revision (temporal delay, resource 
area, etc.)
• Priority­based change
• Regeneration with preference for same decisions
Little understanding of how these techniques stack up against 
each other
Even less understanding of how to trade stability concerns off 
against (re)optimization needs

Carnegie Mellon
 Delayed­Commitment 
Scheduling Procedures
Identify a contention peak and post a leveling constraint

Activity 2 Activity 2
R1 Activity 1 Activity 1
R1

Advantages
• Retain flexibility implied by problem 
constraints (time and capacity)
• Can establish conditions for guaranteed 
executability

Carnegie Mellon Carnegie Mellon

 Building Robust Schedules

Some open questions:
• Extended conditions for “Dispatchability”
• Robustness versus optimization
• Use of knowledge about domain 
uncertainties
• Local search with robust representations

Carnegie Mellon
 Self­Scheduling Systems

• Distribute decision­making among 
individual entities (machines, tools, parts, 
operators; manufacturers, suppliers)
• Specify local behaviors and protocols for 
interaction
• Robust, emergent global behavior

Carnegie Mellon
 Morley’s GM Paint Shop System

Paint
Bid Booth Bid parameters:
1
 ­ same color as 
Dispatcher Announcement last truck
(new truck)  ­ space in queue
 ­ empty queue
Paint
Bid Booth
“If bid for same color then award
     else if empty booth then award 2
               else if queue space then award”

Carnegie Mellon
 Tradeoffs

Advantages:
• Complexity reduction
• Simple, configurable software systems
• Robust to component failures
• More stable computational load
Problems:
• No understanding of global optima (or how to achieve global 
behavior that attends to specific performance goals)
• Prediction only at aggregate level (can become unstable)

Carnegie Mellon
 Adaptive Systems:
“Routing Wasps” in the Factory
Machine
1 R­Wasp  P(route|ST,ØT) = _________ S T
2

Agent1
                                ST2 + ØT2
Machine
2
.. R­Wasp
Agent2
B C
. A Jobs B
R­Wasp A
Machine AgentN C Stimulus:
N B SB

Response Thresholds:
ØA, ØB, ØC, ...
Carnegie Mellon
 Updating Response Thresholds

ØT = ØT –  ∆1  if next job is same type as current job
ØT = ØT +  ∆2  if next job is a different type 
ØT = ØT –  ∆3    if the machine is currently idle

• Routing framework can be seen as an adaptive variant of Morley’s bidding 
rule
• Experimental results showing significant performance improvement 

Carnegie Mellon
 Some Open Issues in Multi­
Agent Scheduling

• Self­scheduling approaches do not preclude the use of 
advance schedules
• How to incorporate?
• Opportunistic optimization
• Cooperative, distributed scheduling is a fact of life in 
many domains (geographic constraints, autonomous 
business entities, etc.)
• How to negotiate and compromise? 
• Can self­interest be compatible with global performance 
objectives?

Carnegie Mellon
 Integrating Planning & Scheduling
“Planning & scheduling are rarely separable”

Waterfall Model
Planner
Plan Schedule
Scheduler

Mixed-Initiative Model
Plan
Planner

Scheduler
Schedule
Carnegie Mellon
 Design Issues

• Integrated search space versus separable sub­
spaces
• Single solver versus interacting solvers
• Resource­driven versus strategy­driven
• Loose coupling versus tight coupling 

Carnegie Mellon
 JFACC Planner/Scheduler

Plan Server
PLANS Constraint
HTN
SCHEDULES Based
Planner
ANNOTATIONS Scheduler
(SRI)
(CMU)
TRIGGERS

Technological Experimental
• Interleaved generation &  • Simple, low­cost info. exchanges yield
repair of plans/schedules • Marked reduction in comp. time
• Distributed architecture to  • Comparable plan/schedule quality
support remote collaboration • More complex models can improve 
performance further
Carnegie Mellon SRI International
 Some Challenges that Remain

• Scheduling models that incorporate richer models of state
• Can integrated P & S problems really be solved as one big 
optimization task?
• The limitations of SAT­style approaches
• How to achieve tighter interleaving of action selection and 
resource allocation processes
• Managing change in this larger arena

Carnegie Mellon
 Requirements Analysis

“Scheduling is really a process of getting the constraints 
right”

Current tools designed around a “Specify and Solve” 
model of user/system interaction
• Inefficient problem solving cycle
Mixed­Initiative solution models
• Incremental solution of relaxed problems
• Iterative adjustment of problem constraints, 
preferences, priorities

Carnegie Mellon
 Use of Relaxed Models to Identify 
Resource Capacity Shortfalls

Carnegie Mellon
 The AMC Barrel Allocator
Domain: Day­to­Day Management of Airlift & Tanker Assets 
at the USAF Air Mobility Command (AMC)
Technical Capabilities:
• Efficient generation of airlift and tanker schedules 
• Incremental solution change to accommodate new missions 
and changes in resource availability over time
• Flexible control over degree of automation 
• Selective, user­controlled constraint relaxation and option 
generation when constraints cannot be satisfied

Carnegie Mellon
 Parameterizable Search 
Procedures
AssignMission:
C141, [t1,t2]
Configuration
Search Configurations
GenResources
Feasible - <GenRequestedRes ,GenIntervals ,EvalMinCompletion >
305th 437th 60th 62nd Delay - <GenRequestedRes , GenDelayInts , EvalMinTardiness >
AMW AMW AW AW
Over-Allocate - <GenRequestedRes , GenOverInts ,
GenIntervals
EvalMinOverUsage >
I1,305 I2,305 ... I1,437 I2,437 ... I1,60 I1,60 ... I1,62 ... Bump – <GenRequestedRes , GenBumpInts , EvalMinDisruption >
Alternative-MDS - < GenAlternRes , GenIntervals ,
EvalMinCompletion >
...
EvalCriteria Composite Relaxations - …

Feasible - <GenResources , GenIntervals , EvalMinCompletion >

Carnegie Mellon
 Generate
Relaxation
Options

Carnegie Mellon
 Mixed­Initiative Scheduling 
Challenges

• Management of user context across decision 
cycles
• Explanation of scheduling decisions
• Why did you do this? 
• Why didn’t you do that?
• Adjustable autonomy

Carnegie Mellon
 Research Directions for the Next 
10 Years

• Deeper integration of AI and OR techniques
• Robust schedules and scheduling
• Global coherence through local interaction
• Extension to larger­scoped problem­solving 
processes
• Rapid construction of high performance 
scheduling services

Carnegie Mellon