Download Planification avec incertitude pour applications

Applications spatiales nécessitant de la
planification d’actions concurrente sous
incertitude
Éric Beaudry
http://planiart.usherbrooke.ca/~eric/
6 juin 2011
Robots sur Mars
Observation de la Terre
2
Image Source : http://marsrovers.jpl.nasa.gov/gallery/artwork/hires/rover3.jpg
Sample application
MISSION PLANNING FOR
MARS ROVERS
3
Mars Rovers: Autonomy is required
Robot Sejourner
> 11 Minutes * Light
4
Mars Rovers: Constraints
• Navigation
– Uncertain and rugged terrain.
– No geopositioning tool like GPS on Earth.
Structured-Light (Pathfinder) /
Stereovision (MER).
•
•
•
•
Energy.
CPU and Storage.
Communication Windows.
Sensors Protocols (Preheat, Initialize,
Calibration)
• Cold !
5
Mars Rovers: Uncertainty (Speed)
• Navigation duration is unpredictable.
5 m 57 s
14 m 05 s
6
Mars Rovers: Uncertainty (Speed)
robot
7
Mars Rovers: Uncertainty (Power)
• Required Power by motors  Energy Level
Power
Power
Power
8
Mars Rovers: Uncertainty (Size&Time)
• Lossless compression algorithms have highly
variable compression rate.
Image size : 1.4 MB
Time to Transfer: 12m42s
Image size : 0.7 MB
Time to Transfer : 06m21s
9
Mars Rovers: Uncertainty (Sun)
Sun
Sun
Normal
Vector
Normal
Vector
10
OBJECTIVES
11
Goals
• Generating plans with concurrent actions
under resources and time uncertainty.
• Time constraints (deadlines, feasibility
windows).
• Optimize an objective function (i.e. travel
distance, expected makespan).
• Elaborate a probabilistic admissible heuristic
based on relaxed planning graph.
12
Assumptions
• Only amount of resources and action duration
are uncertain.
• All other outcomes are totally deterministic.
• Fully observable domain.
• Time and resources uncertainty is continue,
not discrete.
13
Dimensions
• Effects: Determinist vs Non-Determinist.
• Duration: Unit (instantaneous) vs Determinist vs
Discrete Uncertainty vs Probabilistic (continue).
• Observability : Full vs Partial vs Sensing Actions.
• Concurrency : Sequential vs Concurrent (Simple
Temporal) [] vs Required Concurrency.
14
LITERATURE REVIEW
15
Existing Approaches
• Planning concurrent actions
– F. Bacchus and M. Ady. Planning with Resource and Concurrency : A Forward
Chaining Approach. IJCAI. 2001.
• MDP : CoMDP, CPTP
– Mausam and Daniel S. Weld. Probabilistic Temporal Planning with Uncertain
Durations. National Conference on Artificial Intelligence (AAAI). 2006.
– Mausam and Daniel S. Weld. Concurrent Probabilistic Temporal Planning.
International Conference on Automated Planning and Scheduling. 2005
– Mausam and Daniel S. Weld. Solving concurrent Markov Decision Processes.
National Conference on Artificial intelligence (AAAI). AAAI Press / The MIT
Press. 716-722. 2004.
• Factored Policy Gradient : FPG
– O. Buffet and D. Aberdeen. The Factored Policy Gradient Planner. Artificial
Intelligence 173(5-6):722–747. 2009.
• Incremental methods with plan simulation (sampling) : Tempastic
– H. Younes, D. Musliner, and R. Simmons. « A framework for planning in
continuous-time stochastic domains. International Conference on Automated
Planning and Scheduling (ICAPS). 2003.
– H. Younes and R. Simmons. Policy generation for continuous-time stochastic
domains with concurrency. International Conference on Automated Planning
and Scheduling (ICAPS). 2004.
– R. Dearden, N. Meuleau, S. Ramakrishnan, D. Smith, and R. Washington.
Incremental contingency planning. ICAPS Workshop on Planning under
Uncertainty. 2003.
16
Families of Planning Problems with Actions Concurrency and Uncertainty
Fully Non-Deterministic (Outcome + Duration) + Action Concurrency
FPG [Buffet]
+ Deterministic Outcomes
[Beaudry] [Younes]
+ Sequential (no action concurrency)
[Dearden]
+ Discrete Action
Duration Uncertainty
CPTP [Mausam]
+ Longest Action
CoMDP [Mausam]
+ Deterministic
Action Duration
= Temporal Track
at ICAPS/IPC
Forward Chaining
MDP
Classical Planning
A* + limited PDDL
[Bacchus]
+ PDDL 3.0
17
The + sign indicates constraints on domain problems.
Application 2 : observation de la Terre
• Conditions d’acquisition (ex: météo) incertaines (très
problématique pour les données optiques).
• Des requêtes urgentes peuvent survenir.
• Les fenêtres de communications sont limitées.
• Capacité de stockage limitée sur les satellites.
• Les changements d’orbite sont
coûteux.
• Volume de données incertain.
• Besoin de planifier les actions
pour optimiser les acquisition
de données.
• Réf.: [Capderou 2002].
RadarSat II
18
PLANIFICATION CLASSIQUE
Planification classique
Planification temporelle
Planification avec actions concurrentes
MDP : Séquence d’actions avec
incertitude
Incertitude sur le temps
COMMENT COMBINER INCERTITUDE,
INCERTITUDE SUR LE TEMPS, ET
ACTIONS CONCURRENTE ?
Voir diapos 21 à 39
de ma présentation @UQAM
CES DÉFIS VOUS INTÉRESSENT ?
Ces défis vous intéressent ?
• Projet libre en IFT615 (3 à 5 semaines)
• Projets IFT592/692 (3 ou 6 crédits)
• Stage en recherche / Bourse CRSNG 1er cycle
–
–
–
–
–
–
–
Minimum 5625 $ (bourse non imposable)
Durée de 16 semaines
Peut être ou ne pas être un stage coop
Moyenne de BExcellente expérience avant la maîtrise
CRSNG (Conseil de la recherche en sciences naturelles et génie)
Infos: http://www.crsng.ca ou un prof du département
29
Maitrise type recherche
•
•
•
•
Maitrise = initiation à la recherche
Projet de recherche (travail individuelle / équipe)
5 cours gradués
Possibilité de publier dans des journaux et conférences
scientifiques (voyages !)
• Financement
–
–
–
–
–
–
Bourses subvention d’un prof-chercheur : ~ 12 k$ / an.
Bourses CRSNG (17 k$ / 12 mois)
Bourses FQRNT (15 k$ / 4 sessions)
Bourses CRSNG à incidence industrielle (15 à 25 k$ / an).
CRSNG : http://www.crsng.ca/ .
FQRNT : http://www.fqrnt.gouv.qc.ca/ .
30
Chercheurs
• Eric Beaudry @
• Froduald Kabanza @