openHSU logo
Log In(current)
  1. Home
  2. Helmut-Schmidt-University / University of the Federal Armed Forces Hamburg
  3. Publications
  4. 2 - Theses
  5. Combining SMT with machine learning for AI planning in real-world applications

Combining SMT with machine learning for AI planning in real-world applications

Publication date
2026-10-27
Document type
Dissertation
Author
Heesch, René  
Advisor
Niggemann, Oliver  
Referee
Zoitl, Alois
Stern, Roni
Granting institution
Helmut-Schmidt-Universität/Universität der Bundeswehr Hamburg
Exam date
2026-10-07
Organisational unit
Informatik im Maschinenbau  
DOI
10.24405/24927
URI
https://openhsu.ub.hsu-hh.de/handle/10.24405/24927
Publisher
Universitätsbibliothek der HSU/UniBw H
Part of the university bibliography
✅
File(s)
openHSU_24927.pdf (4.17 MB)
Additional Information
Language
English
Keyword
Machine Learning
Satisfiability Modulo Theory
AI planning
Abstract
[EN]
In many real-world planning applications, such as production planning, robotics, and logistics, planning problems are characterized by state spaces comprising both discrete and continuous numerical state variables. Additionally, the actions frequently do not have absolutely defined effects but are parameterized by control parameters that must be chosen at planning time. In this setting, the plan consists of a sequence of actions including the corresponding control parameters that leads from the initial state to a state satisfying the goal conditions.
Another challenge arises when the corresponding transition dynamics, i.e., the dependence on the predecessor state and the control parameters, are only partially known and cannot be expressed in with a formal mathematical model. While established satisfiability- and SMT-based planning approaches provide a powerful basis for reasoning over numerical state variables, action choices, and control parameters, they typically require a complete formal description of the planning domain including the underlying dynamics. In practical applications, such as the ones mentioned above, however, deriving such domain models manually is difficult, error-prone, and sometimes infeasible because the relevant physical dependencies are unknown and only observable through data from previous executions.

This thesis addresses this gap by combining SMT-based planning with machine learning for numerical planning domains where transitions are influenced by control parameters and only partially known. It introduces the class of neural numerical planning problems with control parameters, in which some actions remain symbolically specified while others are represented by learned preconditions and executable transition functions, such as neural networks.

The main contributions of this thesis are as follows:
I. A unified feature-vector-based state-space representation supporting both machine learning based approximations of transition dynamics and symbolic reasoning during planning is presented. This representation serves as an interface between the symbolic action models, learned action-model components, executable transition functions, and the SMT encoding.
II. Methods for learning missing action-model components that are not described symbolically from action-specific observations are presented. For the learning of actions' preconditions this thesis proposes three different algorithms with different trade-offs between soundness and completeness in continuous state spaces. For learning the actions' effects, this thesis trains action-specific machine learning models to capture the dependency between predecessor states, control parameters, and successor states. These models are then integrated into the planning domain in the form of executable transition functions.
III. Two different SMT-based planning algorithms are presented to solve the resulting domain models consisting of symbolically described and learned components. The lazy planning algorithm separates the symbolic reasoning from the analysis of the executable transition functions by introducing a two-stage architecture. It first solves an abstracted version of the planning problem at the SMT level and then concretizes the resulting abstract plan by querying the executable transition functions in order to find suitable control parameters supporting this abstract plan. This allows for the integration of both executable transition functions with white-box machine learning models, whose architecture and parameters are known, and black-box executable transition functions that are only accessible through an input-output interface. The eager planning algorithm, in contrast, integrates executable transition functions with white-box machine learning models directly into the SMT encoding. This allows for joint reasoning over the action sequence and the corresponding control parameters but requires the executable transition functions to be representable within the SMT formula.

The proposed planning pipeline is evaluated empirically on six domains, including domains that are based on a real-world polyurethane foaming process and domains from the International Planning Competition that are adapted to provide the required transition complexity. The results show that the feature-vector-based state-space representation can operationally connect all stages of the pipeline, that the learned preconditions and effect models can capture the relevant system dynamics, and that the proposed planning algorithms are able to find valid plans in domains that combine symbolically described and learned components. The theoretical evaluation of the proposed algorithms underlines their different trade-offs between soundness and completeness.

Overall, this thesis presents a formal and algorithmic foundation for planning in real-world domains with mixed discrete and continuous state spaces, where only parts of the domain model are symbolically described, and the missing domain description has to be recovered from action-specific observations.
[DE]
In vielen praktischen Planungsanwendungen, wie beispielsweise der Produktionsplanung, der Robotik und der Logistik, sind Planungsprobleme durch Zustandsräume gekennzeichnet, die sowohl diskrete als auch kontinuierliche numerische Zustandsvariablen umfassen. Zusätzlich haben die Aktionen in diesen Problemen oft keine statischen Effekte, sondern sind durch Kontrollparameter parametrisiert, die den Effekt einer Aktion beeinflussen und im Zuge des Planungsprozesses bestimmt werden müssen. In diesem Kontext besteht ein Plan folglich aus einer Abfolge von Aktionen, einschließlich der dazugehörigen Werte für die Kontrollparameter, die vom Initialzustand zu einem Zustand führt, der die Zielbedingungen erfüllt.
Eine weitere Herausforderung ergibt sich, wenn die entsprechenden Transitionsdynamiken, d. h., die Abhängigkeit von dem Zustand, in dem die Aktion angewendet wird sowie von den Kontrollparametern der Aktionen, nur teilweise bekannt sind und nicht formal beschrieben werden können. Während etablierte erfüllbarkeits- und SMT-basierte Planungsansätze eine leistungsfähige Grundlage für das Schließen über die numerischen Zustandsvariablen, die Auswahl der Aktionen und die entsprechenden Kontrollparameter bieten, benötigen diese Ansätze typischerweise eine vollständige formale Beschreibung der Planungsdomäne, einschließlich der zugrundeliegenden Transitionsdynamiken. In praktischen Anwendungen ist die manuelle Erstellung solcher Domänenmodelle jedoch schwierig, fehleranfällig und mitunter nicht möglich, weil die entsprechenden physikalischen Abhängigkeiten, die den Transitionen zugrunde liegen, nicht bekannt und nur anhand von Daten aus zurückliegenden Ausführungen der Aktionen beobachtbar sind.

Diese Arbeit adressiert diese Forschungslücke, indem sie SMT-basierte Planung mit maschinellem Lernen kombiniert, um Planungsprobleme in Domänen zu lösen, in denen die Transitionen durch Kontrollparameter beeinflusst werden und nur teilweise bekannt sind. Sie führt die Klasse der neuronalen numerischen Planungsprobleme mit Kontrollparametern ein, in denen einige Aktionen formal spezifiziert sind, während andere durch gelernte Vorbedingungen und ausführbare Transitionsfunktionen, wie beispielsweise Neuronalen Netzen, repräsentiert werden.

Die Hauptbeiträge dieser Dissertation sind wie folgt:
I. Es wird eine einheitliche, merkmalsvektorbasierte Repräsentation des Zustandsraums vorgestellt, die sowohl die Integration von auf maschinellem Lernen basierte Approximationen der Transitionsdynamiken als auch das symbolische Schließen im Zuge der Planung unterstützt. Diese Repräsentation dient als Schnittstelle zwischen den formalen Beschreibungen der Aktionen, den gelernten Vorbedingungen, den gelernten ausführbaren Transitionsfunktionen sowie der Enkodierung des Planungsproblems als Erfüllbarkeitsproblem in SMT.
II. Es werden Methoden zum Lernen der Komponenten der Aktionsmodelle, die nicht formal beschrieben sind, aus Aktions-spezifischen Beobachtungen vorgestellt. Für das Lernen der Vorbedingungen der Aktionen werden drei verschiedene Ansätze vorgeschlagen, die unterschiedlichen Abwägungen zwischen Korrektheit und Vollständigkeit in kontinuierlichen Zustandsräumen realisieren. Für die fehlenden Komponenten, welche die Transitionsdynamiken abbilden, wird vorgeschlagen, Aktions-spezifische Modelle mit Methoden des maschinellen Lernens zu trainieren, um die Abhängigkeit zwischen dem Zustand, in dem die Aktion angewendet wird, den Kontrollparametern der Aktion sowie dem daraus resultierenden Zustand zu erfassen. Diese Modelle werden anschließend als ausführbare Transitionsmodelle in die Beschreibung der Planungsdomäne integriert.
III. Es werden zwei verschiedene SMT-basierte Planungsansätze vorgestellt, um Planungsprobleme mit den resultierenden Domänenmodellen, die aus formal modellierten und gelernten Komponenten bestehen, zu lösen. Der lazy Planungsansatz trennt das symbolische Schließen von der Analyse der ausführbaren Transitionsfunktionen durch die Einführung einer zweistufigen Architektur. Er löst zunächst ein abstrahiertes Planungsproblem auf der SMT-Ebene und konkretisiert das abstrahierte Problem anschließend, indem er mithilfe der ausführbaren Transitionsfunktionen geeignete Kontrollparameter sucht, die diesen abstrakten Plan unterstützen. Dies ermöglicht sowohl die Integration von ausführbaren Transitionsfunktionen, die auf white-box Modellen des maschinellen Lernens basieren, deren Architektur und Gewichte für den Planer zugänglich sind, als auch die Integration von ausführbaren Transitionsfunktionen, die ausschließlich in Form eines Input-Output Interfaces zugänglich sind. Der eager Planungsansatz integriert hingegen ausführbare Transitionsfunktionen, die auf white-box Modellen des maschinellen Lernens basieren, direkt in das Erfüllbarkeitsproblem. Dies ermöglicht das logische Schließen sowohl über die Sequenz von Aktionen als auch die dazugehörigen Kontrollparameter, setzt jedoch voraus, dass die ausführbaren Transitionsfunktionen innerhalb der SMT-Formel repräsentierbar sind.

Die vorgeschlagene Planungspipeline wird mithilfe von sechs verschiedenen Domänen empirisch evaluiert. Einige der Domänen basieren auf einem realen System zur Polyurethan-Umschäumung, wohingegen es sich bei den anderen um Domänen der International Planning Competition handelt, die erweitert wurden, damit sie die erforderliche Transitionskomplexität bereitstellen. Die Ergebnisse der Evaluation zeigen, dass die merkmalsvektorbasierte Repräsentation des Zustandsraums alle Stufen der Pipeline miteinander verbinden kann, dass die gelernten Komponenten der Aktionsmodelle die relevanten Systemdynamiken erfassen können und dass die vorgeschlagenen Planungsalgorithmen in der Lage sind, Planungsprobleme mit Domänenbeschreibungen zu lösen, die formale Beschreibungen mit gelernten Komponenten kombinieren. Die theoretische Evaluation der vorgeschlagenen Ansätze verdeutlicht die unterschiedlichen Abwägungen bezüglich der Korrektheit und der Vollständigkeit.

Zusammengefasst präsentiert die Dissertation eine formale und algorithmische Basis für das Planen in realen Planungsdomänen mit gemischten diskreten und kontinuierlichen Zustandsräumen, in denen nur einzelne Komponenten des Domänenmodells formal beschrieben sind und die fehlenden Komponenten der Domänenbeschreibung aus Aktions-spezifischen Beobachtungen gelernt werden müssen.
Version
Published version
Access right on openHSU
Open access

  • Privacy policy
  • Send Feedback
  • Imprint