Hyperactive

Hyperactive ist eine Open-Source-Python-Bibliothek für Optimierungs- und Hyperparameter-Experimente. Sie bietet eine einheitliche, experimentbasierte Schnittstelle, die Optimierungsprobleme klar von den verwendeten Algorithmen trennt. Dadurch können unterschiedliche Optimierungsverfahren flexibel ausgetauscht werden, ohne den eigentlichen Experiment-Code zu verändern.

Die Bibliothek vereint eigene Optimierungsalgorithmen mit etablierten Frameworks wie Optuna und scikit-learn unter einer gemeinsamen API.

Zielsetzung

Optimierungsaufgaben – insbesondere Hyperparameter-Tuning – sind oft fragmentiert über verschiedene Tools, APIs und Konzepte verteilt. Hyperactive abstrahiert diese Komplexität und stellt eine konsistente, erweiterbare Oberfläche bereit, die sowohl für Forschung als auch für produktive Machine-Learning-Workflows geeignet ist.

Zentrale Merkmale

• Einheitliche API für unterschiedliche Optimierungsverfahren

• Trennung von Experiment (Was wird optimiert?) und Algorithmus (Wie wird optimiert?)

• Über 20 integrierte Optimierungsalgorithmen

• Unterstützung gemischter Parameter-Räume (kategorisch, diskret, kontinuierlich)

• Direkte Integration mit gängigen ML-Frameworks

• Stabil und aktiv weiterentwickelt seit 2019

Optimierungs-Backends

Gradient-Free-Optimizers (GFO)

Das native Backend von Hyperactive mit über 20 selbst implementierten, gradientenfreien Optimierungsalgorithmen. Besonders geeignet für benutzerdefinierte Zielfunktionen und experimentelle Anwendungsfälle.

Unterstützte Verfahren umfassen unter anderem:

• Hill-Climbing-Varianten

• Simulated Annealing

• Particle Swarm Optimization

• Genetische Algorithmen

• Bayes’sche Optimierung

Optuna

Integration des etablierten Hyperparameter-Optimierungsframeworks Optuna mit modernen Samplern und Pruning-Strategien.

Unterstützt werden unter anderem:

• Tree-Parzen-Estimator (TPE)

• CMA-ES für kontinuierliche Suchräume

• Gaussian-Process-Optimierung

• Multi-Objective-Optimierung (z. B. NSGA-II/III)

scikit-learn

Nahtlose Einbindung der bekannten scikit-learn-Suchverfahren mit verbesserter Experiment-Abstraktion.

Unterstützte Methoden:

• GridSearchCV

• RandomizedSearchCV

• HalvingGridSearchCV

• HalvingRandomSearchCV

Experiment-Abstraktion

Ein zentrales Designprinzip von Hyperactive ist die klare Trennung zwischen:

• der Definition des Optimierungsproblems (Zielfunktion, Suchraum)

• und der Wahl des Optimierungsalgorithmus

Dadurch können Algorithmen einfach ausgetauscht oder verglichen werden, ohne den Experiment-Code anzupassen.

Integrationen

Hyperactive lässt sich direkt mit gängigen Machine-Learning-Frameworks kombinieren:

scikit-learn

Optimierung von Estimatoren inklusive Cross-Validation.

sktime

Hyperparameter-Tuning für Zeitreihen-Modelle und -Transformer.

skpro

Optimierung probabilistischer Regressionsmodelle.

PyTorch

Optimierung von Modellarchitekturen und Trainingsparametern.

Einsatzgebiete

• Hyperparameter-Optimierung für Machine Learning

• Vergleich verschiedener Optimierungsstrategien

• Forschung und experimentelle Optimierungsaufgaben

• Automatisierte ML-Workflows

• Lehre und Demonstration von Optimierungsalgorithmen

Open Source

Hyperactive ist unter der MIT-Lizenz veröffentlicht und wird offen auf GitHub entwickelt. Das Projekt ist vollständig dokumentiert, typannotiert und getestet und wird aktiv von der Community gepflegt.

GC.OS unterstützt Hyperactive als Open-Source-Projekt im Bereich reproduzierbarer und transparenter Optimierungsverfahren.