Bereitstellung der Qdrant-Datenbank in Kubernetes mit Terraform: Eine Schritt-für-Schritt-Anleitung mit Beispielen
Im Internet gibt es keine Terraform-Bereitstellungsanleitung für Qdrant, sondern nur die Helm-Variante, weshalb wir uns entschlossen haben, diesen Artikel zu veröffentlichen.
Wie man die Beobachtbarkeit in der Landschaft der Mikroservices durch OpenTelemetry am Leben erhält
Observability, beyond its traditional scope of logging, monitoring, and tracing, can be intricately defined through the lens of incident response efficiency—specifically by examining the time it takes for teams to grasp the full context and background of a technical incident.
ITIL vs. DevOps: Was ist das Richtige für Ihr Unternehmen?
Wenn es um die Verwaltung von IT-Diensten geht, gibt es im Wesentlichen zwei Denkschulen: DevOps und ITIL. DevOps ist eine neuere Methode, während es ITIL schon seit Jahrzehnten gibt. Beide haben ihre Vor- und Nachteile, aber welche Methode ist die richtige für Ihr Unternehmen? Ist ITIL in Zeiten von Cloud Computing, künstlicher Intelligenz, Blockchain und IoT noch zeitgemäß?
In einer idealen Welt würde jede Alarmierung ein einziges kritisches Problem signalisieren. Tatsächlich kommen Alarmierungen aber oft in Wellen auf die IT-Teams zu. Unter Alert Noise (Alarmflut) versteht man die überwältigende Menge an Benachrichtigungen, die Bereitschaftsteams bei Störungen erhalten - viele von ihnen redundant oder irrelevant. Dies kann zu Alarm Fatigue (Alarmmüdigkeit) führen, bei der kritische Probleme aufgrund der hohen Anzahl an Meldungen übersehen werden.
So kann die Verringerung der Alarmflut Ihrem Team helfen:
1. Konzentration: Durch die Gruppierung ähnlicher Alarmierungen kann sich Ihr Team auf die Incident-Response konzentrieren, anstatt sich durch die Menge an Meldungen zu kämpfen.
2. Effizienz: Weniger und relevantere Alarmierungen führen zu einer schnelleren Entscheidungsfindung und einer schnelleren Lösung des Problems.
3. Stressreduzierung: Eine überschaubare Menge an Alarmierungen minimiert das Risiko der Alarmmüdigkeit, bei der wichtige Probleme aufgrund der überwältigenden Anzahl von Meldungen übersehen werden könnten.
Deduplizierung und Verarbeitung von Alarmierungen
Übermäßige Alarmflut, die durch mehrere ähnliche Meldungen verursacht wird, kann Incident Response-Teams überfordern. Anstatt das Team mit Meldungen für jedes Problem zu bombardieren, werden Alarmierungen durch Deduplizierung zu einem einzigen, umsetzbaren Element zusammengefasst. Dieser Prozess basiert auf der semantischen Ähnlichkeit von Ereignissen, das heißt: Meldungen mit der gleichen Bedeutung, auch wenn sie sich im Wortlaut unterscheiden, werden gruppiert. ilert setzt KI-gestützte Techniken ein, um Alarmierungen zu vergleichen und ähnliche Meldungen zusammenzufassen.
Alert grouping bei ilert
Was sind Embedding-Modelle?
Embedding-Modelle sind die Säule der KI-gesteuerten Alert Deduplication. Diese Modelle übersetzen menschliche Sprache in numerische Darstellungen oder Vektoren, die die Bedeutung des Textes erfassen. Durch die Nutzung dieser Vektoren können Systeme verwandte Warnmeldungen effektiv vergleichen und gruppieren. So wird eine präzisere und aussagekräftigere Deduplizierung möglich, die die Alarmflut unterbindet.
Vector Embeddings sind mathematische Darstellungen von Daten in einem hochdimensionalen Raum, in dem jedes Datenelement - sei es ein Wort, ein Satz oder ein Dokument - als ein Punkt in diesem Raum dargestellt wird. Die Magie der Einbettungen liegt in ihrer Fähigkeit, ähnliche Elemente nahe beieinander zu positionieren, wodurch es einfacher wird, verwandte Daten zu identifizieren und zu gruppieren. Einbettungsmodelle können komplexen Text - wie zum Beispiel eine Warnmeldung - umwandeln, so dass das System gleichlautende Alarmierungen zusammenfassen und deduplizieren kann.
4 Schritte der Alarm-Deduplizierung
Alert Deduplication implementieren
1) Vorverarbeitung von Alarmierungen
Der erste Schritt bei der Deduplizierung ist die Vorverarbeitung. Dazu gehört die Vereinheitlichung des Formats der eingehenden Warnmeldungen und die Bereinigung der Daten durch Entfernen irrelevanter Elemente wie Zeitstempel und IDs. Auf diese Weise wird sichergestellt, dass alle Alarmierungen vergleichbar und für eine genaue Deduplizierung bereit sind.
2) Generierung von Texteinbettungen
Nach der Vorverarbeitung wird jede Alarmierung mit Hilfe eines vorab trainierten Modells wie BERT oder OpenAI in eine Vektoreinbettung umgewandelt. Vektoren repräsentieren die Bedeutung der Warnmeldungen und ermöglichen einen effektiven Vergleich und eine Gruppierung während der Deduplizierung.
3) Implementierung der Deduplizierungslogik
Sobald die Alarmierungen vektorisiert sind, verwendet das System Ähnlichkeitsmaße wie die Kosinusähnlichkeit, um sie zu vergleichen. Wenn zwei Alarmierungen auf der Grundlage eines vordefinierten Schwellenwerts als ähnlich genug eingestuft werden, werden sie zu einer einzigen Meldung zusammengeführt. Dieser Schwellenwert kann sehr fein abgestimmt werden, um die Genauigkeit der Deduplizierung einzustellen.
4) Kontinuierliches Feedback und Optimierung
Eine Feedback-Schleife ist notwendig, da sie es den Anwendern ermöglicht, fehlende Duplikate oder falsch-positive Ergebnisse zu markieren, so dass das System durch eine Änderung der Schwellenwerte und Feinjustierung der Einbettungsmodelle ständig verbessert werden kann.
Wichtige Überlegungen für eine effektive Deduplizierung
Einbettungsmodelle sind zwar ein leistungsfähiges Werkzeug für die Deduplizierung, aber es müssen mehrere wichtige Aspekte beachtet werden:
Die Auswahl des idealen Modells: Die Wahl des richtigen Einbettungsmodells entscheidet darüber, wie gut Ihr Deduplizierungsprozess funktioniert. Fein abgestimmte oder domain-spezifische Modelle sind besser in der Lage, die nuancierten Informationen Ihrer Alarmierungen zu erfassen und die Deduplizierung zu optimieren.
Den optimalen Schwellenwert bestimmen: Die Festlegung eines geeigneten Schwellenwerts ist von entscheidender Bedeutung. Wenn ein Schwellenwert zu niedrig angesetzt ist, können unterschiedliche Alarmierungen fälschlicherweise zusammengefasst werden, während ein zu hoch angesetzter Schwellenwert dazu führen kann, dass Duplikate übersehen werden. Um das ideale Gleichgewicht zu finden, sind kontinuierliche Tests und Anpassungen erforderlich
Nur auf Englisch verfügbar
Alert Noise verringern mit ilert
ilertAI bietet mit seinen fortschrittlichen Deduplizierungs- und Incident-Management-Funktionen eine leistungsstarke Lösung zur Reduzierung der Alarmflut. Durch die Integration in Ihre Monitoring-Tools vereinheitlicht ilert eingehende Alarmierungen und nutzt KI-gesteuerte Techniken, um doppelte Benachrichtigungen zu identifizieren und zusammenzuführen. Dieser Prozess reduziert die Menge an Alarmierungen erheblich, so dass sich Ihr Team auf die Behebung von Störungen konzentrieren kann.
Mit ilert können Sie sicherstellen, dass nur die relevantesten Alarmierungen Ihr Team erreichen, wodurch das Risiko, dass kritische Probleme übersehen werden, verringert und die Incident Response insgesamt verbessert wird.
Dieser ausführliche Leitfaden hilft Ihnen dabei, Ihre aktuellen Incident Management-Konfigurationen über ilert in Terraform zu integrieren. Hier finden Sie eine Schritt-für-Schritt-Anleitung für den Import Ihrer bestehenden ilert-Ressourcen in Ihr Infrastructure as Code-Projekt sowie Best Practices unserer Programmierer, um Konsistenz in Ihrer Infrastruktur und Ihren Incident-Management-Prozessen zu gewährleisten.
Falls Sie noch nicht mit der Einführung von IaC in Ihrem Unternehmen begonnen haben, empfehlen wir, mit unserer Übersicht über den Terraform-Provider zu starten.
Anwendungsfälle
Meist werden diese Schritte notwendig, wenn Nutzer der ilert Incident-Management-Plattform zuerst nur mit der Benutzeroberfläche arbeiten und dann später ihre bereits eingerichtete Konfiguration in ein Infrastructure as Code (IaC) System integrieren möchten.
Die ilert-Benutzeroberfläche ist in der Regel benutzerfreundlicher und intuitiver, was es Technikern ermöglicht, Ressourcen wie Alarmierungs-Richtlinien oder Dienstpläne schneller zu erstellen und zu konfigurieren. Beispielsweise ist es beim Ausprobieren verschiedener Einstellungen oder bei kurzfristigen Änderungen oft schneller und einfacher, die Benutzeroberfläche zu verwenden, als Terraform-Code zu schreiben und anzuwenden.
Auf der anderen Seite bevorzugen Programmierer, sobald eine Ressourcenkonfiguration stabil und gut verstanden ist, diese in Terraform zu coden, um eine bessere Konsistenz, Versionskontrolle und Automatisierung in verschiedenen Umgebungen zu gewährleisten.
Selbst Unternehmen, die ilert seit Jahren mit IaC nutzen, verwenden oftmals eine Kombination aus der ilert-Benutzeroberfläche und Terraform, wobei Faktoren wie Benutzerfreundlichkeit, Dringlichkeit, Komplexität des Ressourcenmanagements und dem Erfahrungsstand des Teams mit Terraform eine Rolle spielen. Der hybride Ansatz ermöglicht Flexibilität während des Setups oder wenn manuelle Eingriffe erforderlich sind, während Terraform für langfristige Konsistenz und Automatisierung bevorzugt wird.
Es ist daher völlig in Ordnung, wenn nicht alle Ihre ilert-Ressourcen bereits Teil Ihres Terraform-Projekts sind. Das Importieren vorhandener Ressourcen in ein IaC-Projekt kann jedoch etwas knifflig sein. Häufige Probleme sind Duplikate (neu erstellte Ressourcen) in Terraform anstelle des Imports vorhandener Ressourcen oder Fehler wie:
Error: Bad request: api respond with status code: 400, error code: ERROR, message: The email '[example@example.com]' is already used by user 1234567
So können Sie bestehende ilert-Ressourcen einfach importieren und diese Probleme vermeiden:
1: Identifizieren Sie die ID der ilert-Ressource, die Sie importieren möchten
Der erste Schritt zum Importieren einer in der ilert-Oberfläche erstellten Alarmierungsquelle (Alert Source) in Terraform besteht darin, ihre eindeutige ID zu suchen. Dies können Sie direkt im User Interface oder über die API machen.
Methode 1: Ressourcen-ID über die ilert-Benutzeroberfläche suchen
Melden Sie sich in Ihrem ilert-Konto an und navigieren Sie im oberen Menü zu "Alarmquellen".
Suchen Sie die Alarmierungsquelle, die Sie importieren möchten, in der Liste oder verwenden Sie das Suchfeld.
Klicken Sie auf den Namen der Alert Source, um ihre Details anzuzeigen. Navigieren Sie dann zur URL: https://example.ilert.com/source/view?id=1234567. Kopieren Sie die Zahlen am Ende; dies ist die ID, die Sie benötigen.
Methode 2: Ressourcen-ID über die API feststellen
Stellen Sie sicher, dass Sie einen API-Schlüssel haben, der in den Einstellungen Ihres ilert-Kontos unter dem Abschnitt "API" generiert werden kann.
Die API-Antwort ist im JSON-Format und enthält alle Details der Alarmierungsquellen, einschließlich ihrer IDs. Suchen Sie nach dem Feld "id".
2: Einrichten eines Terraform-Blocks
In Terraform bezieht sich ein „Block“ auf einen Code-Abschnitt, der ein spezifisches Konfigurationselement definiert. Blöcke sind die Bausteine in Terraform-Konfigurationsdateien. Jeder Block beginnt normalerweise mit einem Keyword, das angibt, welchen Ressourcentyp oder welche Einstellung Sie konfigurieren, gefolgt von den Details dieser Konfiguration in geschweiften Klammern {}.
In Ihrer Terraform-Konfigurationsdatei (z. B. main.tf) würden Sie einen Ressourcenblock für die Alarmierungsquelle definieren.
resource "ilert_alert_source" "example_alert_source" {
name = "Critical Server Alerts"
integration_type = "API"
escalation_policy_id = 1234 # Replace with the actual escalation policy ID
auto_resolve_timeout = 900 # Time in seconds before automatically resolving the alert
email_notification {
email = "alerts@example.com"
}
sms_notification {
phone_number = "+1234567890"
}
}
3: Terraform-Import durchführen
Navigieren Sie in Ihrem Terminal oder der Kommandozeile zu dem Verzeichnis, das Ihre Terraform-Konfigurationsdateien enthält. Führen Sie dann den folgenden Befehl aus:
"ilert_alert_source.example_alert_source" bezieht sich auf die Terraform-Ressource, die Sie in Ihrer ".tf"-Datei definiert haben. Ersetzen Sie <ALERT_SOURCE_ID> durch die tatsächliche ID der Alarmierungsquelle in ilert, die Sie zuvor notiert haben.
Wichtig: In 99 % der Fälle sind die Import Keys (identifiers) identisch mit der ID der Einheit. Es kann jedoch manchmal Abweichungen geben. Die Import Description finden Sie in der ilert-Dokumentation zum Terraform Provider am Ende jeder Ressource.
4: Konfiguration abschließen
Nachdem Sie den Import durchgeführt haben, erkennt Terraform die bestehende Alarmierungsquelle. Allerdings enthält die Konfigurationsdatei möglicherweise noch nicht alle Details.
Führen Sie einen "terraform plan" aus, um zu sehen, welche Informationen genau Terraform über die importierte Ressource erkennt. Dieser Befehl zeigt Ihnen den aktuellen Zustand der Ressource im Vergleich zu Ihrer Konfiguration.
Aktualisieren Sie den Ressourcenblock in Ihrer .tf-Datei basierend auf dem Ergebnis des terraform plan mit den entsprechenden Konfigurationen.
Indem Sie diese Schritte befolgen, können Sie erfolgreich eine bestehende ilert Alarmierungsquelle in Terraform importieren und sie als Teil Ihrer Infrastructure as Code (IaC)-Einrichtung verwalten. Dieser Prozess trägt zur Konsistenz bei, erleichtert Updates und integriert die Alarmierungsquelle in Ihr version-controlled Infrastructure Management.
Best Practices und Empfehlungen
Sollte man alle ilert-Entities über Terraform generieren? Wie automatisieren andere Teams die Einrichtung und Konfiguration ihrer Incident-Management-Workflows innerhalb eines IaC-Systems? Diese Fragen haben wir unserem CTO, Christian, gestellt.
Christian Fröhlingsdorf, CTO von ilert
„Das hängt weitgehend von der Struktur Ihres Unternehmens ab.
Wenn Sie ein zentrales Ops-Team haben, das Aufgaben wie User und Team Synchronization (über Terraform, API, SSO-Provisionierung usw.) übernimmt, könnten Sie theoretisch auch erwägen, dieses Team alle anderen Ressourcen verwalten zu lassen, insbesondere Richtlinien, Alert Sources und Alert Actions.
Wir raten jedoch davon ab, wenn Sie mit unabhängigen Reaktionsteams arbeiten. Unserer Meinung nach ist es am Besten, wenn teamrelevante Ressourcen von den Teammitgliedern selbst verwaltet werden. In größeren Organisationen sehen wir auch Teams mit DevOps Skills, die dies individuell durch ihre eigenen Terraform-Konfigurationen verwalten, andere Teams nutzen ausschließlich die ilert-Benutzeroberfläche.
In Fällen, in denen die Reaktionsteams nichts direkt mit den Ressourcen zu tun haben und sich nur mit Alarmierungen und Störungen beschäftigen, oder in Organisationen, in denen die Anzahl der Alarmierungsquellen überschaubar ist, sehen wir auch Kunden, die vollständige Terraform-Konfigurationen für alle Ressourcen in Ihrem Account verwenden.
Es gibt sogar Setups, bei denen Ops-Teams das ilert-Onboarding vollständig automatisiert haben, beginnend mit der Zuweisung der richtigen Eskalationsrichtlinie zu jeder Alarmierungsquelle, zum Beispiel auf Grundlage von Prometheus-Labels. Andere DevOps-Teams reichen Pull-Requests an das Terraform-Repository ein, um sich selbstständig über GitHub-Aktionen zu provisionieren.
Ich persönlich glaube, dass auch zentrale Ops-Teams davon profitieren, wenn Reaktionsteams die Verantwortung für ihre eigenen Alarmierungsquellen und Services übernehmen, da dies zu einer stärkeren Auseinandersetzung mit der Plattform und in Folge zu besseren Workflows und schnelleren Reaktionszeiten führt.“
Wir freuen uns, Ihnen eine weitere Integration aus dem Bereich des Industrial Internet of Things (IIoT) in unseren Leistungsumfang vorstellen zu können! Mit der nahtlosen Integration von Ubidots in ilert können Sie Ihre Betriebsabläufe optimieren, Maschinenausfallzeiten reduzieren und Ihre Gesamteffizienz steigern.
Was ist Ubidots?
Ubidots ist eine innovative IoT-Plattform (Internet of Things, Internet der Dinge), die es Nutzern ermöglicht, Daten von ihren Geräten und Sensoren zu sammeln, zu analysieren und zu visualisieren. Die Plattform bietet Tools zum Erstellen von IoT-Anwendungen, einschließlich Datenvisualisierung in Echtzeit, cloudbasierter Datenspeicherung und erweiterter Datenanalyse.
Nutzer können ihre Hardware mit der Ubidots-Plattform über HTTP, MQTT, TCP, UDP oder durch das Parsen von benutzerdefinierten/ industriellen Protokollen verbinden.
Ganz gleich, ob Sie eines oder tausend Geräte mit Ubidots überwachen möchten — die Integration funktioniert für beides gleichermaßen gut.
Ubidots ist für zahlreiche Anwendungsbereiche geeignet: Beispielsweise können Unternehmen damit die Luft- und Wasserqualität überwachen, den Standort und Status von teuren Anlagen verfolgen, den Verbrauch und die Produktion von Energieressourcen optimieren und vieles mehr.
So können Ubidots-Nutzer von der Integration mit ilert profitieren
Beispiel: Ein Fertigungsunternehmen setzt Ubidots zur Überwachung der Leistung seiner Maschinen ein.
Sensoren an wichtigen Geräten sammeln Daten in Echtzeit und liefern so Informationen über Betriebsbedingungen und Leistungskennzahlen. Durch die Verbindung von Ubidots mit ilert wird sofort eine Warnung über mehrere Kanäle versendet, wenn ein ungewöhnliches Muster erkannt wird — etwa ein Temperaturanstieg oder vermehrte Schwingungen, die auf einen möglichen Ausfall hinweisen könnten.
Der zuständige Techniker erhält die Alarmierung per SMS und Telefonanruf, so dass er auch dann über das Problem informiert wird, wenn sein Telefon stummgeschaltet ist. Er kann schnell reagieren, das Gerät überprüfen und notwendige Wartungsarbeiten durchführen, bevor eine Störung eintritt.
Nach der Behebung des Problems kann das Team den detaillierten Post-Incident Report von ilert durchgehen, um die Ursache für die Störung zu erkennen und Maßnahmen zu ergreifen, mit denen zukünftige Störungen vermieden werden können.
Dank der Integration von Ubidots in ilert können Fertigungsunternehmen schneller und effizienter auf Störungen reagieren.
Hier sind einige der wichtigsten Features der Integration:
Aussagekräftige Alarmierungen: Bei einem Problem mit einer Maschine oder einem Sensor erhalten die Nutzer der ilert-Integration für Ubidots Alarmierungen in Echtzeit, die sofort umsetzbar sind. Sie können eine Alarmierung annehmen oder an einen anderen Techniker weiterleiten, ohne sich in ilert einzuloggen.
Live-Dashboards: Dank der Drag-and-Drop-Dashboards von Ubidots und dem breiten Angebot an Widgets wird aktives Monitoring intuitiv und einfach. Verlegen Sie Ihre SCADAs in die Cloud und halten Sie von überall aus Kontakt mit Ihrem Betrieb.
Automatisiertes On-Call Management: ilert macht manuellen Aufwand überflüssig und hilft somit, die Fehler, die mit der Verwaltung von Bereitschaftsdiensten verbunden sind, zu vermeiden. Dienstpläne sind immer direkt verfügbar, und dank automatischer Erinnerungen verpassen die Nutzer nie einen Bereitschaftsdienst.
Status-Seiten: Ubidots-Kunden können Stakeholder ganz einfach über den Status von Maschinen über private und öffentliche Statusseiten von ilert auf dem Laufenden halten. ilert-Status-Seiten kommunizieren Störungen selbsttätig. Darüber hinaus gibt es verschiedene Authentifizierungsoptionen für die Zugangsverwaltung, wie zum Beispiel E-Mail-Login ohne Passwort oder Whitelisting von IP-Adressen.
AIOps: Für diejenigen, die eine große Anzahl von Geräten verwalten und regelmäßig viele Alarmierungen handlen müssen, können das Intelligent Alert Grouping und die Filtermöglichkeiten von ilert helfen, die Masse an Alarmierungen zu reduzieren und die Ressourcen der Techniker besser zu einzuteilen.
Die Integration von ilert mit Ubidots bringt ein neues Maß an Effizienz und Reaktionsfähigkeit in Ihre IoT-Überwachung und Ihr Incident-Management. Wenn Sie neu bei Ubidots sind, können Sie hier eine kostenlose 30-Tage-Testversion starten.
Für weitere Informationen zur Einrichtung dieser Integration besuchen Sie unseren Integrationsleitfaden.
Wir verwenden Cookies, um Ihre Erfahrung zu verbessern, den Seitenverkehr zu verbessern und für Marketingzwecke. Erfahren Sie mehr in unserem Datenschutzrichtlinie.
