AI Consulting
Artificial Intelligence Consulting für KMU
Bei Cybershark bieten wir maßgeschneiderte KI-Lösungen an und beraten Sie unabhängig. Das bedeutet, wir verdienen nicht an der Vermittlung von Produkten, sondern beraten Sie auf Basis Ihrer aktuellen Situation, um die passende KI-Lösung zu finden, die optimal zu Ihrem Unternehmen passt. Unser Artificial Intelligence Consulting umfasst Lösungen, die speziell auf Ihre Branche und Ihr Unternehmen zugeschnitten sind, sodass wir Ihre Prozesse automatisieren und Ihnen langfristig eine Produktivitätssteigerung ermöglichen können. Dabei vergleichen wir Open-Source- und Closed-Source-Lösungen, die je nach Bedarf und Use Case geeignet sind.
Unser Team aus KI-Experten arbeitet eng mit Ihnen zusammen, um Ihre individuellen Anforderungen zu verstehen und die besten KI-Lösungen zu entwickeln. Unser Artificial Intelligence Consulting beinhaltet die Analyse, Planung, Konzeption, Implementierung sowie die Wartung Ihres KI-Projekts.
Wir unterstützen Sie bei der Identifizierung von Einsatzmöglichkeiten für KI in Ihrem Unternehmen und erarbeiten gemeinsam mit Ihnen eine maßgeschneiderte KI-Strategie. Der untenstehende Ansatz zeigt Ihnen, wie unsere Consultants vorgehen, um Ihnen eine KI-Lösung für Ihr KMU zu sichern.
Der Cybershark Ansatz
Phase 1: Business Understanding
Das Business Understanding ist ein entscheidendes Element im Artificial Intelligence Consulting und zielt darauf ab, herauszufinden, wo Chancen liegen, Ihr Unternehmen in eine AI Factory zu transformieren. Je nach Branche kommen unterschiedliche KI-Systeme zum Einsatz, wobei Faktoren wie Datenschutz und IT-Sicherheit eine grosse Rolle spielen. Ziel ist es, zu definieren, welche Rolle Ihr Unternehmen als AI Factory künftig im Markt übernehmen kann und wie es sich dort positionieren sollte, um die generierten Daten gezielt zu nutzen. Dadurch können Sie sich einen Wettbewerbsvorteil sichern und durch vollautonome Systeme in Echtzeit agieren.
Phase 2: Data Understanding
In der entscheidenden Phase von Data Understanding werden die Qualität und Relevanz der Daten sorgfältig geprüft, um mögliche Lücken oder Unstimmigkeiten zu identifizieren. Dies stellt sicher, dass die anschliessende Modellierung des KI-Modells auf einer soliden Datengrundlage basiert. Zudem ermöglicht eine gründliche Datenanalyse ein tieferes Verständnis der zugrunde liegenden Muster und Zusammenhänge, die für die Entwicklung präziser und effektiver KI-Modelle unerlässlich sind. Unsere KI-Experten analysieren im Detail, wie die Rohdaten Ihres Unternehmens in nutzbare Formate umgewandelt werden können, die als Grundlage für das KI-System dienen. Denn das KI-Modell wird anschliessend auf diesen Daten trainiert, um hochqualitative Ergebnisse zu erzielen.
Phase 3: Data Preparation
In dieser Phase widmen wir uns der Vorbereitung des Datensatzes. Entscheidend ist, besonders auf die Datenlabels zu achten. Eine präzise und konsistente Kennzeichnung gewährleistet, dass die Daten korrekt interpretiert werden, und verbessert die Genauigkeit und Zuverlässigkeit der späteren Modelle. Nur durch sorgfältige Datenvorbereitung kann sichergestellt werden, dass das KI-Modell hochqualitative Ergebnisse liefert und einen Mehrwert schafft.
Phase 4: Evaluation & Modeling
Die Kombination unserer jahrelangen Erfahrung, hochpräzisen Analyse und flexiblen Herangehensweise ist in der Phase Evaluation & Modeling von entscheidender Bedeutung. In diesem Schritt wird das optimale Modell für den jeweiligen Use Case evaluiert und modelliert. Der effektivste Ansatz besteht in einer systematischen Kaskadierung, die es uns ermöglicht, uns intensiv auf das ausgewählte KI-Modell zu konzentrieren und dieses iterativ zu verbessern. Wir setzen klare Meilensteine und arbeiten innerhalb eines strengen Zeitrahmens, um schnell ein robustes Grundgerüst zu entwickeln, das wir anschliessend weiter verfeinern und optimieren, um die bestmöglichen Ergebnisse für das Unternehmen zu erzielen.
Phase 5: Deployment
Die Deployment-Phase ist von zentraler Bedeutung, da wir uns nun der Umsetzung widmen und konkrete Ergebnisse für das KI-Projekt liefern. In diesem Schritt wird das trainierte KI-Modell in die bestehende und meist komplexe IT-Infrastruktur integriert, wobei Aspekte wie Skalierbarkeit, Datenschutz, IT-Sicherheit, Performance und Qualität im Vordergrund stehen. Unsere Experten stellen sicher, dass die Implementierung problemlos verläuft und die Systeme nahtlos mit den Geschäftsprozessen übereinstimmen. Zudem überwachen wir den Betrieb in Echtzeit, um etwaige Anpassungen schnell vornehmen zu können und den langfristigen Erfolg der KI-Lösung in Ihrer IT-Infrastruktur zu sichern.
Das Trainieren, Entwickeln und Bereitstellen von KI-Modellen zählt zu unseren Kernkompetenzen. Dabei legen wir besonderen Wert auf eine unabhängige KI-Beratung und eine Vielzahl zentraler Aspekte, welche massgebend für eine erfolgreiche KI-Lösung sind:
Auswahl des KI-Modells: Die Wahl des passenden Modells ist entscheidend für das Resultat Ihrer KI-Lösung. Wir analysieren Ihren Use Case im Detail, um danach das optimale Modell zu wählen, welches für Ihre Branche und Bedürfnisse abgestimmt ist. Um bestmögliche Resultate zu erzielen, ist bereits die Auswahl des richtigen KI-Modells entscheidend für den Erfolg Ihres Unternehmens.
Datenqualität: Die Grundlage jedes leistungsfähigen KI-Modells sind hochwertige, saubere und repräsentative Daten. Wir stellen sicher, dass die verwendeten Datensätze sorgfältig geprüft, aufbereitet und an die jeweiligen Anforderungen angepasst werden. Im Falle des Trainierens des Modells GPT-35-turbo beispielsweise müssen die Trainings- und Validierungsdaten im JSON-Format bereitstehen, damit diese wiederum von der Chatvervollständigungs-API verwendet werden können. Je mehr Daten zur Verfügung gestellt werden, desto besser.
Datenschutz: Der Schutz sensibler Daten hat für uns höchste Priorität. Wichtig ist die Klassifizierung der Daten im Vorfeld, so kann von Anfang an eine richtige Entscheidung getroffen werden, auf welche Daten die KI trainiert werden kann und auf welche nicht.
Cloud oder On-Premise: Unabhängig davon, ob Sie eine Cloud- oder On-Premise-Lösung wünschen, wir liefern Ihnen die gewünschte Lösung und beraten Sie auch beim Aufzeigen der Vor- und Nachteile beider Optionen. Bei einer Cloud-Lösung setzen wir auf Anbieter wie Microsoft Azure, Amazon Web Services oder andere Player.
Open-Source- oder Closed-Source-KI-Lösungen: Der Markt bietet unterschiedliche KI-Modelle an, die sich im Open-Source- oder Closed-Source-Bereich befinden. Der Unterschied liegt in der Offenlegung des Codes bei Open-Source-KI-Modellen. Wir bieten das Deployment und Training beider KI-Lösungen an und beraten Sie gerne bei der Evaluierung.
Kostenübersicht: Das zentrale Ziel der KI-Lösung ist die Automatisierung und die Transformation Ihres Unternehmens zu einer Firma der Zukunft: einer AI Factory. Dabei steht die Überwachung der Kosten im Fokus, insbesondere die präzise Kalkulation der Kosten im Vorfeld. Wir erstellen eine detaillierte Kalkulation, die sowohl die Projektplanung, Datenaufbereitung, KI-Entwicklung, das KI-Training als auch den KI-Betrieb in der Cloud- oder On-Premise-Lösung umfasst. So verfügen Sie über eine bessere Übersicht über Fixkosten sowie über laufende Kosten für den Betrieb Ihrer KI-Lösung.
IT-Sicherheit: In einer vernetzten Welt mit künstlicher Intelligenz hat der Schutz der eigenen Systeme vor Cyberbedrohungen höchste Priorität. Dank unserer langjährigen Erfahrung in IT-Security-Projekten bei verschiedenen Unternehmen stellen wir sicher, dass auch die Sicherheit Ihrer Systeme gewährleistet ist. Dabei setzen wir auf Best-Practice-Verfahren und vertrauen auf unser fundiertes, tiefgründiges Praxiswissen, das wir in zahlreichen IT-Projekten, unter anderem in der Finanzbranche, gesammelt haben.
Skalierbarkeit: Unsere KI-Modelle sind so konzipiert, dass Sie diese jederzeit skalieren können, sofern es sich um eine Lösung in der Cloud handelt. Cloud-Plattformen wie AWS, Google Cloud oder Microsoft Azure ermöglichen unseren Kunden eine skalierbare und wartungsfreundliche KI-Lösung, sodass Sie nur für die Ressourcen bezahlen, welche Sie auch wirklich nutzen.
KI Finetuning
Standardmässig hat ein Modell wie Llama von Meta nur Zugriff auf seine Schulungsdaten. Jedes KI-Modell kann jedoch erweitert werden, damit Echtzeitdaten in Form von Unternehmensdaten eingeschlossen werden. Dabei gibt es zwei Varianten, welche man wählen kann: RAG oder Feintuning.
RAG vs. Feintuning
Während RAG quasi den „Chat mit Ihren Daten“ aktiviert, wird als Grundlage ein grosser Teil von Daten, wie Dokumente, Textinhalte, Dokumentationen oder andere Daten verwendet, um die Antworten auf Benutzeraufforderungen zu generieren. In einem ersten Schritt wird eine Vektordatenbank erstellt, die die Einbettung von Dokumenten und Daten sicherstellt. Durch eine Datenpipeline wird auch sichergestellt, dass die Vektordatenbank Dateien im richtigen Format enthält, die für das LLM benötigt werden:
RAG: Chatten mit Ihren Daten
Damit Sie mit Ihren Daten chatten können, ist der Aufbau eines RAG-Systems unumgänglich. Damit das KI-System aber optimal funktioniert, ist es wichtig, einen strategischen Ansatz zu fahren, der sicherstellt, dass hochqualitative Ergebnisse erzielt werden. Hierfür hat Cybershark folgendes Vorgehen definiert, welches wir als Dienstleistung für unsere Kunden anbieten:
Vorbereiten Ihrer Daten: Saubere und genaue Daten sind essenziell für ein erfolgreiches RAG-System. Das Standardisieren von Textformaten, das Entfernen von nicht verknüpften und veralteten Inhalten, die Extraktion von Metadaten sowie die Behandlung der Sonderzeichen sind essenziell für jedes Unternehmen, bevor ein RAG-System aufgesetzt wird.
Chunking: Um die Relevanz der Inhalte zu verbessern, werden Teile eines Dokuments in kleinere Abschnitte aufgeteilt, durch das sogenannte „Chunking“. Somit wird sichergestellt, dass die Anfragen von Benutzern auch präzise beantwortet werden.
Strategische Organisation von Daten: Um effiziente Abrufe zu generieren, ist es wichtig, dass die Anzahl der Einträge, welche durchsucht werden, reduziert wird, indem zuerst der sogenannte Zusammenfassungsindex anvisiert wird. Abhängig von der Art der Daten werden auch unterschiedliche graphbasierte oder relationale Datenbanken verwendet.
Ausrichtungsoptimierung: Um die Genauigkeit und die Relevanz sicherzustellen, wird jedem Chunk eine hypothetische Frage beigefügt, welche die Frage aufzeigt, für deren Beantwortung der entsprechende Chunk am besten geeignet ist. So arbeitet der Algorithmus gezielter und ist mehr auf den Kontext bezogen, das heißt, die Antwortzeiten werden auch beschleunigt.
Retriever-Komponente: Die Retriever-Komponente stellt sicher, dass das System mit neuesten Informationen aktualisiert wird und vor allem der Zugriff auf diese Informationen sichergestellt wird. Hier gibt es verschiedene Arten: Echtzeitupdates, inkrementelle Updates, Snapshotting oder teilweise Aktualisierung.
Rückschlusspipeline: Hier geht es um die Lösung von Fertigstellungsproblemen, d.h. um die gezieltesten Fertigstellungen zu erhalten, müssen diverse Faktoren berücksichtigt werden, wie zum Beispiel, ob die Richtlinien eingehalten werden, ob die Abfrage des Benutzers richtig formuliert ist, sodass die Ergebnisse geliefert werden, nach denen gesucht wird, oder wie die Abfrageergebnisse modifiziert werden, sodass auch wichtige Details berücksichtigt werden.
Vorverarbeiten von Abfragen: In diesem Bereich werden Inhalte identifiziert, welche entfernt oder abgelehnt werden. Dies kann das Entfernen von personenbezogenen Inhalten, Jailbreak-Versuche oder Interaktionen von Benutzern in die Sicherheit, Ethik oder Betriebsrichtlinien beinhalten. Durch Richtlinienüberprüfungen oder Umformulieren der Abfragen oder auch durch das Step-back Prompting mittels Hypothetical Document Embedding (HyDE) werden wichtige Teile berücksichtigt, damit die LLM optimal funktioniert.
Unterabfragen & Abfragerouter: Wenn Fragen lang und komplex sind, können diese in Unterabfragen unterteilt werden, damit diese Antworten dann wiederum kombiniert werden. Die Kombination von Ergebnissen wiederum hilft dem KI-System, eine umfassendere Antwort zu generieren. Ein Unternehmen kann zudem Daten in mehrere Vektorspeicher oder in Abrufsysteme aufteilen. Der Abfragerouter selektiert dann die Datenbank, welche sich für das Beantworten der Benutzeranfrage am besten eignet.
Post-retrieval processing steps: Da der Einbezug von irrelevanten Informationen das Ergebnis negativ beeinflussen kann und wir auch das „Nadel-im-Heuhaufen-Problem“, welches viele LLMs haben, adressieren wollen, ist es wichtig, die Post-retrieval processing steps einzubinden, welche Filterergebnisse, Re-Ranking und die Prompt-Datenkomprimierung beinhalten.
Post-completion processing steps: Nach Abschluss der Vervollständigung der LLM erfolgt eine Faktenüberprüfung und Richtlinienüberprüfung, welche gemeinsam sicherstellen, dass eine richtige Identifikation gemacht wird, ob die Aussagen richtig sind, welche das Large Language Modell generiert. Außerdem wird zusätzlich sichergestellt, dass keine schädlichen Inhalte generiert werden.
Bewertungspipeline: Anhand der Bewertungspipeline werden Lücken aufgedeckt, wenn keine geeignete Dokumentation für die Antwort auf die Anfrage eines Benutzers vorhanden ist. Dieser Schritt ist notwendig, um die Qualität des Large Language Modells sicherzustellen.
Goldenes Dataset: Ein goldenes Dataset ist ein Datensatz, der häufig gestellte Fragen und Antworten beinhaltet. Dies beinhaltet auch Quelldokumente oder diverse Variationen wie unterschiedliche Formulierungen, um die Vielfalt der Art und Weise zu erfassen, wie Fragen von Usern gestellt werden.
Risikominimierung & Red Teaming: Durch Bewertung von Auswirkungen des KI-Systems werden Schadensmodellierungen durchgeführt, welche sicherstellen, dass Risiken wie Datenschutzverlust oder wirtschaftliche Ausbeutung entgegengewirkt wird. Zudem wird sichergestellt, dass mittels Simulation eines Angriffsszenarios Risiken wie Jailbreaking entgegengewirkt werden.
Finetuning
Nachdem ein Large Language Model mit einem großen Datensatz trainiert wurde, geht es beim Finetuning, auch Feinabstimmung genannt, darum, dass man das KI-Modell so trainiert, dass das Modell so angepasst wird, um spezifische Aufgaben besser zu erledigen.
Feinabstimmung ist gegenüber RAG vorzuziehen, wenn die folgenden Punkte zutreffen:
Die Performance des KI-Modells hat höchste Priorität.
Ihre Daten unterscheiden sich nicht groß von denen des Basismodells (Beispiel ChatGPT).
Die ständige Aktualisierung der Daten ist bei Ihnen zweitrangig.
Beim Finetuning gibt es verschiedene Ansätze, welche man wählen kann, damit die Performance nicht unnötig beansprucht wird:
PEFT (Parameter-efficient-fine-tuning): Beim Parameter-Efficient-fine-tuning werden dem Basismodell zusätzliche Modellgewichte hinzugefügt, welche dann wiederum trainiert werden, anstelle dass das gesamte Basismodell von Grund auf trainiert wird.
DoRa (Weight-Decomposed-Low-Rank-Adaption): DoRa trainiert gegenüber dem Full Finetuning nur die zusätzlichen Modellgewichte und nicht das gesamte Large Language Modell, wie das auch bereits bei PEFT (Parameter-efficient-fine-tuning) der Fall ist. Gegenüber PEFT kommt aber ein zusätzliches Verfahren hinzu, welches das vortrainierte Modellgewicht in Größen- und Richtungskomponenten aufteilt, sodass diese dann wiederum gefintuned werden. Durch die Zerlegung in die beiden Komponenten wird die Effizienz gesteigert und die Lernkurve ist größer als bei LoRa (Low-Rank Adaptation of Large Language Models).