LLMS selbst trainieren for the GPU poor

Das Trainieren der offenen LLMs wie LLama oder Mistral ist im vergangenen Jahr deutlich einfacher geworden, bringt aber gleichzeitig viele Varianten mit sich. Zu klassischem supervised Finetuning kam low rank adaption, dazu Quantisierung, darauf folgten Direct Preference Optimization und Merging. Die neue Vielfalt der Werkzeuge sorgte nicht nur für einen unerwarteten Variantenreichtum an offenen Modellen, sondern erlaubt es auch jedem von uns, sein eigenes Modell zu erzeugen und zu trainieren, ohne dafür gleich ein Vermögen auszugeben. Wir stellen die Konzepte vor und zeigen, wie man mit einem Nachmittag Arbeit sein eigenes deutschsprachiges Modell erzeugt.

KI Navigator: Hitchhikers Guide

Wir haben jetzt CompanyGPT gelaunched und arbeiten gerade an internen RAG. Wir haben auch erste Pilotteams, die da Vorreiter sind, und einen Arbeitskreis, der mit AWS über Ki spricht. Sind wir damit dann durch?

LLM Security

LLM Security the Update

The End of user centric product development

As a product owner i want to use AI so i won't get replaced by AI.

KI vs Strategie

Kein Thema erfährt im Moment so viel Support, Fokus und Investment wie künstliche Intelligenz. Oft ist das Ergebnis in den echten Unternehmenszahlen aber ernüchternd. Woran liegt das, und wo und wie passiert die Industrialisierung der Wissensarbeit wirklich?

AI Applikationen mit ROI

Kein Thema erfährt im Moment so viel Support, Fokus und Investment wie künstliche Intelligenz. Oft ist das Ergebnis in den echten Unternehmenszahlen aber ernüchternd. Woran liegt das, und wo und wie passiert die Industrialisierung der Wissensarbeit wirklich?

Hitchhikers Guide zu AI in Unternehmen

Wir haben jetzt CompanyGPT gelaunched und arbeiten gerade an internen RAG. Wir haben auch erste Pilotteams, die da Vorreiter sind, und einen Arbeitskreis, der mit AWS über Ki spricht. Sind wir damit dann durch?

Von Ephemeral Code und unmenschlichen Scrum-Teams

Traut man Bill Gates, Sam Altman oder Y-Combinator, dann wird der Softwaretypus Agent in Zukunft die Hauptrolle in Generative AI spielen, und nicht Chat, Bildgenerierung und CoPilots. Im Gegensatz zu den letzteren sind sie bisher nicht allgemein akzeptierter Mainstream, sondern Spielwiese der Early Adopter und Startups. Dort zeigt sich aber schon, wie grundlegend sich Softwareentwicklung gerade ändert. Wir stellen die Konzepte hinter und die Funktionsweise von Agenten vor und was das für den Code der Zukunft bedeutet. Und wir lassen ein Team von Softwareagenten im Hintergrund agil eine Software entwickeln.

LLMs im Selbstbetrieb

Wenn man über AI nicht nur redet, sondern es macht, dann merkt man schnell, dass es eine ganz normale Technologie ist, mit den ganz normalen Aufgaben, die mit dem Betrieb einhergehen. Auf welche technische Plattform setzt man? On Premises, in der eigenen, in der fremden Cloud oder as a Service? Wie skaliert man LLms elastisch, wie baut man Pipelines zu Training und Finetuning auf? Wir geben einen Überblick über die sich rasant entwickelnde Welt der Werkzeuge für offene LLMs, und mit welchen Hürden man heute noch rechnen muss.

wasmCloud

WasmCloud ist eine verteilte Runtime zum Erstellen von Cloud-Native-Anwendungen. Seit der Version 1.0 laufen Applikationen universell portabel und direkt aus der Programmierung heraus ohne weiteren Aufwand auf allen Devices, von Cloud bis Edge. Skalierbarkeit, hybdride Cloud und Self-Healing, Security mit Zero Trust, Effizienz in Ressourcen- und Netzwerknutzung liegen in der Architektur begründet und sind selbstverständlich. In seinem Vortrag stellt Johann-Peter Hartmann die Konzepte von wasmCloud und ihre Anwendung in der Praxis vor und zeigt, für welche Applikationen wasmCloud bereits heute eine gute Wahl darstellt.

From PoC to Production

Phases of AI development in startups and companies.

LLMs selbst auf Deutsch trainieren

Das Trainieren der offenen LLMs wie LLama oder Mistral ist im vergangenen Jahr deutlich einfacher geworden, bringt aber gleichzeitig viele Varianten mit sich. Zu klassischem supervised Finetuning kam low rank adaption, dazu Quantisierung, darauf folgten Direct Preference Optimization und Merging. Die neue Vielfalt der Werkzeuge sorgte nicht nur für einen unerwarteten Variantenreichtum an offenen Modellen, sondern erlaubt es auch jedem von uns, sein eigenes Modell zu erzeugen und zu trainieren, ohne dafür gleich ein Vermögen auszugeben. Wir stellen die Konzepte vor und zeigen, wie man mit einem Nachmittag Arbeit sein eigenes deutschsprachiges Modell erzeugt.

Compact class dynamics in IT

The it sector, especially in the small and startup branch, was always known to be very fast and adaptable. But there are already quite a lot of signs that this is changing.

Von Diven, Souffleusen und Regie 2024

Wenn Wissensarbeit digital wird, wenn Kreativität, wenn Kommunikation und die Bearbeitung von Dokumenten etwas wird, was Computer schneller, preiswerter, besser und detaillierter machen können – was bedeutet das für uns Softwaremenschen? Natürlich entstehen und laufen diese Lösungen nicht von alleine – zumindest bisher nicht. Es wird also Arbeit für uns geben, aber es ist eine andere Arbeit. Wie ändert sich unsere Aufgabe, wenn die Prophezeihungen der Universitäten, der Firmen und der großen Beratungen stimmen; wenn Wissensarbeit nicht mehr durch Menschen, sondern durch autonome Agenten geschieht? Was machen wir humanoiden Lebensformen, wenn uns die Hauptrolle genommen wird? Und wie baue ich einen Agenten, der meine Arbeit macht?

Wie AI die interne IT beeinflusst

Traut man den Studien der großen Unternehmensberatungen und den Early Adoptern, so ändert AI die Art, wie wir Wissensarbeit machen, deutlich. Nach dem Cheap Wins durch die Nutzung von ChatGPT und CoPiloten stellen sich die Fragen: Was bedeutet das konkret für die eigene IT-Infrastruktur? Worauf muss ich mich vorbereiten? Was hilft mir, was bremst mich eher aus? Wir zeigen anhand von Beispielen, wie eine weitgehende Automatisierung von Wissensarbeiten mit AI aussieht, welche Aufgaben sich daraus ergeben, und wie man früh selbst davon profitieren kann.

Von Diven, Souffleusen und Regie

Wenn Wissensarbeit digital wird und Computer Kreativität, Kommunikation und die Bearbeitung von Dokumenten schneller, preiswerter, besser können: Was bedeutet das für uns Software-Menschen? Natürlich entstehen und laufen diese Lösungen nicht von alleine – zumindest bisher nicht. Wie ändert sich unsere Aufgabe, wenn die Prophezeiungen der Universitäten, der Firmen und der großen Beratungen stimmen? Wenn Wissensarbeit nicht mehr durch Menschen, sondern durch autonome Agenten geschieht? Was machen wir, wenn uns die Hauptrolle genommen wird?

Offene AI statt OpenAI

Aus der ursprünglichen Vision von OpenAI, AI offen und für jeden zugänglich zu machen, ist Microsofts wichtigstes kommerzielles Produkt geworden. Aber was ist, wenn ich selbst diese Vision noch habe und meine AI selbst betreiben möchte? Da stehen meine Chancen gut, wenn man internen Quellen von Google und Meta trauen kann. Mit LLama und Falcon wurde gezeigt, dass man offene Modelle in ähnlicher Kampfklasse selbst betreibbar sind, und viele andere Initiativen sorgen dafür, dass Daten und Trainingsmaterial in mehr als ausreichender Menge bereitstehen. Wir zeigen, was heute schon lokal mit Consumer-GPUs geht, wie weit es von GPT-4 in Funktionalität und Geschwindigkeit noch entfernt ist und was wir zu erwarten haben.

Autonome Agenten mit Langchain

Das Ende nutzerzentrierter Produktentwicklung

Wer AI naiv in Form von ChatGPT oder als Chatbot oder CoPilot einsetzt, ändert zwar wenig, verpasst aber die großen Nutzenpotentiale. Dort, wo AI in Form autonomer Agenten selbstständig arbeitet, dort, wo der Mensch als "Human as a Tool" nur bei Bedarf einbezogen wird, dort, wo die AI eigenes Wissen über die Arbeit aufbaut, dort, wo der Mensch nur beobachtend und korrigierend eingreift - da funktionieren die klassischen Ansätze der PO-Arbeit nicht mehr. Denn hier ist nicht mehr der Mensch in der Prozessführung, und Konzepte wie User Stories und Personas sind fehl am Platz.  Glücklicherweise bietet der agile Werkzeugkasten noch eine Reihe von Werkzeugen, die auch dann funktionieren, wenn die Hauptrolle nicht mehr dem User gehört. 

Der Cloud-native Product Owner

Die Kostenstruktur von modernen Architekturen ist eine völlig andere als bei klassischen Applikationen. Wo früher die Infrastruktur im Rahmen eines großen Budgets "eh da" war, entsteht sie heute Sprint für Sprint, und das Team selbst entscheidet mit der Entscheidung über Cloudinfrastruktur und eingebundenen Services, wie viele Stellen die Betriebskosten haben. Damit wird einer der größten Kostenfaktor in der IT zum Spielball der Teams, und der im Team generierbare Wert für den Kunden ist unmittelbar betroffen. Wie gehe ich als PO damit um? Wie bilde ich diese operativen Kosten in meine Priorisierung ab, und wie komme ich überhaupt an die nötige Information?

Autonome Agenten

Autonome Agenten mit LangChain

deck

Copy of LLMOps

Die ganze Welt redet über AI, und meint damit im Moment vor allem LLMs, die Large Language Models.  Aber was bedeuten sie für Operations und Cloud? Welches Model nehme ich, was muss ich dabei beachten? Wie betreibe ich solche Modelle selbst, und wie mache ich FinOps, wenn ich nach Token bezahle? Wie sieht Observability bei LLMs aus, und was muss ich beachten, wenn ich meine eigenen Modelle trainieren will?  Wir geben einmal die Breitseite über alles, was den Betrieb von LLMs angeht, von Privacy über FineTuning zu Kosten.

LLMOps

Die ganze Welt redet über AI, und meint damit im Moment vor allem LLMs, die Large Language Models.  Aber was bedeuten sie für Operations und Cloud? Welches Model nehme ich, was muss ich dabei beachten? Wie betreibe ich solche Modelle selbst, und wie mache ich FinOps, wenn ich nach Token bezahle? Wie sieht Observability bei LLMs aus, und was muss ich beachten, wenn ich meine eigenen Modelle trainieren will?  Wir geben einmal die Breitseite über alles, was den Betrieb von LLMs angeht, von Privacy über FineTuning zu Kosten.

Code

Zero Trust

In Deutschland haben Cloud-Technologien immer noch ein Vertrauensproblem. Die gefühlte Sicherheit ist kleiner, wenn der Server nicht im eigenen Rechenzentrum steht, und behält die kritischen Daten lieber bei sich. Dabei bietet moderne Cloud-Technologien wie ZeroTrust, CryptoShredding, Data Tagging und der Shift Left viel mehr Sicherheit, Auditfähigkeit und Vertrauenswürdigkeit als es altbackene Firewall-Zonen, Serverschränke und Penetration-Tests bieten könnten.

Copy of Teamstrukturen für Softwaremodernsierung

OKR mit Sinn und Spaß

Coole Technik zum angucken

Laws of UX

Teamstrukturen für Softwaremodernsierung

OWasp Top 10

Software-Modernisierung Grundlagen

Was ist "state of the art" in der IT? Wie finde ich für mich heraus, wie ich mit meiner eigenen Organisation im Verhältnis dazu stehe? Warum will ich überhaupt diesen Abgleich schaffen? Und letztlich: Was brauche ich, um den Sprung in die moderne Welt zu schaffen

Kompetenzentwicklung

Adopts / Holds Techradar 25

Copy of Modernisierungsvorhölle

Modernisierung und Teams

Slides für das WueWW Agile XXL Meetup zum Thema Software-Modernisierung am 26. Oktober 2021.

Copy of Moderne Software Architekturen im Cloud Native Context

Slides für das WueWW Agile XXL Meetup zum Thema Software-Modernisierung am 26. Oktober 2021.

API Design

No REST for the Wicked

Team Topologies vs Product Owners

Softwarearchitektur für Product Owner

Team Topologies

Modernisierungshölle Organisation und Product

Modernisierungshölle Dev &SM

S3 Domänen- beschreibungen

Architectural Decision Records

OKR WIns

Team Setups für Modernisierung