Kontrola LLMow z Amazon Bedrock Guardrails
Piotr Grzesik
Silesia AI #16
21.11.2024
Agenda
- Problemy z LLMami
- Z czym mogą nam pomóc "guardrails"
- Amazon Bedrock
- Amazon Bedrock Guardrails
- Demo
- Alternatywne rozwiązania
Problem
LLMy są świetnym i bardzo potężnym kawałkiem technologii, ale czasem sprawia to, że korzystanie z nich jest problematyczne, ponieważ:
- Potrafią zrobić więcej niż to koniecznie (np. napisać wierszyk na dowolnie wybrany temat)
- Nie zawsze zwracają prawidłowe rezultaty
- Mimo wbudowanych ograniczeń, czasami zdarza im się odpowiadać w dziwny lub niepokojący sposób
Problem
Często, gdy budujemy rozwiązanie komercyjne, pojawiają się wymagania takie jak:
- Model powinien poruszać się tylko w granicach tematyki np. naszej oferty (bez generowania bzdur na dowolne tematy)
- Model powinien unikać np. udzielania informacji o konkretnych osobach (usuwać dane wrażliwe)
- Model powinien unikać wspominania nazwy np. konkurencyjnych firm
- Model powinien być odporny na wszelkiego rodzaju metody jailbreaków i prompt injection
- Model powinien wystrzegać się jakikolwiek biasów np. politycznych
Guardrails na pomoc
Aby osiągnąć te cele i uniknąć stania się kolejnym viralem, możemy skorzystać z tzw. "guardrails", które pomogą nam:
- Filtrować niechciane tematy
- Blokować potencjalnie nielegalne treści
- Ukrywać informacje wrażliwe
- Weryfikować zwracane treści
- Chronić przed próbami "jailbreak/prompt injection"
Guardrails na pomoc
Guardrails a prompt engineering
Często te dwie techniki idą w parze, natomiast dzięki guardrails zyskujemy większą niezależność od działania samego modelu, możemy wychwytywać też problematyczne treści zanim w ogóle prompt trafi do modelu, a także możemy dodatkowo walidować czy filtrować to co model nam wygeneruje.
Amazon Bedrock
- Zestaw usług na platformie AWS pozwalający na budowę aplikacji opartych o Gen AI
- Wspiera modele od różnych dostawców (m.in. Anthropic, Meta, Stability) w formie API
- Pozwala na budowę architektury RAG z Knowledge Bases
- Pozwala na budowę systemów agentowych dzięki Bedrock Agents
- Jest wspierany przez większość popularnych frameworków jak LlamaIndex, LangChain, etc
Amazon Bedrock Guardrails
Funkcjonalność Amazon Bedrock, pozwalająca na definiowanie "guardrails" dla wykorzystywanych modeli. Wspiera m.in. filtrowanie tematów, słów kluczowych, anonimizację danych, blokadę jailbreak/prompt injection.
Konfiguracja
Konfiguracja
Konfiguracja
Konfiguracja
Konfiguracja
Konfiguracja
Konfiguracja
Efekty działania guardrails
Efekty działania guardrails
Efekty działania guardrails
Efekty działania guardrails
Efekty działania guardrails
Logi
Alternatywy
Oczywiście, Amazon Bedrock Guardrails mimo wygodnej implementacji, ma swoje ograniczenia do platformy Amazon Bedrock. Oprócz niego, dostępne są alternatywy takie jak Guardrails AI czy NeMo Guardrails.
Guardrails AI Hub
