Wiedza w firmie.
Udostępniana przez RAG.
Odpowiedzi z przejrzystymi źródłami zamiast kolejnego repozytorium: DAXS łączy dokumenty, wyszukiwanie i modele językowe w rozwiązanie uwzględniające aktualność i istniejące prawa dostępu.
Odpowiedź powinna prowadzić do zatwierdzonych źródeł.
Instrukcja pracy znajduje się w systemie dokumentów, wskazówka techniczna w dokumentacji wewnętrznej, a ostatnie uzupełnienie w zgłoszeniu. Odpowiednie wyszukiwanie wiedzy może udostępniać te źródła i zrozumiale składać odpowiedzi. DAXS planuje i integruje takie rozwiązania wraz z importem danych, wyszukiwaniem, prawami użytkowników i bieżącym utrzymaniem.
Retrieval-Augmented Generation, w skrócie RAG, łączy wyszukiwanie z modelem językowym. Wyszukiwanie odnajduje odpowiednie treści; model otrzymuje wybrane fragmenty jako kontekst i formułuje odpowiedź. W typowym RAG wagi modelu nie są trenowane z każdym nowym dokumentem. Zasób wiedzy i model odpowiedzi pozostają odrębnymi elementami.
Dokumentacja wewnętrzna
Łatwiejsze odnajdywanie zatwierdzonych podręczników i instrukcji, podsumowywanie odpowiedniego fragmentu i otwieranie miejsca źródłowego.
Wiedza wsparcia
Odnajdywanie znanych rozwiązań zgłoszenia i przygotowanie sprawdzalnego szkicu odpowiedzi. Granice klientów i tenantów pozostają częścią wyszukiwania.
Procesy pracy
Zebranie informacji z odpowiednich dokumentów projektowych lub zasad na potrzeby konkretnego kroku. Zatwierdzenie merytoryczne zależy od zastosowania.
Import i zapytanie to dwa utrzymywane przepływy danych.
Przy imporcie opracowywane są treści, powiązanie ze źródłem i uprawnienia. Przy pytaniu usługa określa tożsamość użytkownika i przeszukuje dozwolony zasób. Dopiero odpowiednie, dopuszczone wyniki są zestawiane do odpowiedzi.
Architekturę można zrealizować z modelami lokalnymi lub zewnętrznymi. Dozwolone ścieżki danych dla embeddingów, rerankingu i generowania odpowiedzi sprawdza się osobno. Lokalny indeks wyszukiwania nie oznacza, że wszystkie późniejsze etapy przetwarzania również odbywają się lokalnie.
Dobre wyszukiwanie zaczyna się przed pierwszym promptem.
Import dokumentu wczytuje więcej niż nazwę pliku. Sprawdzamy obsługiwane formaty, rozpoznawanie tekstu, tabele i przejrzystą strukturę dokumentów. Niepotrzebne duplikaty i stare szkice nie powinny niepostrzeżenie konkurować z aktualną instrukcją pracy.
| Krok | Zadanie | Ważne powiązanie |
|---|---|---|
| Import i porządkowanie | Podłączanie odpowiednich źródeł, wyodrębnianie treści i ich uporządkowane przygotowanie. | Zachować ID źródła, wersję, stan czasowy i właściciela; uwidocznić błędy i nieczytelne dokumenty. |
| Dzielenie na fragmenty | Podział dokumentów na sensownie użyteczne fragmenty. | Uwzględnić nagłówki, tabele i kontekst merytoryczny. Każdy fragment potrzebuje powiązania ze źródłem i jego uprawnieniami. |
| Embeddingi i indeks | Reprezentowanie treści do wyszukiwania semantycznego i zapis z metadanymi wyszukiwania. | Wersjonować wspólnie model embeddingowy i indeks. Wektory i dane pochodne również mogą wymagać ochrony. |
| Wyszukiwanie hybrydowe | Łączenie podobieństwa semantycznego z odpowiednim wyszukiwaniem pełnotekstowym i słów kluczowych. | Dokładne numery produktów lub terminy branżowe i pytania o podobnym znaczeniu mają różne potrzeby wyszukiwania. |
| Wybór i reranking | Porządkowanie i ograniczanie dozwolonych wyników dla konkretnego pytania. | Przekazywać dodatkowemu rerankerowi wyłącznie dozwolone informacje; uwzględnić usługę i zatwierdzenie danych. |
| Odpowiedź i miejsca źródłowe | Przekazanie ograniczonego kontekstu modelowi, zrozumiała odpowiedź i podłączenie źródeł. | Miejsce źródłowe, wersja i dostęp użytkownika muszą pasować do wyniku. Samo wskazanie źródła nie dowodzi, że każde stwierdzenie prawidłowo z niego wynika. |
Wyszukiwanie wiedzy nie może omijać istniejących uprawnień.
Pracownik bez dostępu do dokumentu nie może otrzymać jego poufnych treści również w podsumowaniu. Kontekst użytkownika i grup pochodzi więc z zaufanego logowania. Aplikacja nie może polegać na nazwie użytkownika podanej przez model lub dowolnie dołączonym filtrze wyszukiwania.
Zależnie od systemu źródłowego i platformy wyszukiwania można stosować przeniesione ACL, filtry ustawiane po stronie serwera lub dodatkowe kontrole obiektowe. Dla szczególnie wydzielonych zasobów danych może być właściwy osobny indeks. Decyduje cały łańcuch: import, odwzorowanie praw, wyszukiwanie, przekazywanie wyników, cache i rzeczywiście otwierane źródło.
Dobry prompt nie zastępuje brakujących uprawnień.
Przy niejasnej tożsamości, brakujących informacjach o uprawnieniach lub nieaktualnych zatwierdzeniach ścieżka danych musi zostać zamknięta zgodnie z uzgodnioną ochroną. Tekst dokumentu trafia do rerankera i kontekstu modelu dopiero po udanej kontroli. Także listy wyników, nazwy plików i cache odpowiedzi nie mogą ujawniać cudzych informacji.
Wyraźnie testujemy odrębne role użytkowników, cofnięte prawa grup i innych tenantów. Źródło dokumentów może również zawierać zmanipulowane instrukcje. Traktuje się je jako treść źródłową, która nie nadaje praw do narzędzi. Jeśli wyszukiwanie wiedzy ma też wywoływać działania, otrzymuje osobno zaplanowany kontrolowany interfejs.
Nowe treści, usunięcia i zmiany praw tworzą całość.
Raz wczytany folder nie pozostaje automatycznie aktualny. Ustalamy wykrywanie zmian, ponawianie błędów i usuwanie przestarzałych wpisów. Obejmuje to nowe wersje, usunięte pliki, cofnięte prawa, zmienione linki udostępniania i odejścia pracowników.
- Synchronizacja: odpowiednie konektory, zdarzenia lub planowane porównania z przejrzystym stanem obsługi.
- Powiązanie ze źródłem: stabilne ID i wersje, aby wskazania nie prowadziły przypadkowo do innej wersji dokumentu.
- Koncepcja usuwania: uwzględnić fragmenty indeksu, embeddingi i cache; osobno uzgodnić reguły przechowywania kopii zapasowych.
- Utrzymanie: umożliwić wykrywanie niedziałających importów, błędnego przeniesienia praw i nieoczekiwanie starych danych.
Uzgadniamy również obsługę przestarzałego lub niedostępnego systemu źródłowego. Ostrzeżenie, ograniczona odpowiedź lub czasowe wyłączenie danych zasobów może lepiej odpowiadać ochronie niż pozornie aktualna informacja.
Osobno sprawdzać jakość wyników wyszukiwania i odpowiedzi.
Płynnie sformułowana odpowiedź może opierać się na niewłaściwym lub niepełnym źródle. Sprawdzamy więc, czy wyszukiwanie w ogóle znajduje potrzebne informacje, czy dozwolony kontekst wystarcza i czy odpowiedź prawidłowo je oddaje.
Znane pytanie
Zatwierdzone pytanie z udokumentowanym źródłem. Wspólna kontrola znalezionego fragmentu, właściwej wersji i odpowiedzi poprawnej merytorycznie.
Brak odpowiedniego źródła
System powinien wskazać brak informacji i zaproponować sensowną dalszą drogę zamiast wymyślać pozornie udokumentowaną odpowiedź.
Źródło zabronione lub stare
Użytkownik z innymi prawami i wycofana wersja. Ani treść dokumentu, ani niedozwolone wskazówki nie mogą pojawić się w odpowiedzi lub cache.
Odpowiedni zestaw pytań obejmuje również sprzeczności, terminy wielojęzyczne, tabele i nietypowe formaty dokumentów. Zmiany podziału na fragmenty, embeddingów, strategii wyszukiwania lub modelu są ponownie sprawdzane na tym zestawie. RAG może ułatwić dostęp do informacji; niepełne źródła i błędne odpowiedzi pozostają możliwymi ograniczeniami.
Zacząć od odpowiedniego obszaru wiedzy.
DAXS inwentaryzuje źródła danych, uprawnienia i typowe pytania, opracowuje import i wyszukiwanie oraz podłącza odpowiednią aplikację. Ograniczony wybór dobrych materiałów z jasnymi właścicielami często lepiej służy pilotażowi niż natychmiastowy import wszystkich plików.
Wynikiem jest przejrzysta struktura z zatwierdzonymi ścieżkami danych, sprawdzalnym zestawem pytań i udokumentowanymi zadaniami synchronizacji, utrzymania i obsługi. O tym, czy inferencja odbywa się lokalnie czy zewnętrznie, rozstrzyga porównanie infrastruktury . Z kolei wdrożenie na stanowiskach pracy uwzględnia użytkowników, szkolenia i reguły korzystania.
Wydzielony obszar dokumentów, odpowiedzialne osoby, typowe pytania i istniejąca koncepcja uprawnień. Poufne pliki są udostępniane dopiero uzgodnioną, chronioną drogą.
Wyjaśnimy to podczas rozmowy.
Czy RAG oznacza wytrenowany model firmowy?
Nie. RAG pobiera fragmenty dokumentów odpowiednie do zapytania i udostępnia je modelowi jako kontekst. Nie zmienia to automatycznie wag modelu. Jakość wyszukiwania, źródeł i modelu odpowiedzi trzeba sprawdzać wspólnie.
Jak chronione są dokumenty poufne?
Tożsamość i dozwolone prawa do dokumentów muszą być egzekwowane już podczas wyszukiwania i przed przekazaniem kontekstu. Uprawnienia dotyczą także później wyświetlanych źródeł. Kontrola obejmuje ponadto indeksy, cache, eksporty i logi.
Co dzieje się ze zmienionymi lub usuniętymi materiałami?
Rozwiązanie potrzebuje określonej synchronizacji ze źródłami. Zmiany treści, praw i usunięcia muszą dotrzeć do indeksu wyszukiwania i odpowiednich cache. Nieaktualne lub już niedozwolone treści nie mogą nadal służyć jako bieżący kontekst.
Czy wskazywanie źródeł zapobiega błędnym odpowiedziom?
Ułatwia kontrolę, ale nie gwarantuje poprawności. Odpowiedź może błędnie rozumieć źródło lub niewłaściwie je podsumować. Dlatego testujemy pokrycie źródłowe, dokładność cytowań, sprzeczności i postępowanie przy brakujących informacjach.
Czy mały zbiór dokumentów nadaje się do pilotażu?
Tak. Jasno wydzielony, utrzymywany zbiór z prawdziwymi pytaniami i znanymi uprawnieniami często lepiej pasuje niż natychmiastowy pełny import. Wyniki pokazują, jakie źródła, metody wyszukiwania i procesy utrzymania są potrzebne dalej.
Także tytuły, fragmenty i cache wymagają uprawnień.
Uprawnienia muszą działać przed przekazaniem do modelu. Kontrola obejmuje listy wyników, podglądy, cytaty, pobieranie oryginału i cache odpowiedzi. Zmiany grup i cofnięte udostępnienia sprawdzamy testami negatywnymi. Zatwierdzony indeks nie może stać się wspólnym pełnym dostępem do poufnych źródeł. Osobna strona bezpieczeństwa wyjaśnia nadmierne udostępnianie, błędne prawa i aktualne mechanizmy Microsoft.
Omówmy Państwa przypadek użycia.
Co powinno stać się prostsze, jakie dane uczestniczą w procesie i jakie systemy już istnieją? Na tej podstawie opracujemy rozsądny początek i niewielki kolejny krok.