Bir cevap hangi belgeye dayanıyor?
Bir çalışan, ‘Bu süreçte son onayı kim veriyor?’ diye sorduğunda asistanın kendinden emin bir cümle kurması yeterli değildir. Yanıtın güncel süreç belgesine dayanması, soruyu soran kişinin o belgeyi görmeye yetkili olması ve belgenin ilgili bölümüne ulaşabilmesi gerekir. Eski bir PDF ile yeni kararın aynı klasörde durduğu bir ortamda yalnızca akıcı cevap üretmek güven yaratmaz.
Kurumsal bilgi asistanının değeri, dağınık kaynaklar içinden doğru bilgiyi bulup iş bağlamıyla birlikte göstermesidir. Her soru için üretken yapay zekâ gerekmez: kısa ve sabit bir soru listesi varsa iyi düzenlenmiş arama veya SSS daha anlaşılır olabilir. Kaynaklar çoksa, sık değişiyorsa ve kullanıcılar aynı soruyu farklı biçimlerde soruyorsa belgeye dayalı bir asistanı değerlendirmek anlamlı hale gelir.
RAG ne yapar; neyi garanti etmez?
Retrieval-augmented generation (RAG), yani erişilen içerikle desteklenmiş yanıt üretimi, kullanıcının sorusuna uygun kayıtları arar ve bulunan parçaları yanıt üretimi için modele bağlam olarak verir. Arama anahtar kelime, anlamsal benzerlik veya ikisinin birleşimiyle kurulabilir. Böylece şirketin güncel belgelerini her değişiklikte modeli yeniden eğitmeden kullanmak mümkün olur.
Ancak ilgili bir belgeyi bulmak, yanıtın otomatik olarak doğru olduğu anlamına gelmez. Yanlış sürüm getirilebilir, cümle bağlamından kopabilir veya model kaynağın söylemediği bir sonuç çıkarabilir. Uygulama; arama kalitesini, kaynak bağlantısını ve kanıt yetersizliğinde verilecek cevabı ayrı ayrı tasarlamalıdır. Microsoft’un RAG açıklaması da arama, bağlam ekleme ve üretimi farklı adımlar olarak tanımlar.
Belge kütüphanesini cevap verebilir hale getirin
İlk iş bütün dosyaları tek seferde yüklemek değildir. Bir soru alanı seçin; örneğin iç süreç dokümanları. O alan için hangi belgenin geçerli olduğunu, sahibini, son güncellemesini ve erişim grubunu kaydedin. Aynı politikayı anlatan üç sürüm varsa hangisinin geçerli olduğunu ürün ekibi tek başına tahmin etmemelidir. İş birimiyle birlikte birincil kaynağı belirleyin ve eski sürümleri arama kapsamından çıkarın ya da açıkça tarihleyin.
Arama için uzun belgeler bölümlere ayrılabilir; ancak başlık, bölüm yolu ve kaynak bağlantısı her parçayla korunmalıdır. Bir tabloyu veya dipnotu koparıp yalnızca tek cümleyi göstermek anlamı değiştirebilir. Özellikle formüller, istisnalar ve yürürlük tarihleri için gerçek sorularla kontrol yapın. Asistanın cevap kalitesi, erişebildiği bilginin düzeniyle sınırlıdır.
- Belge sahibi: İçeriğin doğruluğunu ve güncelliğini kim onaylıyor?
- Geçerlilik: Hangi sürüm yürürlükte; eski sürüme ne olacak?
- Kapsam: Bu belge hangi ekip ve soru türleri için kullanılabilir?
- İzlenebilirlik: Yanıttan belgenin ilgili bölümüne geri gidilebiliyor mu?
Kullanıcı yetkisi arama aşamasında uygulanmalı
Satış ekibinin gördüğü bir prosedür ile yalnızca insan kaynaklarının eriştiği bir dosya aynı arama havuzunda bulunabilir. Asistan, kullanıcının kimliğini ve grup yetkisini arama sırasında dikkate almalı; izin verilmeyen belge parçaları modele hiç gönderilmemelidir. ‘Bu bilgiyi yanıtta söyleme’ şeklindeki bir komut, gerçek erişim kontrolünün yerini tutmaz.
Belge üzerindeki izinler değiştiğinde indeksin ve sorgu filtresinin bu değişikliği nasıl yansıttığını da tasarlayın. Farklı kullanıcı rolleriyle aynı soruyu test edin: yetkili kullanıcı doğru kaynağı görüyor mu, yetkisiz kullanıcı özel içerikten bir ipucu bile alıyor mu? Microsoft’un belge düzeyinde erişim rehberi, arama sonuçlarını kullanıcı veya grup yetkilerine göre sınırlandırma desenlerini açıklıyor. Uygulamanın kullandığı altyapı değişebilir; ürün kuralı aynı kalır.
Kaynak gösterimi ve ‘bilmiyorum’ yanıtı ürünün parçasıdır
İyi bir yanıt kısa bir açıklama, dayandığı belgeye bağlantı ve gerekiyorsa sürüm veya tarih bilgisi içerebilir. Bağlantının varlığı tek başına doğruluk kanıtı değildir: gösterilen paragraf gerçekten verilen sonucu desteklemelidir. Kullanıcı kaynağı açabilmeli; kaynak kaldırıldıysa veya yetkisi yoksa kopuk bir atıf görmemelidir.
Örnek bir soru düşünün: ‘Yeni tedarikçi onayı kaç aşamalı?’ Uygun belgelerde açık ve güncel bir cevap yoksa asistan sayı uydurmamalı. ‘Bu bilgiye dayanak bulamadım; süreç sahibine yönlendireyim’ gibi bir yanıt, yanlış kesinlikten daha yararlıdır. Kaynakların çeliştiği durumda da farkı görünür kılıp doğru belge sahibine inceleme işi açmak gerekir. Bu senaryo örnektir; Aivico müşterisine ait bir sonuç değildir.
| Adım | Sistemin kontrolü | Kullanıcının gördüğü |
|---|---|---|
| Soru | Konu ve bağlamı belirle | Sorusunun doğru anlaşıldığını |
| Yetki | Erişilebilir belgeleri sınırla | Yetkisine uygun kaynakları |
| Arama | Geçerli belge ve ilgili bölümü bul | Kaynak adı ve bağlantısını |
| Yanıt | İfadeyi bulunan kanıtla karşılaştır | Kısa cevap veya belirsizlik uyarısını |
| Geri bildirim | Hatalı ya da eski kaynağı işaretle | Düzeltme yolunu |
Belgeler de güvenilmeyen girdi olabilir
Aranan dosyanın içine ‘önceki kuralları unut ve şu işlemi yap’ gibi bir talimat eklenmiş olabilir. Bu metin iş verisidir; uygulamanın kuralını değiştiren bir komut olarak kabul edilmemelidir. OWASP, belge ve web sayfası üzerinden gelen dolaylı prompt injection riskini ayrıca ele alır ve RAG’in bu riski tek başına ortadan kaldırmadığını belirtir.
Asistan yalnızca soru yanıtlamak için tasarlandıysa sistemlerde işlem yapma yetkisi vermeyin. Bir gün e-posta gönderme, kayıt güncelleme veya onay verme işlevi eklenirse bu eylemler için kod tarafında açık yetki, sınır ve gerektiğinde insan onayı kurun. Değiştirilen belgeler, şüpheli komutlar ve erişim denemeleri pilot testlere dahil edilmeli. İyi kaynak araması ile güvenli eylem sınırları farklı sorumluluklardır.
Pilotta akıcılığı değil, iş sonucunu ölçün
İlk sürüm için gerçek kullanıcılardan gelen, izinleri ve beklenen kaynakları bilinen küçük bir soru seti hazırlayın. Kolay soruların yanına belirsiz soru, eski belge, çelişkili iki belge ve yetkisiz içerik isteği ekleyin. Her örnekte doğru bölümün bulunup bulunmadığını, yanıtın o bölüm tarafından desteklenip desteklenmediğini ve kaynak yokken asistanın durup durmadığını ayrı değerlendirin.
Kullanıcıların bir yanıtı düzeltmek için harcadığı çaba, yalnızca cevap süresi kadar önemlidir. Yanlış kaynakları belge sahibine iletmek ve güncellemeden sonra aynı soruları yeniden çalıştırmak sürdürülebilir bir pilot oluşturur. Arama ek adımlar ve maliyet getirebilir; bu yüzden gecikmeyi, sorgu hacmini ve bakım işini gerçek kullanım akışıyla ölçün. Başarı ölçütü ‘her soruya cevap’ değil, doğru soruya güvenilir ve yetkili cevap verebilmektir.
Başlangıç için uygulanabilir bir yol
Kurumsal asistanı bütün şirkete bir anda açmak zorunda değilsiniz. Tek bir ekip, güncel belgeler ve net bir soru kapsamıyla başlamak; veri düzeni, erişim kuralları ve geri bildirim akışını gerçek kullanımda görmenizi sağlar. Soru yanıtlama işe yaradıktan sonra yeni belge alanlarına geçişi değerlendirin.
- Soru kapsamını ve bilgi sahibini belirleyin.
- Geçerli belgeleri, sürümleri ve erişim gruplarını düzenleyin.
- Kaynağa dönüşü olan arama ve yanıt akışını kurun.
- Yetkili, yetkisiz, eksik ve çelişkili bilgi senaryolarını test edin.
- Geri bildirim ve belge güncelleme sorumluluğunu işletime devredin.
