Büyük dil modelleriyle çalışan sohbet araçları kısa sürede iş hayatının gündemine girdi. Yöneticilerin aklındaki soru ise çoğunlukla aynı: "Bu teknolojiyi kendi şirket bilgimizle, güvenli ve doğru şekilde nasıl kullanabiliriz?"
Bu sorunun en yaygın yanıtlarından biri, RAG adı verilen yöntemle çalışan kurumsal yapay zeka asistanlarıdır. Bu yazıda konuyu teknik ayrıntılara boğmadan; asistanın nasıl çalıştığını, nerelerde işe yaradığını, nelere dikkat edilmesi gerektiğini ve işe nasıl başlanabileceğini anlatıyoruz.
Kurumsal yapay zeka asistanı nedir?
Kurumsal yapay zeka asistanı, çalışanların veya müşterilerin doğal dilde soru sorabildiği ve şirkete özgü bilgilere dayanarak yanıt alabildiği bir yazılımdır. Arka planda genellikle büyük dil modeli (LLM) bulunur. Büyük dil modeli, çok miktarda metin üzerinde eğitilmiş ve insan diline benzer metin üretebilen bir yapay zeka modelidir.
Genel amaçlı bir dil modeli, eğitim verisinde yer alan genel bilgileri bilir; ancak şirketinizin iç prosedürlerini, ürün dokümanlarını, sözleşme şablonlarını ya da güncel fiyat listesini bilmez. Kurumsal asistanı değerli kılan, bu eksikliği kontrollü bir şekilde gidermesidir.
RAG nasıl çalışır?
RAG (Retrieval-Augmented Generation), Türkçesiyle "erişimle güçlendirilmiş üretim", dil modelinin yanıt üretmeden önce şirketin kendi belgelerinde arama yapmasını sağlayan bir yöntemdir. Modeli şirket verisiyle yeniden eğitmek yerine, her soruda ilgili bilgiyi bulur ve modele kaynak olarak sunar.
Basitleştirilmiş haliyle süreç şöyle işler:
- Hazırlık: Şirket belgeleri küçük ve anlamlı parçalara bölünür. Her parça, anlamını temsil eden sayısal bir gösterime (embedding) dönüştürülerek bir arama dizininde saklanır.
- Soru: Kullanıcı asistana doğal dilde bir soru sorar.
- Erişim: Sistem, soruyla anlamca en ilgili belge parçalarını bulur. Bu arama yalnızca kelime eşleşmesine değil, anlam benzerliğine de dayanır.
- Üretim: Bulunan parçalar soruyla birlikte dil modeline verilir ve modelden yalnızca bu bilgilere dayanarak yanıt vermesi istenir.
- Kaynak gösterme: Yanıtla birlikte hangi belgeden yararlanıldığı gösterilir; kullanıcı gerektiğinde orijinal belgeyi açıp doğrulayabilir.
Bu yaklaşımın önemli bir avantajı, belgeler güncellendiğinde modelin yeniden eğitilmesine gerek kalmamasıdır; arama dizininin güncellenmesi yeterlidir. Ayrıca kullanıcının yetkisine göre hangi belgelerde arama yapılacağı sınırlandırılabilir.
Nerelerde kullanılabilir?
İç bilgi bankası
İnsan kaynakları politikaları, satın alma prosedürleri, teknik dokümanlar veya kalite el kitapları gibi dağınık bilgiler tek bir soru-cevap arayüzünden erişilebilir hale gelir. Yeni çalışanların uyum süreci ve sık tekrarlanan iç soruların yanıtlanması bu alanın tipik örnekleridir.
Müşteri desteği
Ürün kılavuzları ve sık sorulan sorular üzerinden çalışan bir asistan, destek ekiplerine yanıt taslakları önerebilir ya da müşterilerin basit sorularını doğrudan yanıtlayabilir. Müşteriye doğrudan açılan senaryolarda, asistanın yanıtlayamadığı veya hassas konularda görüşmeyi bir çalışana devredebilmesi önemlidir.
Belge arama ve özetleme
Sözleşmeler, teknik şartnameler, ihale dokümanları veya geçmiş proje raporları gibi uzun belgelerde ilgili bölümü bulmak zaman alır. RAG tabanlı bir arama, "Bu sözleşmede fesih koşulları neler?" gibi bir soruyu ilgili maddeyi göstererek yanıtlayabilir.
Veri hazırlığı: Asistan, beslendiği bilgi kadar iyidir
Bir RAG projesinin başarısını belirleyen en önemli unsur çoğu zaman model seçimi değil, verinin kalitesidir. Güncelliğini yitirmiş, birbiriyle çelişen veya dağınık belgeler, asistanın da hatalı ya da tutarsız yanıt vermesine yol açar.
- Kaynak envanteri: Hangi belgeler hangi sistemlerde (dosya sunucusu, doküman yönetim sistemi, intranet, ERP) bulunuyor?
- Ayıklama: Eski sürümler, taslaklar ve birbiriyle çelişen belgeler belirlenmelidir.
- Sahiplik: Her belge grubunun güncelliğinden sorumlu bir birim veya kişi tanımlanmalıdır.
- Format: Taranmış belgeler metne dönüştürülmeli, tablolar ve başlık yapısı korunmalıdır.
- Yetki: Bir belgeye kimin erişebileceği, asistan üzerinden de aynı şekilde uygulanmalıdır.
- Güncelleme: Belgeler değiştiğinde arama dizininin nasıl ve hangi sıklıkla güncelleneceği planlanmalıdır.
Veri gizliliği, KVKK ve model seçimi
Asistana verilen belgeler kişisel veri içeriyorsa, bu işlem 6698 sayılı Kişisel Verilerin Korunması Kanunu kapsamına girer. Verinin hangi amaçla işlendiği, nerede saklandığı, kimlerin erişebildiği ve ne kadar süre tutulduğu net olmalıdır. Kullanıcıların asistana yazdığı sorular ve konuşma kayıtları da bu değerlendirmenin parçasıdır.
Bulut tabanlı bir model hizmeti kullanılacaksa sağlayıcının verileri nerede işlediği, gönderilen verileri model eğitiminde kullanıp kullanmadığı ve sözleşme koşulları incelenmelidir. Kişisel verilerin yurt dışına aktarılması KVKK'da ayrıca düzenlenmiş bir konudur; bu nedenle hukuk ve bilgi güvenliği ekiplerinin sürece baştan dahil olması gerekir.
Bulut mu, kurum içi mi?
- Bulut tabanlı modeller: Hızlı başlangıç imkânı sunar ve altyapı yönetimi gerektirmez. Buna karşılık veriler sağlayıcının altyapısında işlenir.
- Kurum içi (on-premise) modeller: Açık ağırlıklı, yani model dosyaları kamuya açık olarak paylaşılan modeller şirketin kendi sunucularında çalıştırılabilir. Veri şirket dışına çıkmaz; ancak donanım, kurulum ve bakım sorumluluğu şirkete aittir.
- Hibrit yapılar: Hassas belgeler kurum içinde işlenirken daha az hassas senaryolarda bulut hizmetleri kullanılabilir.
Doğru tercih; verinin hassasiyetine, yasal yükümlülüklere, beklenen kullanım yoğunluğuna ve şirketin altyapı olanaklarına göre yapılır.
Halüsinasyon ve kalite ölçümü
Dil modelleri zaman zaman akıcı ve inandırıcı görünen ama yanlış olan yanıtlar üretebilir. Bu duruma halüsinasyon denir. RAG, modeli şirket belgelerine dayandırarak bu riski azaltır ancak tamamen ortadan kaldırmaz. Bu nedenle kaliteyi sürekli ölçmek gerekir:
- Modelden yalnızca verilen kaynaklara dayanarak yanıt vermesini, bilgi bulamadığında ise bunu açıkça söylemesini istemek
- Her yanıtta kaynak belgeyi ve ilgili bölümü göstermek
- Gerçek kullanıcı sorularından oluşan ve doğru yanıtları konu uzmanlarınca belirlenmiş bir test seti hazırlamak
- Sistemi her önemli değişiklikten sonra bu test setiyle yeniden değerlendirmek
- Kullanıcıların yanıtları doğru veya yanlış olarak işaretleyebileceği bir geri bildirim mekanizması kurmak
- Hukuki, mali veya sağlıkla ilgili kritik kararlarda son sözü insana bırakmak
Pilot projeyle başlamak
Kurumsal yapay zeka asistanına geçişte en sağlıklı yol, tüm şirketi kapsayan büyük bir proje yerine sınırlı ve ölçülebilir bir pilot çalışmayla başlamaktır.
- Tek bir kullanım senaryosu seçin; örneğin insan kaynakları politikalarıyla ilgili çalışan soruları.
- Kapsamı belirleyin: Hangi belgeler dahil edilecek, asistanı hangi kullanıcı grubu deneyecek?
- Başarı ölçütlerini önceden tanımlayın: yanıt doğruluğu, kullanıcı memnuniyeti, bilgiye ulaşma süresi gibi.
- Veriyi hazırlayın; KVKK ve bilgi güvenliği değerlendirmesini tamamlayın.
- Pilotu sınırlı bir süre çalıştırın, geri bildirimleri toplayın ve sonuçları test setiyle ölçün.
- Sonuçlara göre kapsamı genişletme, iyileştirme veya durdurma kararını verin.
Pilot çalışma, yalnızca teknolojinin işe yarayıp yaramadığını değil, verinizin ne kadar hazır olduğunu ve kullanıcıların bu araca nasıl yaklaştığını da gösterir.
Sonuç
RAG tabanlı bir kurumsal yapay zeka asistanı, şirket bilgisini daha erişilebilir kılmanın pratik bir yoludur. Başarı ise iyi hazırlanmış veriye, gizlilik ve KVKK gerekliliklerinin baştan ele alınmasına, düzenli kalite ölçümüne ve küçük adımlarla ilerlemeye bağlıdır.
Şirketiniz için uygun bir pilot senaryoyu belirlemek ve asistanın mevcut sistemlerinizle entegrasyonunu planlamak isterseniz, Linu Teknoloji ekibi bu süreçte yardımcı olabilir.