Doğal dil işleme (Natural Language Processing, NLP), insanların kullandığı dil ile bilgisayarların işleyebildiği temsiller arasında çalışır. Yazım farklılıkları, birden çok anlamı olan kelimeler, konuşma bağlamı ve diller arasındaki yapı farkları bu alanın konularıdır.
Dil işleme hangi görevleri kapsar?
- Bilgi çıkarma: Metindeki tarih, kişi, hizmet veya ürün gibi bilgileri belirlemek.
- Sınıflandırma: Bir mesajın hangi konuya veya talep türüne ait olduğunu değerlendirmek.
- Özetleme: Uzun bir metnin ana noktalarını kısaltarak aktarmak.
- Çeviri ve üretim: İçeriği başka bir dilde ifade etmek veya bağlama uygun yanıt oluşturmak.
Chatbot içinde NLP ne işe yarar?
Müşteri ‘Yarın boş saatiniz var mı?’ dediğinde, sistemin ‘yarın’ ifadesini konuşma tarihiyle ilişkilendirmesi ve hangi hizmetin kastedildiğini anlaması gerekir. Eksik hizmet veya saat bilgisi varsa takip sorusu gerekir. Dilin yorumlanması ile gerçek takvim uygunluğu ayrı konulardır.
Token ne demektir?
Bir dil modeli metni token adı verilen küçük birimlerle işler. Token bir kelime, kelimenin parçası veya noktalama işareti olabilir; her tokenı bir kelime olarak saymak doğru değildir.
Ses tanıma ile aynı şey mi?
Ses tanıma, konuşmayı metne dönüştürme görevine odaklanır. NLP, ortaya çıkan metnin yorumlanması veya yanıt üretilmesi gibi aşamalarda kullanılabilir. Ses kalitesi, dil ve bağlam hataları bütün konuşma deneyimini etkileyebilir.