|
İÇİNDEKİLER
İçindekiler
Önsöz 7
Yazar Hakkında 9
Giriş 25
ÜRETKEN YAPAY ZEKA
YAPAY ZEKA NEDİR? 27
YAPAY ZEKA NEDEN ÖNEMLİDİR? 27
YAPAY ZEKA NASIL ÇALIŞIR? 29
ÜRETKEN YAPAY ZEKA NEDİR? 32
ÜRETKEN YAPAY ZEKA VE YAPAY ZEKA ARASINDAKİ FARKLAR 32
ÜRETKEN YAPAY ZEKAYA GEÇİŞ 33
BÜYÜK DİL MODELİ (LLM) 35
LLM Nedir? 35
LLM'lerin Gelişimi 35
LLM'lerin Üretken Yapay Zekaya Katkısı 36
Semantik Anlam 37
Semantik Anlamın Ortaya Çıkışı 37
Semantik Anlamın Evrimi 38
Semantik Anlamın Şu Anki Durumu 38
Semantik Anlamın Seviyeleri 39
Semantik Anlamın Bağlamı 39
Semantik Anlamın Temel Çeşitleri 39
Letarjik Anlam (Denotasyon) 39
Yan Anlam (Konotasyon) 40
Bağlamsal Anlam 40
İlişkisel Anlam 40
Metaforik Anlam 40
Sembolik Anlam 41
Dikkat Mekanizması 41
Dikkat Mekanizmasının Ortaya Çıkışı 41
Dikkat Mekanizmasının Gelişimi 41
Dikkat Mekanizmasının Çalışma Prensibi 42
En Yaygın Dikkat Mekanizması Modelleri 43
Seq2Seq Modeli ve Dikkat 43
Transformer Modelleri 44
GPT ve BERT Gibi Öncü Dil Modelleri 44
Dikkat Mekanizmasının Farklı Türleri 44
Metin temsil modelleri 45
Metin Temsil Modellerinin Çeşitleri 45
One–Hot Encoding 45
TF–IDF (Term Frequency–Inverse Document Frequency) 45
Kelime Embeddingleri 45
Kontekste Duyarlı Embeddingler 46
Metin Temsil Modelleri ve Embedddings Arasındaki Farklar 46
En Çok Kullanılan Büyük Dil Modelleri 48
FLAN 48
Genel Özellikleri 48
Nasıl Çalışır? 49
Avantajları 49
Dezavantajları 49
GPT–4 50
Genel Özellikleri 50
Nasıl Çalışır? 50
Avantajları 51
Dezavantajları 51
BERT 51
Genel Özellikleri 51
Nasıl Çalışır? 52
Avantajları 52
Dezavantajları 52
LLaMA 53
Genel Özellikleri 53
Nasıl Çalışır? 53
Avantajları 53
Dezavantajları 54
BLOOM 54
Genel Özellikleri 54
Avantajları 54
Dezavantajları 55
Büyük Dil Modellerini Farklı Kılan Temel Faktörler 55
Model Boyutu ve Parametre Sayısı 55
Eğitim Verisi ve Çeşitliliği 55
Mimari ve Yenilikler 56
Pre–Training ve Fine–Tuning Stratejileri 56
Çokdillilik ve Kültürel Çeşitlilik 56
Açık Kaynak Erişimi ve Topluluk Desteği 56
Büyük Dil Modelleri Eğitimi 57
Veri Toplama ve Hazırlama 57
Model Mimarisinin Seçimi 57
Eğitim 58
Fine–Tuning 58
Değerlendirme ve Test 58
Dağıtım ve Kullanım 58
LLMOps (BÜYÜK DİL MODELİ YÖNETİMİ) 59
Neden LLMOps? 59
Model Yönetimi 59
Performans ve Ölçeklendirme 60
Güvenlik ve Uyumluluk 60
Sürekli İyileştirme 60
LLMOps İş Akışı 61
Veri Ön İşleme (Pre–Processing) 61
Yerelleştirme (Grounding) 61
Sorumlu Yapay Zeka (Responsible AI) 62
Veri Son İşleme (Post–Processing) 62
LLMOps Süresi 63
Gecikme 63
Önbelleğe Alma 63
Eş Zamanlı İşleme 63
Dağıtık İşleme 64
LLMOps'un Temel Bileşenleri 64
Doğru Temel Modeli Seçme 65
LLM Sağlayıcıları 65
Özelleştirilmiş Modeller vs Açık Kaynak 65
LLMOps’ta Model Seçim Kriterleri 66
Maliyet 66
Görev Türleri 66
Performans Metrikleri 66
Lisanslama 67
LLMOps İnce Ayar Stratejileri 67
Model Özelleştirme 67
Eğitim Verisi Hazırlama 69
Eğitim ve Çıkarım Parametreleri 70
LLM’lerin Üretim Ortamına Dağıtımı ve İzlenmesi 71
Üretim Ortamında Bir LLM’nin Kullanıma Hazır Hale Getirilmesi 71
Üretimde Modelle Etkileşim Kuracak Arayüzün Ayarlanması 72
API Dağıtımı 72
Model Paketlemesi ve Sürümlemesi 72
LLMOps Altyapısının Performansını Artırabilecek İleri Teknikler 73
Yüksek Performanslı Kaynaklar 73
Yük Dengeleme 74
Coğrafi Dağılım 74
LLMOps'ta CI/CD pipeline'ları 75
LLMOps’da CI ve CD'nin Önemi 75
LLMOps’ta CI’nın Önemi 75
LLMOps’ta CD’nın Önemi 75
CI/CD'nin LLMOps'taki Toplam Değeri 76
LLM Ops için CI/CD Pipeline'larının Kurulumu 76
Örnekler ve Uygulamalar 77
LLMOps’ta Orkestrasyon 78
Veri Akışının Yönetimi 78
Yapılandırma Dosyaları ile Yönetim 78
Otomasyon ve İş Akışları 79
LLMOps Süreçlerinde Güvenlik 80
Güçlü Veri Anonimleştirme Teknikleri 80
Özel Kullanıcı Bilgilerinin Güvenli Saklanması 80
LLMOps Altyapısında Güçlü Erişim Kontrolleri 81
TOKEN BÜTÇELEME VE VERİMLİLİK 82
Token Nedir? 82
Bağlam Penceresi Nedir? 82
Token Bütçeleme Nedir? 82
Token Verimliliği Nedir? 83
Belge Sorgulamada Token Bütçeleme 84
Chunk (Parça) Üst Üste binmesi 84
VEKTÖR VERİ TABANLARI 85
Vektör Veri Tabanlarında Sorgulama Yapma 85
K–En Yakın Komşu (K–NN) Araması 85
Aralık Araması 85
Tersine Çevrilebilir Dizinleme 85
Hash Tabanlı Yöntemler 86
Vektör Veri Tabanlarında Arama Algoritmaları 86
K–En Yakın Komşular (K–NN) 86
Küresel Yaklaşık Yakın Komşular (ANNS – Approximate Nearest Neighbors Search) 87
Locality Sensitive Hashing (LSH) 87
Ağaç Tabanlı Algoritmalar 87
Hiyerarşik Navigable Small World (HNSW) Grafları 87
İSTEĞE BAĞLI BELGE SORGULAMA İYİLEŞTİRMELERİ 88
Belge Endekslemesini İyileştirme 88
Semantik Arama Kapasitesini Geliştirme 88
Kullanıcı Arayüzü ve Deneyimini İyileştirme 89
Geri Bildirim Döngüsü Kurma 89
Performans ve Ölçeklenebilirlik Optimizasyonları 89
Örnek Uygulama Senaryosu 89
PROMPT MÜHENDİSLİĞİ
PROMPT MÜHENDİSLİĞİ NEDİR? 91
PROMPT MÜHENDİSLİĞİNİN GELİŞİMİ 91
Yapay Zekanın Erken Dönemleri 91
İnternetin Yükselişi ve Arama Motorları 92
Makine Öğrenmesi ve Doğal Dil İşleme 92
Derin Öğrenme Devrimi 92
Prompt Mühendisliğinin Yükselişi 92
PROMPT MÜHENDİSLİĞİ NEDEN ÖNEMLİDİR? 94
Etkinlik ve Verimlilik 94
Anlaşılırlık 94
Esneklik 94
Hata Toleransı 95
Doğruluk ve Relevansın Artırılması 95
Verimlilik ve Maliyet Tasarrufu 95
Kullanıcı Deneyiminin İyileştirilmesi 95
Özelleştirme ve Esneklik 96
Yaratıcılığın ve Yenilikçiliğin Teşviki 96
Veri Güvenliği ve Gizliliğin Korunması 96
Kültürel ve Dil Çeşitliliğine Duyarlılık 96
Eğitim ve Araştırma için Araç Olarak Kullanım 96
Etik ve Sorumlu AI Kullanımının Desteklenmesi 97
PROMPT MÜHENDİSLİĞİ TEMEL TERİMLERİ 97
Prompt 97
Model 97
Çıktı 97
Ölçüt 97
Örnek: Bir Bilim Kurgu Hikayesi Yazdırma ve Çıktıyı Değerlendirme 97
PROMPT MÜHENDİSLİĞİNİN ZORLUKLARI 100
Doğru ve Etkili Bir Prompt Oluşturamamak 100
Sistemin Çeşitli ve Kaliteli Cevaplar Vermesini Sağlayamamak 100
Sistemin Güvenli ve Etik Olmasını Sağlayamamak 101
YAPISINA GÖRE PROMPT TÜRLERİ 101
Açık Prompt 101
Kapalı Prompt 101
Örnekli Prompt 102
Örnekli Olmayan Prompt 102
Soru–Cevap Prompt 103
Tamamlama Promptu 103
Yaratıcı Yazım 104
Metin Tamamlama 104
Öneri ve Fikir Üretme 104
Alternatif Senaryolar 104
Öğretim ve Eğitim 105
AMACINA GÖRE PROMPT TÜRLERİ 105
Bilgi Edinme Promptları 105
Yaratıcı İçerik Üretme Promptları 105
Eylem Gerçekleştirme Promptları 106
Öğrenme ve Gelişme Promptları 107
PROMPT TASARIMI 107
Prompt Tasarımı Yöntemleri 108
Örnek Tabanlı Yöntem 108
Şablon Tabanlı Yöntem 109
Sorgu Tabanlı Yöntem 111
Görev Tabanlı Yöntem 112
Prompt Tasarımı Araçları 115
Prompt Kütüphaneleri 115
Hugging Face's Transformers 115
AllenAI's AllenNLP 116
spaCy 117
NLTK (Natural Language Toolkit) 117
Prompt Editörleri 118
GPT–3 Sandbox 118
ChatGPT Playground 119
Hugging Face Transformers 120
Prompt Üreteçleri 120
Prompt Tasarımı Araçları Karşılaştırması 121
Prompt Tasarımı Araçları Kullanımı 122
Prompt Tasarımında Sık Karşılaşılan Sorunlar ve Çözümleri 122
PROMPT İYİLEŞTİRME 123
Prompt İyileştirme Yöntemleri 123
Parametre Ayarlama Yöntemi (Limit Belirleme) 123
Veri Artırma Yöntemleri 124
Geribildirim Verme Yöntemi 127
Açık Uçlu Sorular Kullanma 129
İçerik Ekleme 129
Tekrarlama ve Tefsir (Paraphrase) Kullanma 129
Sistemli ve Kademeli Sorular Sorma 130
Negatif Örnekler Sunma 130
Prompt İyileştirme Araçları 131
OptiPrompt 131
PROMPT UYGULAMASI 132
Promptu Uygun Bir Platformda Çalıştırmak 132
Promptu Kullanıcıların İhtiyaçlarına Göre Ayarlamak 133
Promptu Sürekli Olarak İzlemek ve Güncellemek 133
Prompt Uygulamasında Kullanılan Araçlar ve Teknikler 133
Streamlit 133
Gradio 133
OpenAI Codex API 133
Hugging Face Inference API 134
Prompt Uygulamasında Sık Karşılaşılan Sorunlar ve Çözümler 134
Promptun Platformda Çalışmaması 134
Promptun Kullanıcıların İhtiyaçlarına Uygun Olmaması 134
Promptun Performansının veya Kullanıcı Memnuniyetinin Düşmesi 134
PROMPT DEĞERLENDİRMESİ 134
Dikkat Edilmesi Gereken Temel Prensipler 134
Promptu Uygun Bir Metrikle Değerlendirmek 135
Promptu Farklı Veri Setleriyle Değerlendirmek 135
Promptu Farklı BDM’lerle Değerlendirmek 135
Prompt Değerlendirmesinde Kullanılan Yöntem ve Araçlar 135
Prompt Değerlendirme Yöntemleri 135
Analiz Etme Yöntemi 135
Karşılaştırma Yöntemi 137
Test Etme Yöntemi 138
Prompt Değerlendirme Metrikleri 140
BLEU (Bilingualuation Understudy) Skoru 140
ROUGE (Recall–Oriented Understudy for Gistinguation) Skoru 140
METEOR (Metric foruation of Translation with Explicit ORdering) 141
F1 Skoru 141
Perplexity 142
LIT (Language Interpretability Tool) 142
GLUE (General Language Understandinguation) 142
LM–BFF (Language Model Best Friend Forever) Veri Seti 143
Prompt Değerlendirmesinde Sık Karşılaşılan Sorunlar ve Çözümleri 144
Promptun Uygun Bir Metrikle Değerlendirilememesi 145
Promptun Farklı Veri Setleriyle Tutarsız Sonuçlar Vermesi 145
Promptun Farklı Yapay Zeka Modelleri İle Uyumsuz Olması 146
PROMPT OPTİMİZE ETME 147
Prompt Optimize Etme Yöntemleri 147
Prompt Tuning 147
Hard Prompt Tuning 148
Soft Prompt Tuning 148
Prompt Tuning’in Avantajları 149
Prompt tuning’in dezavantajları 149
Prompt Tuning Yöntemleri 150
Fine–Tuning 150
Ekleme (Insertion) 151
Değiştirme (ment) 151
Prompt Tuning’in Uygulama Alanları 152
Prompt Tuning’in Gelecek Potansiyeli 154
Prefix Tuning 155
Prefix–Tuning’in Avantajları 156
Prefix–Tuning’in Dezavantajları 156
Prefix–Tuning Yöntemleri 156
Adaptif Prefix–Tuning 156
Meta Prefix–Tuning 157
Prefix–Tuning’in Uygulama Alanları 158
Prefix–Tuning’in Gelecek Potansiyeli 159
Chain–of–Thought (Düşünce Zinciri) 160
Chain–of–Thought’un Avantajları 160
Chain–of–Thought’un Dezavantajları 160
Chain–of–Thought’un Türleri 160
Sıralı Chain–of–Thought 160
Hierarchical Chain–of–Thought 163
Conditional Chain–of–Thought (Koşullu Düşünce Zinciri) 164
Chain–of–Thought’un Uygulama Alanları 167
Chain–of–Thought’un Gelecek Potansiyeli 168
Zero–Shot Prompting 168
Ne Zaman ve Ne İçin Kullanılır? 168
Zero–Shot Prompting Adımları 168
Örnekler 169
Few–Shot Prompting 170
Ne Zaman ve Ne İçin Kullanılır? 170
Few–Shot Prompting Adımları 171
Örnekler 171
Öz Tutarlılık Yönlendirme 172
Ne Zaman ve Ne İçin Kullanılır? 172
Öz Tutarlı Yönlendirme Adımları 173
Örnekler 173
Üretilen Bilgi Yönlendirmesi (Guided by Generated Information, GGI) 174
Ne Zaman ve Ne İçin Kullanılır? 174
Üretilen Bilgi Yönlendirmesi Adımları 175
Örnekler 175
Düşünce Ağacı (ToT) Yönlendirmesi 176
Ne Zaman ve Ne İçin Kullanılır? 177
Düşünce Ağacı (ToT) Yönlendirme Yöntemi Adımları 178
Örnekler 178
Otomatik Akıl Yürütme ve Araç Kullanımı (ART) 179
Ne Zaman ve Ne İçin Kullanılır? 180
ART Yöntemi Adımları 180
Örnekler 180
Otomatik Prompt Mühendisliği 181
Ne Zaman ve Ne İçin Kullanılır? 181
Otomatik Prompt Mühendisliği Adımları 182
Örnekler 182
Aktif Prompt Verme 183
Ne Zaman ve Ne İçin Kullanılır? 183
Aktif Prompt Adımları 184
Örnekler 184
Yönlendirici Uyarı Prompt 185
Ne Zaman ve Ne İçin Kullanılır? 185
Yönlendirici Uyarı–Prompt Adımları 186
Örnekler 186
Program Destekli Dil Modelleri (PAL) 187
Ne Zaman ve Ne İçin Kullanılır? 187
Program Destekli Dil Modelleri Adımları 188
Örnekler 188
ReAct Yönlendirmesi 190
Ne Zaman ve Ne İçin Kullanılır? 190
Adımlar 190
Örnekler 191
Çok Modlu CoT (MMCoT) 192
Ne Zaman ve Ne İçin Kullanılır? 192
Adımlar 193
Örnekler 193
RİSKLER VE KÖTÜYE KULLANIM 194
Adversarial Prompt Gönderme 194
Ne Zaman ve Ne İçin Kullanılır? 194
Adımlar 194
Örnekler 195
Prompt Enjeksiyon Saldırıları 196
Ne Zaman ve Ne İçin Kullanılır? 196
Adımları 197
Korunma Yolları 197
Örnekler 199
Prompt Sızdırma 199
Ne Zaman ve Ne İçin Kullanılır? 200
Adımları 200
Prompt Sızıntısının Nedenleri 200
Prompt Sızıntısının Sonuçları 202
Korunma Yolları 203
Örnekler 204
Jailbreaking 205
Nasıl Yapılır? 205
Korunma Yolları 206
Örnek 206
DAN 207
Nasıl Yapılır? 207
Nasıl Engellenir? 208
Örnekler 208
Önyargılar 208
Sebepleri 209
Sonuçları 209
Korunma Yolları 209
Örnekler 210
Halüsinasyon 211
Sebepleri 211
Sonuçları 211
Korunma Yolları 212
Örnekler 214
PROMPT GÜVENLİĞİ VE ETİĞİ 215
Dikkat Edilmesi Gereken Ana Konular 215
Cevapların Doğrulanması ve Denetlenmesi 215
Cevapların Çeşitliliğinin ve Kapsayıcılığının Desteklenmesi 216
Cevapların Önyargılardan veya Ayrımcılıktan Arındırılması 217
Cevapların Yasalara ve Etik Kurallara Uygun Olması 217
Yöntemler 218
Önceden Tanımlanmış Yanıt Sınırlamaları 219
Kontekst Farkındalığı 219
Sürekli Öğrenme ve Güncelleme 219
Prompt Bileşenlerinin Parametreleştirilmesi 219
Filtreleme 221
Düzenleme 223
Uyarı Verme 226
PROMPT MÜHENDİSLİĞİNİN GELECEĞİ VE TRENDLERİ 232
Daha Sofistike Yöntemler 232
Otomatik Prompt Optimizasyonu 232
Transfer Öğrenme ve Meta–Öğrenme 232
Kişiselleştirilmiş Prompt Mühendisliği 232
Yeni Dil Modeli Mimarileri ve Eğitim Stratejileri 233
Etik ve Güvenlik Konuları 233
Daha Fazla Sektörel Uygulamanın Ortaya Çıkması 233
Sürdürülebilirliğe Katkı Sağlaması 233
UYGULAMALAR 233
GPT–4 ile Uygulamalar 233
Promptları Net Yazmak 233
Prompta Detaylar Eklemek 234
Modele Bir Kişiliği Benimsetmek 234
Girdideki Farklı Bölümleri Açıkça Belirtmek 235
Bir Görevi Tamamlamak İçin Gereken Adımları Belirtmek 236
Örnekler Sağlamak 236
Çıktının İstenen Uzunluğunu Belirtmek 237
Referans Metin Sağlamak 237
Modeli Bir Referans Metni Kullanarak Cevap Vermesi İçin Yönlendirmek 237
Modelin Referans Metinden Alıntılarla Cevap Vermesini İstemek 238
Karmaşık Görevleri Daha Basit Alt Görevlere Bölmek 238
Kullanıcı Promptunun En Alakalı Talimatlarını Belirlemek İçin Niyet Sınıflandırmasını Kullanmak 238
Diyalog Uygulamaları İçin Çok Uzun Konuşmalar Gerektiğinde, Önceki Diyalogları Özetlemek veya Filtrelemek 241
Uzun Dokümanları Parça Parça Özetlemek ve Tam Bir Özet Oluşturmak İçin Özetlerin Özetlerini Oluşturmak 241
Modellere "Düşünme" Zamanı Vermek 241
Modeli Acele Etmeden Kendi Çözümünü Bulması İçin Yönlendirin 241
Modelin Akıl Yürütme Sürecini Gizlemek İçin İç Monolog veya Sorgu Dizisi Kullanmak 243
Modelin Önceki Geçişlerde Bir Şeyi Kaçırıp Kaçırmadığını Sormak 245
Dış araçları kullanmak 246
Etkin Bilgi Erişimi Sağlamak İçin Embedding Tabanlı Aramayı Kullanmak 246
Daha Doğru Hesaplamalar Yapmak veya Dış API'ları Çağırmak İçin Kod Çalıştırmayı Kullanmak 246
Modele Belirli Fonksiyonlara Erişim Sağlamak 247
Değişiklikleri Sistematik Olarak Test Etmek 247
Model Çıktılarını Altın Standart Cevaplarla Değerlendirmek 248
Günlük Uygulamalar 251
Metin Üretme 251
Metin Özetleme 253
Soru Cevaplama 254
Sohbet 254
Python Yorumlayıcısı Olarak Kullanma 257
Metin Sınıflandırma 257
Metin Çevirisi 258
Soru Cevaplama 258
Metin Çeşidini Dönüştürme 258
Farklı Türlerde, Tonlarda veya Tarzlarda İçerik Üretimi 259
LLMOps’ta Prompt Mühendisliği Uygulamaları 261
Prompt Şablonları 262
A/B Testi ile Promptların Optimizasyonu 263
RAG (Retrieval Augmented Generation) Uygulaması 263
RAG Prompt Verimliliği Nasıl Sağlanır? 264
GenAI Uygulamalarının Performansını Artırmak İçin RAG Neden Kullanılır? 265
Maliyet–Etkinlik Perspektifinden RAG Neden Tercih Edilen Bir Yaklaşımdır? 267
RAG Nasıl Çalışır? 269
Araştırma Yapma ve Makale Yazımı 271
Literatür Taraması 271
Literatur Taraması Puanlaması 272
Konferans Sunumu Hazırlanması 273
En Uygun Dergi Seçimi 275
Makalenin Otomatik Olarak Düzeltilmesi ve İyileştirilmesi 276
Makale Özeti Çıkarılması 278
İlginç ve Yenilikçi Bir Araştırma Sorusu Oluşturmak 278
Hipotez Testi İçin En Uygun Yöntemin Seçilmesi 279
Makale Yazımı 280
Makale Düzenleme 284
Büyük Dil Modellerinin Alan Özel Eğitimi (Sigorta Sektörü Örneği) 287
Veri Toplama 287
Veri Hazırlığı 287
Tokenizasyon 288
Normalizasyon 288
Vektörleştirme 289
Padding (Dizi Uzunluklarını Sabitleme) 289
Sıralama 290
Veri Etiketleme 290
Veri Temizleme 291
Veri Setinin Yapılandırılması 292
Model Mimarisi Seçimi 292
Pre–Training 292
Geri Yayılım ve Optimizasyon 293
İterasyonlar ve Erken Durma 293
Fine–Tuning 293
Değerlendirme 293
Dağıtım 293
Langchain Kullanarak Bir LLM i Sigorta Sektöründe Eğitme 293
Veri Toplama ve Hazırlama 294
LangChain Kurulumu ve Konfigürasyonu 294
Pre–Training 294
Fine–Tuning 294
Veri Setinin Hazırlanması 295
Model Seçimi ve Yükleme 295
Özelleştirilmiş Veri Seti ile Fine–Tuning 295
Model Değerlendirme ve Fine–Tuning 296
Uygulama Geliştirme ve Entegrasyon 296
Model Entegrasyonu 297
Kaynakça 299
Kavram Dizini 302 |
Bilgisayar, Teknoloji Kitapları 
