Sorgular, anahtarlar ve değerler nasıl anlaşılmalıdır

Anahtar / değer / sorgu kavramları, erişim sistemlerinden gelir. Örneğin, Youtube'da video aramak için bir sorgu yazdığınızda, arama motoru, query'nizi, veritabanındaki aday videolarla ilişkili bir keys (video başlığı, açıklama vb.) Kümesiyle eşler ve ardından size en iyi eşleşmeyi sunar videolar (values).

Dikkat operasyonu aynı zamanda bir geri alma süreci olarak da düşünülebilir, dolayısıyla anahtar / değer / sorgu kavramları burada da geçerlidir. (BTW yukarıdaki örnek, pratikte arama motorlarında sadece gösterim için bir oyuncak sistemidir. ve öneri sistemleri çok daha karmaşıktır.)

Başvurduğunuz makalede belirtildiği gibi ( Neural Machine Translation by Jointly Learning to Align and Translate), tanım gereği dikkat, değerlerin ağırlıklı ortalamasıdır,

$$ c = \ sum_ {j} \ alpha_jh_j $$ burada $ \ sum \ alpha_j = 1 $ .

$ \ alpha $ değişkenini tek sıcak vektör olarak kısıtlarsak, bu işlem bir dizi öğeden almakla aynı olur $ h $ $ \ alpha $ diziniyle. Kısıtlama kaldırıldığında, dikkat operasyonu, $ \ alpha $ olasılık vektörüne göre "orantılı alım" olarak düşünülebilir.

Bu bağlamdaki $ h $ değerinin value olduğu açık olmalıdır. İki makale arasındaki fark, $ \ alpha $ olasılık vektörünün nasıl hesaplandığına bağlıdır. İlk makale (Bahdanau ve diğerleri 2015), puanı bir sinir ağı $$ e_ {ij} = a (s_i, h_j), \ qquad a_ {i, j} = aracılığıyla hesaplıyor \ frac {\ exp (e_ {ij})} {\ sum_k \ exp (e_ {ik})} $$ burada $ h_j $ kodlayıcı sırasından ve $ s_i $ kod çözücü dizisinden. Bu yaklaşımın bir problemi, kodlayıcı sırasının $ m $ uzunluğunda ve kod çözme sırasının $ n uzunluğunda olduğunu varsayalım. $ , tüm dikkat puanlarını kontrol etmek için $ m * n $ kez ağ üzerinden gitmeliyiz $ e_ {ij} $ .

Daha verimli bir model, önce $ s $ ve $ h $ 'ı ortak bir boşluk, ardından dikkat puanı olarak bir benzerlik ölçüsü (ör. nokta çarpım) seçin. $$ e_ {ij} = f (s_i) g (h_j) ^ T $$ bu yüzden sadece $ g (h_j) $ $ m $ kez ve $ f (s_i) $ $ n $ kez projeksiyon vektörlerini ve $ almak için e_ {ij} $ matris çarpımı ile verimli bir şekilde hesaplanabilir.

Bu, esasen ikinci makale (Vaswani ve diğerleri 2017) tarafından önerilen yaklaşımdır; burada iki projeksiyon vektörü, geri alma sistemlerindeki kavramlarla iyi uyumlu olan query (kod çözücü için) ve key (kodlayıcı için) olarak adlandırılır. .

Sorgunun, değerin ve anahtarın anlamı uygulamaya bağlıdır. Metin benzerliği durumunda, örneğin sorgu, birinci metin parçasının sıralı yerleştirmeleridir ve değer, ikinci metin parçasının sıralı yerleştirmeleridir. anahtar genellikle değer ile aynı tensördür.

Ancak kendi açıklamam için, farklı dikkat katmanları bir $ f: \ Bbb {R} ^ {T \ times D} \ mapsto \ işlevini eşleyerek aynı görevi başarmaya çalışıyor Bbb {R} ^ {T \ times D} $ burada T gizli sıra uzunluğu ve D, özellik vektör boyutudur. En yaygın uygulama olan küresel öz ilgi durumunda, önce $ B \ times T \ times D $ şeklinde sekans verilerine ihtiyacınız vardır, burada $ B $ , toplu iş boyutudur. Her ileri yayılma (özellikle return_state ve return_sequences = True TF için Bi-LSTM, GRU veya LSTM katmanı gibi bir kodlayıcıdan sonra), seçilen gizli durumu (Sorgu) en çok benzer diğer gizli durumlar (Anahtarlar). Her gizli durum ve softmax sonuçları için tekrarladıktan sonra, her gizli durum için ne kadar dikkat vermeniz gerektiğini gösteren vektörü elde etmek için tekrar anahtarlarla (bunlar aynı zamanda değerler) çarpın. Umarım bu, çözmem günlerimi aldığı için herkese yardımcı olur.

İnsanlar bunlardan anahtarı, sorguyu ve değeri nereden alıyor? denklemler?

Bahsettiğiniz kağıtta "anahtar", "sorgu" veya "değer" gibi bir terminoloji kullanılmadığından, ne demek istediğiniz açık değildir. buraya. Sinir ağları için "dikkat" in tek bir tanımı yoktur, bu yüzden benim tahminime göre farklı makalelerden iki tanımı karıştırdınız.

Makalede, dikkat modülünün ağırlıkları $ \ alpha $ ve ağırlıklandırılması gereken değerler $ h $ , burada alıntı yaptığınız denklemlerde ve aşağıda verilen kağıttaki şekilde açıklandığı gibi ağırlıklar tekrarlayan sinir ağı çıktılarından elde edilir.

Benzer bir şey, Vaswani ve diğerleri tarafından yazılan Tek ihtiyacınız olan şey makalesinde "anahtarlar", "sorgular" ve "anahtarlar", "sorgular" ve "değerler" ( $ Q $ , $ K $ , $ V $ ). Vaswani ve diğerleri, dikkat hücresini farklı şekilde tanımlar:

$$ \ mathrm {Dikkat} (Q, K, V) = \ mathrm {softmax} \ Big (\ frac {QK ^ T} {\ sqrt {d_k}} \ Big) V $$

Kullandıkları şey de çok başlı dikkati, burada her $ Q $ için tek bir değer yerine $ K $ , $ V $ , bu tür birden çok değer sağlarlar.

Transformer modelinde $ Q $ , $ K $ , $ V $ değerleri, kodlayıcıdaki aynı girişlerden (aşağıdaki şeklin alt kısmı) veya kod çözücüdeki farklı kaynaklardan (şeklin sağ üst kısmı) gelebilir. Bu bölüm, bu modeli çeviri görevlerinde kullanmak için çok önemlidir.

Her iki makalede de açıklandığı gibi, dikkat katmanlarına girdi olarak gelen değerler ağın önceki katmanlarının çıktılarından hesaplanır.Her iki makale de farklı dikkat katmanı tanımları kullandıkları için bu değerleri elde etmenin farklı yollarını tanımlar.