Her Komşu Aynı Dili Konuşmaz: Sheaf Neural Networks

GRAPH NEURAL NETWORKS · GEOMETRIC DEEP LEARNING

Sheaf Neural Networks ile GNN’lerin Sınırlarını Aşmak

VCAMP Research & Innovation Team

Birbirine bağlı verilerle çalışırken ilk akla gelen yaklaşımlardan biri Graph Neural Networks, yani GNN’lerdir. Sosyal ağlardan moleküllere, ulaşım sistemlerinden bilgi ağlarına kadar pek çok problemde GNN’ler, düğümler arasındaki ilişkileri kullanarak güçlü temsiller öğrenebilir.

Ancak burada çoğu zaman fark edilmeyen bir varsayım vardır: Komşu düğümlerin bilgilerini doğrudan karşılaştırabileceğimizi ve aynı temsil uzayında birleştirebileceğimizi kabul ederiz.

Peki ya her düğüm kendi yerel koordinat sistemine, özellik uzayına veya bilgiyi yorumlama biçimine sahipse?

İşte Sheaf Neural Networks bu sorudan doğar. Bu yaklaşım, grafik üzerindeki bilgiyi yalnızca komşudan komşuya mesaj göndermek olarak görmek yerine, farklı yerel bilgi uzayları arasındaki uyumu ve dönüşümü modellemeyi hedefler.

Klasik GNN’lerin sorduğu “Komşumdan ne öğrenebilirim?” sorusuna ek olarak Sheaf Neural Networks şu soruyu sorar:

“Komşumun bilgisini kendi dünyamda nasıl yorumlamalıyım?”

GNN’LER GRAFİKLERİ NASIL ANLAR?

Bir sosyal ağ düşünelim:

İnsanlar → düğümler Arkadaşlık ilişkileri → bağlantılar İnsanların özellikleri → düğüm özellikleri

Bir GNN, bir kişinin yalnızca kendi özelliklerine bakmaz. Komşularından gelen bilgileri de kullanarak yeni bir temsil üretir. Bu fikir basitleştirilmiş biçimde şöyle yazılabilir:

hᵥ⁽ˡ⁺¹⁾ = UPDATE(hᵥ⁽ˡ⁾, AGGREGATE({hᵤ⁽ˡ⁾ : u ∈ N(v)}))

Burada hᵥ bir düğümün temsilini, N(v) ise o düğümün komşularını ifade eder.

Mantık sezgiseldir: Bir düğümün kim olduğunu anlamak için, kimlerle bağlantılı olduğuna da bakmak gerekir. Fakat bu yaklaşımın arkasında önemli bir soru saklıdır:

Komşulardan gelen bilgiler gerçekten aynı temsil uzayında mı bulunuyor?

BÜTÜN DÜĞÜMLER AYNI DİLİ Mİ KONUŞUYOR?

Bir mühendis, doktor ve ekonomistin aynı probleme baktığını düşünün. Üçünün de değerli bilgisi vardır; fakat kullandıkları kavramlar, ölçüm yöntemleri ve yorumlama biçimleri farklıdır.

Bu üç kişinin bilgisini doğrudan toplayıp ortalamasını almak çoğu zaman anlamlı bir sonuç üretmez. Sorun bilginin eksik olması değil, farklı uzaylarda temsil edilmesidir.

Grafiklerde de benzer bir durum oluşabilir. Bir düğümden diğerine bilgi aktarılırken ölçek, yön, koordinat sistemi, temsil uzayı veya ilişkinin anlamı değişebilir. Dolayısıyla asıl soru yalnızca “Hangi bilgi geliyor?” değildir.

“Bu bilgi geldiğinde onu nasıl yorumlamalıyım?”

SHEAF NEDİR?

Sheaf, farklı yerel alanlarda bulunan bilgilerin nasıl ilişkilendirileceğini ve tutarlı hâle getirileceğini modelleyen matematiksel bir yapıdır.

Bir sheaf yapısında her düğümün kendi yerel bilgi uzayı bulunur. Buna stalk adı verilir. Düğümler arasındaki bağlantılar üzerinden bilgi aktarılırken ise restriction map adı verilen dönüşümler devreye girer.

Basitleştirilmiş biçimde:

ρᵤ→ₑ : ℱ(u) → ℱ(e) ρᵥ→ₑ : ℱ(v) → ℱ(e)

Burada ℱ(u) ve ℱ(v), düğümlerin yerel bilgi uzaylarını; ℱ(e) ise bağlantı üzerinde bilgilerin karşılaştırılabildiği ortak uzayı temsil eder.

Temel fikir şudur: Bilgiyi doğrudan birleştirmek yerine, önce karşılaştırılabilir hâle getiririz.

GNN’DEN SHEAF NEURAL NETWORK’E GEÇİŞ

Klasik bir GNN’in yaklaşımı şöyledir:

Düğüm → Mesaj → Birleştirme → Güncellenmiş düğüm

Sheaf Neural Network yaklaşımında ise süreç daha zengindir:

Düğüm → Yerel bilgi → Bağlantı üzerinden dönüşüm → Uyumlaştırma → Güncellenmiş düğüm

Bu yaklaşımda bağlantı yalnızca “iki düğüm arasında ilişki var” anlamına gelmez. Aynı zamanda şu soruya da cevap verir:

“Bu iki düğümün bilgisi birbirine nasıl dönüştürülmeli?”

RESTRICTION MAP: BAĞLANTILAR ARTIK SADECE BAĞLANTI DEĞİL

Restriction map’leri bir çeviri mekanizması gibi düşünebiliriz.

Bir düğümün temsili xᵤ olsun. Bu bilgi bağlantı üzerinden ortak bir bağlama taşındığında ρᵤ,ₑ(xᵤ) biçimine dönüşür. Diğer düğümün bilgisi de aynı ortak bağlama taşınır.

Böylece iki farklı yerel uzayda bulunan bilgi, karşılaştırılabilir hâle gelir.

GNN komşular arasında bilgi taşır. Sheaf Neural Network ise bu bilginin taşınırken nasıl dönüştürüleceğini de öğrenmeye çalışır.

SHEAF NEURAL NETWORK’LER NE KAZANDIRIR?

Yerel temsilleri modelleme

Klasik GNN’lerde düğüm gömmelerinin aynı genel temsil uzayında ele alınması yaygındır. Sheaf yaklaşımı ise her düğümün kendi yerel bilgi uzayına sahip olmasına izin verir.

Bağlantılara daha fazla anlam kazandırma

Klasik bir grafikte bağlantı çoğu zaman yalnızca ilişkiyi gösterir. Sheaf yaklaşımında bağlantı, bir düğümün bilgisinin diğeriyle karşılaştırılırken hangi dönüşümün kullanılacağını da taşıyabilir.

Heterophily için daha esnek bir bakış

Heterophily, komşu düğümlerin birbirine benzemediği durumları ifade eder. Bu tür grafiklerde doğrudan komşu bilgisini birleştirmek yeterli olmayabilir.

Sheaf yaklaşımı, komşuların aynı olmasını beklemek yerine aralarındaki ilişkinin nasıl dönüştürülmesi gerektiğini modellemeye odaklanır.

SHEAF LAPLACIAN

Sheaf yaklaşımı yalnızca message-passing mekanizmasına ek bir katman koymaz. Grafik yapısının matematiksel analizini de genişletir.

Klasik grafiklerde Laplacian, düğümler arasındaki ilişkileri incelemek için kullanılır. Sheaf Laplacian ise bağlantılar üzerindeki bilgi dönüşümlerini de hesaba katar:

Lℱ = δᵀδ

Bu ifade, yalnızca “Kim kime bağlı?” sorusunu değil, “Bu bağlantı üzerindeki bilgiler ne kadar tutarlı?” sorusunu da sormamızı sağlar.

MODEL BU DÖNÜŞÜMLERİ NASIL ÖĞRENİR?

Restriction map’ler sabit olmak zorunda değildir. Model, eğitim sırasında bu dönüşümlerin parametrelerini öğrenebilir.

Örneğin bir bağlantı için şu tür bir dönüşüm düşünülebilir:

ρᵤ,ₑ(x) = Wᵤ,ₑx

Buradaki Wᵤ,ₑ öğrenilebilir bir dönüşüm matrisidir. Böylece model yalnızca komşudan gelen bilgiyi nasıl birleştireceğini değil, bu bilginin hangi dönüşümle anlamlı hâle geleceğini de veriden öğrenir.

HER ŞEYİN BİR BEDELİ VAR

Sheaf Neural Networks, GNN’lerin her problemini otomatik olarak çözmez. Daha zengin modelleme gücü, daha fazla karmaşıklığı da beraberinde getirir.

Öğrenilecek dönüşümlerin sayısı artabilir. Eğitim ve optimizasyon süreçleri daha zor hâle gelebilir. Ayrıca düğümlerin zaten doğal olarak aynı temsil uzayında bulunduğu problemlerde, sheaf yapısının getirdiği ek maliyet gerekli olmayabilir.

Bu nedenle asıl soru şudur:

“Problemimde yerel temsil farklılıklarını ve bağlantı bazlı dönüşümleri modellemeye gerçekten ihtiyaç var mı?”

SONUÇ

Sheaf Neural Networks’ü anlamanın en kolay yolu şu soruda saklıdır:

“Komşumun bilgisini neden olduğu gibi almak zorundayım?”

Klasik GNN’ler, grafik üzerindeki bağlantılardan öğrenmeyi sağladı. Sheaf Neural Networks ise bu sürece daha ince bir yorum katıyor:

“Bu bilgi benim bulunduğum yerde ne anlama geliyor?”

Düğümler kendi yerel bilgi uzaylarına sahip olabilir. Bağlantılar yalnızca ilişkiyi değil, dönüşüm bilgisini de taşıyabilir. Bu bakış açısı; heterojen, geometrik ve ilişkisel yapısı karmaşık veri kümelerinde yeni modelleme olanakları sunar.

Gerçek dünyada insanlar, şehirler, moleküller ve sistemler yalnızca birbirine bağlı değildir. Birbirlerini dönüştürürler.

Sheaf Neural Networks’ün sorduğu temel soru da tam olarak budur:

“Bir bilgiyi başka bir yere taşıdığımızda, o bilgi hâlâ aynı bilgi midir?”