Visualization of attention matrices on the METR-LA dataset.

<p>(a) Raw attention matrix before sparsification, showing dense and noisy correlations across nodes. (b) Sparse attention matrix after the adaptive Top-<i>k</i> operation, where high-weight connections capture both local and long-range dependencies beyond the physical topology.<...

وصف كامل

محفوظ في:
التفاصيل البيبلوغرافية
المؤلف الرئيسي: Zhouyuan Zhang (22615290) (author)
مؤلفون آخرون: Xin Wang (91924) (author), Xu Tan (193786) (author), Jiatian Pi (22615293) (author)
منشور في: 2025
الموضوعات:
الوسوم: إضافة وسم
لا توجد وسوم, كن أول من يضع وسما على هذه التسجيلة!