हैश हैडामार्ड व्युत्पन्न रैखिक सदिश प्रतीकात्मक वास्तुकला

पृष्ठभूमि और अकादमिक वंश

उत्पत्ति और अकादमिक वंश

इस पत्र में संबोधित समस्या सदिश प्रतीकात्मक वास्तुकला (VSAs) के क्षेत्र से उत्पन्न होती है, जो न्यूरो-प्रतीकात्मक AI विकसित करने का एक अनूठा दृष्टिकोण है। इस अकादमिक वंश को स्मोलेंस्की [38] से सटीक रूप से जोड़ा जा सकता है, जिन्होंने टेंसर उत्पाद प्रतिनिधित्व (TPR) के साथ VSA दृष्टिकोण की शुरुआत की थी। TPR में, अवधारणाओं को उच्च-आयामी सदिशों के रूप में दर्शाया जाता है, और इन सदिशों को नए, मिश्रित अवधारणाओं को बनाने के लिए बाहरी उत्पाद की गणना करके एक साथ "बाध्य" (bound) किया जाता है। यह मौलिक कार्य एक कनेक्शनिस्ट ढांचे के भीतर प्रतीकात्मक-शैली के हेरफेर को सक्षम करने के तरीके के रूप में उभरा, जिससे तार्किक कथनों और संरचनाओं का प्रतिनिधित्व करने की अनुमति मिली [13]।

ऐतिहासिक रूप से, अधिकांश VSAs को गहन शिक्षण और स्वचालित विभेदन (automatic differentiation) के व्यापक रूप से अपनाने से पहले विकसित किया गया था। उनका प्राथमिक ध्यान हाथ से डिज़ाइन किए गए प्रणालियों में प्रभावशीलता पर था, जो अक्सर शास्त्रीय AI कार्यों या संज्ञानात्मक विज्ञान से प्रेरित होते थे। हालाँकि, इस प्रारंभिक ध्यान ने VSAs को आधुनिक विभेदक प्रणालियों में एकीकृत करने का प्रयास करते समय कई मौलिक सीमाओं, या "दर्द बिंदुओं" को जन्म दिया:

1. कम्प्यूटेशनल जटिलता: शुरुआती VSA विधियों, जैसे कि TPR, अव्यावहारिक कम्प्यूटेशनल जटिलता से ग्रस्त थीं। उदाहरण के लिए, TPR का उपयोग करके $p$ मदों को एक साथ बांधने से $O(d^p)$ जटिलता उत्पन्न होती है, जहाँ $d$ सदिश आयाम है। यहाँ तक कि अधिक सामान्य रैखिक VSAs, जो बंधन को मैट्रिक्स ऑपरेशन के रूप में दर्शाते हैं, आमतौर पर $O(d^2)$ जटिलता का कारण बनते हैं, जिससे वे वास्तविक समय या बड़े पैमाने के अनुप्रयोगों के लिए बहुत धीमे हो जाते हैं।
2. संख्यात्मक अस्थिरता: अन्य लोकप्रिय VSA विधियाँ, जैसे कि होलोग्राफिक रिड्यूस्ड रिप्रेजेंटेशन (HRR) [32], फूरियर ट्रांसफॉर्म (FT) और सर्कुलर कनवल्शन पर निर्भर करती हैं। शक्तिशाली होने के बावजूद, इन ऑपरेशनों में अपरिमेय गुणन (irrational multiplications) और जटिल संख्याएँ शामिल होती हैं, जो व्यावहारिक कार्यान्वयनों में संख्यात्मक अस्थिरता का कारण बन सकती हैं। पूर्व कार्य [9] ने इसे कम करने के लिए प्रक्षेपण चरणों का प्रयास किया, लेकिन अंतर्निहित समस्या बनी रही।
3. विभेदक प्रणालियों में उप-इष्टतम प्रदर्शन: कई मौजूदा VSA विधियों को आधुनिक गहन शिक्षण ढाँचों में निर्बाध एकीकरण के लिए आवश्यक गुणों के साथ डिज़ाइन नहीं किया गया था। ग्रेडिएंट डिसेंट और स्वचालित विभेदन के साथ उपयोग किए जाने पर उनमें अक्सर अनुकूल कम्प्यूटेशनल दक्षता और संख्यात्मक स्थिरता की कमी होती है, जिससे आधुनिक न्यूरो-प्रतीकात्मक AI कार्यों में अवांछित प्रदर्शन होता है।

यह पत्र इन सीमाओं को हैडामार्ड-व्युत्पन्न रैखिक बंधन (HLB) नामक एक नए VSA को व्युत्पन्न करके संबोधित करता है, जिसका उद्देश्य वाल्श हैडामार्ड ट्रांसफॉर्म के गुणों का लाभ उठाकर बंधन के लिए $O(d)$ जटिलता, बेहतर संख्यात्मक स्थिरता और विभेदक गहन शिक्षण अनुप्रयोगों में बेहतर प्रदर्शन प्रदान करना है।

सहज डोमेन शब्द

इस पत्र में अवधारणाओं को सुलभ बनाने के लिए, आइए कुछ विशेष शब्दों को रोजमर्रा की उपमाओं के साथ तोड़ें:

• सदिश प्रतीकात्मक वास्तुकला (VSAs): कल्पना कीजिए कि आपके मस्तिष्क में अद्वितीय "विचार-सदिशों" का एक सेट है, जहाँ प्रत्येक सदिश "बिल्ली", "खुश" या "लाल" जैसी मूल अवधारणा का प्रतिनिधित्व करता है। VSAs एक विशेष मानसिक भाषा की तरह हैं जो आपको इन विचार-सदिशों को नए, अधिक जटिल विचारों, जैसे "खुश बिल्ली" या "लाल कार" बनाने के लिए संयोजित करने की अनुमति देती है, और फिर बाद में अपने मस्तिष्क से उन जटिल विचारों के हिस्सों को "पूछने" की अनुमति देती है। यह कंप्यूटर के लिए संख्याओं का उपयोग करके, शब्दों के साथ हमारे द्वारा किए जाने वाले तरीके से अवधारणाओं में हेरफेर करने का एक तरीका है।
• बंधन (Binding): यह दो या दो से अधिक अवधारणा-सदिशों को संयोजित करने की प्रक्रिया है ताकि एक नया सदिश बनाया जा सके जो उनके संबंध या संरचना का प्रतिनिधित्व करता हो। इसे एक नुस्खे में दो सामग्री मिलाने की तरह सोचें, जैसे "आटा" और "पानी", "आटा" प्राप्त करने के लिए। "आटा" एक नई इकाई है जिसमें दोनों मूल सामग्री होती है, लेकिन संयुक्त रूप में। VSAs में, "बिल्ली" और "खुश" को बांधने से "खुश बिल्ली" के लिए एक नया सदिश बनता है।
• बंधन-मुक्त करना (Unbinding): यह बंधन का विपरीत है। एक संयुक्त अवधारणा-सदिश (जैसे "आटा") और उसके मूल घटकों में से एक ("आटा") को देखते हुए, बंधन-मुक्त करना आपको दूसरे घटक ("पानी") को पुनः प्राप्त करने की अनुमति देता है। यह "खुश बिल्ली" सदिश और "खुश" सदिश को लेने और फिर "बिल्ली" सदिश को पुनः प्राप्त करने में सक्षम होने जैसा है। यह ऑपरेशन मिश्रित अभ्यावेदन से जानकारी को क्वेरी करने और निकालने के लिए महत्वपूर्ण है।
• हैडामार्ड ट्रांसफॉर्म (Hadamard Transform): एक विशेष प्रकार की डिजिटल "शफलिंग" या "एन्कोडिंग" प्रक्रिया की कल्पना करें। फूरियर ट्रांसफॉर्म की तुलना में अधिक जटिल, जो तरंगों और काल्पनिक संख्याओं से संबंधित है, हैडामार्ड ट्रांसफॉर्म बहुत सरल है। यह केवल जोड़ और घटाव का उपयोग करता है, और इसके आउटपुट मान हमेशा +1 या -1 होते हैं। यह इसे बहुत तेज़ और संख्यात्मक रूप से स्थिर बनाता है, जैसे एक सुपर-कुशल, नो-फ्रिल्स डेटा कंप्रेसर जिसे उलटना आसान है।
• न्यूरो-प्रतीकात्मक AI (Neuro-symbolic AI): यह कृत्रिम बुद्धिमत्ता के लिए एक दृष्टिकोण है जो दोनों दुनियाओं के सर्वश्रेष्ठ को प्राप्त करने का प्रयास करता है: तंत्रिका नेटवर्क की सहज, पैटर्न-सीखने की क्षमताएं (जैसे मनुष्य चेहरों को कैसे पहचानते हैं) और पारंपरिक प्रतीकात्मक AI का तार्किक, नियम-आधारित तर्क (जैसे कंप्यूटर निर्देशों का पालन कैसे करते हैं)। यह एक AI है जो एक संरचित तरीके से "महसूस" और "सोच" दोनों कर सकता है, प्रत्येक दृष्टिकोण की सीमाओं को अकेले उपयोग किए जाने पर दूर करने का लक्ष्य रखता है।

संकेतन तालिका

संकेतन	विवरण
$B(x, y)$	बंधन ऑपरेशन, जो दो अवधारणाओं/सदिशों $x$ और $y$ को एक नए सदिश $z$ का उत्पादन करने के लिए जोड़ता है।
$B^*(x, y)$	बंधन-मुक्त करने का ऑपरेशन, जो दूसरे घटक को देखते हुए एक बंधे हुए सदिश के एक घटक को पुनः प्राप्त करता है।
$x, y, z$	VSA स्थान में अवधारणाओं या डेटा बिंदुओं का प्रतिनिधित्व करने वाले सामान्य सदिश।
$d$	VSA में सदिशों का आयाम, अर्थात, $x \in \mathbb{R}^d$।

समस्या परिभाषा और बाधाएँ

मुख्य समस्या सूत्रीकरण और दुविधा

इस पत्र द्वारा संबोधित मुख्य समस्या आधुनिक गहन शिक्षण प्रणालियों पर लागू होने पर मौजूदा सदिश प्रतीकात्मक वास्तुकला (VSAs) की सीमाओं में निहित है।

प्रारंभ बिंदु (इनपुट/वर्तमान स्थिति):
वर्तमान VSAs दो सदिशों, $x, y \in R^d$, जो अवधारणाओं का प्रतिनिधित्व करते हैं, को एक बंधन ऑपरेशन $B(x, y) = z$ का उपयोग करके एक नए मिश्रित सदिश $z \in R^d$ में बांधकर संचालित होते हैं। एक व्युत्क्रम बंधन ऑपरेशन, $B^*(x, y)$, एक घटक को पुनः प्राप्त करने की अनुमति देता है। जबकि ये वास्तुकला अपने प्राकृतिक प्रतीकात्मक AI-शैली के हेरफेर (क्रमविनिमेयता, साहचर्य, व्युत्क्रम ऑपरेशन) के कारण न्यूरो-प्रतीकात्मक विधियों के लिए आकर्षक मंच प्रदान करते हैं, उन्हें बड़े पैमाने पर गहन शिक्षण और स्वचालित विभेदन के व्यापक रूप से अपनाने से पहले विकसित किया गया था। परिणामस्वरूप, कई मौजूदा VSA विधियों में कई महत्वपूर्ण कमियां दिखाई देती हैं:
1. उच्च कम्प्यूटेशनल जटिलता: कई VSAs, विशेष रूप से जिन्हें रैखिक संचालन $B(a,b) = a^T G b$ और $B^*(a,b) = a^T F b$ (जहाँ $G$ और $F$ $d \times d$ मैट्रिक्स हैं) के रूप में देखा जाता है, बंधन चरण के लिए $O(d^2)$ की कम्प्यूटेशनल जटिलता का कारण बनते हैं। जबकि इसे विकर्ण मैट्रिक्स के लिए $O(d)$ तक कम किया जा सकता है, यह अक्सर अधिक जटिल, अभिव्यंजक बंधनों के लिए मामला नहीं होता है। टेंसर उत्पाद प्रतिनिधित्व (TPR), उदाहरण के लिए, $p$ मदों को बांधने के लिए अव्यावहारिक $O(d^p)$ जटिलता रखता है।
2. संख्यात्मक अस्थिरता: होलोग्राफिक रिड्यूस्ड रिप्रेजेंटेशन (HRR) जैसी विधियाँ, जो फूरियर ट्रांसफॉर्म और जटिल संख्याओं पर निर्भर करती हैं, वास्तविक-मूल्यवान सदिशों पर काम करते समय "अपरिमेय गुणन" के कारण संख्यात्मक अस्थिरता के प्रति संवेदनशील होती हैं।
3. विभेदक प्रणालियों में उप-इष्टतम प्रदर्शन: मौजूदा VSAs को विशेष रूप से ग्रेडिएंट-आधारित सीखने के लिए डिज़ाइन नहीं किया गया था, जिसका अर्थ है कि उनके गुण (जैसे क्रमविनिमेयता) बनाए नहीं रखे जा सकते हैं यदि उनके अंतर्निहित मैट्रिक्स को अतिरिक्त बाधाओं के बिना ग्रेडिएंट डिसेंट के माध्यम से सीखा गया था। गहन शिक्षण अनुप्रयोगों में उनका प्रदर्शन अक्सर अवांछित से कम होता है।

वांछित अंतिम बिंदु (आउटपुट/लक्ष्य स्थिति):
यह पत्र एक उपन्यास VSA, जिसे हैडामार्ड-व्युत्पन्न रैखिक बंधन (HLB) कहा जाता है, का परिचय देता है जो इन सीमाओं को पार करता है। लक्ष्य एक VSA विकसित करना है जो है:
1. कम्प्यूटेशनल रूप से कुशल: बंधन चरण के लिए $O(d)$ जटिलता प्राप्त करता है, जो $O(d^2)$ या $O(d \log d)$ (जो आमतौर पर हैडामार्ड ट्रांसफॉर्म से जुड़ा होता है, लेकिन यहां व्युत्पत्ति रैखिक जटिलता प्रदान करती है) से काफी तेज है।
2. संख्यात्मक रूप से स्थिर: केवल वास्तविक संख्याओं और सरल अंकगणित (जोड़, घटाव, और $\{-1, 1\}$ मान) पर काम करके जटिल-संख्या-आधारित VSAs की अस्थिरता के मुद्दों से बचता है।
3. अत्यधिक प्रभावी: शास्त्रीय VSA कार्यों और आधुनिक गहन शिक्षण अनुप्रयोगों दोनों में मौजूदा VSAs के बराबर या उससे बेहतर प्रदर्शन करता है।
4. विभेदक प्रणाली संगत: शुरू से ही विभेदक प्रणालियों के भीतर निर्बाध रूप से एकीकृत होने और अच्छा प्रदर्शन करने के लिए डिज़ाइन किया गया है, जो न्यूरो-प्रतीकात्मक AI का समर्थन करता है।
5. सममित: बंधन ऑपरेशन $B(x,y)$ सममित होना चाहिए, अर्थात, $B(x,y) = B(y,x)$, जो कई VSA अनुप्रयोगों के लिए एक वांछनीय गुण है।

लुप्त कड़ी या गणितीय अंतर:
सटीक लुप्त कड़ी एक VSA बंधन और बंधन-मुक्त करने की क्रियाविधि का व्युत्पत्ति है जो रैखिक कम्प्यूटेशनल जटिलता और संख्यात्मक स्थिरता प्राप्त करने के लिए हैडामार्ड ट्रांसफॉर्म के अनुकूल गुणों का लाभ उठाती है, जबकि मुख्य प्रतीकात्मक हेरफेर क्षमताओं को बनाए रखती है और विभेदक सीखने के लिए उत्तरदायी होती है। पिछले प्रयासों या तो जटिलता, अस्थिरता से ग्रस्त थे, या गहन शिक्षण एकीकरण के लिए स्पष्ट डिजाइन की कमी थी। यह पत्र फूरियर ट्रांसफॉर्म (HRR में प्रयुक्त) को हैडामार्ड ट्रांसफॉर्म से बदलकर, और इसकी अनूठी विशेषताओं, जैसे इसकी पुनरावर्ती संरचना और स्व-व्युत्क्रम गुण का फायदा उठाने के लिए बंधन और बंधन-मुक्त करने के संचालन को सावधानीपूर्वक डिजाइन करके इस अंतर को पाटता है।

दर्दनाक व्यापार-बंद या दुविधा:
इस समस्या को हल करने का प्रयास करने वाले पिछले शोधकर्ताओं को कई दर्दनाक व्यापार-बंदों द्वारा फँसाया गया है:
* अभिव्यक्ति बनाम कम्प्यूटेशनल लागत: समृद्ध, मिश्रित अभ्यावेदन प्राप्त करना (जैसे, कई मदों को बांधना) अक्सर कम्प्यूटेशनल जटिलता में घातीय वृद्धि की ओर ले जाता है, जैसा कि TPR की $O(d^p)$ लागत के साथ देखा गया है। यह अत्यधिक अभिव्यंजक प्रतीकात्मक संरचनाओं और व्यावहारिक गणना के बीच एक विकल्प के लिए मजबूर करता है।
* प्रतीकात्मक निष्ठा बनाम सीखने की क्षमता: जबकि VSAs शक्तिशाली प्रतीकात्मक गुण प्रदान करते हैं, उन्हें गहन तंत्रिका नेटवर्क में ग्रेडिएंट-आधारित सीखने के लिए अनुकूलित करने से अक्सर उन गुणों से समझौता होने का खतरा होता है। अंतर्निहित मैट्रिक्स $G$ और $F$ को अतिरिक्त बाधाओं के बिना सीखना वांछित क्रमविनिमेयता या साहचर्य को तोड़ सकता है। यह "न्यूरो-प्रतीकात्मक गुणों" को बनाए रखने और आधुनिक मशीन लर्निंग प्रतिमानों के लिए अनुकूलन के बीच एक दुविधा पैदा करता है।
* गणितीय लालित्य बनाम संख्यात्मक मजबूती: सर्कुलर कनवल्शन (HRR में) के लिए फूरियर ट्रांसफॉर्म जैसे गणितीय रूप से सुरुचिपूर्ण उपकरणों का उपयोग करने से जटिल संख्याएँ और अपरिमेय गुणन पेश होते हैं, जो व्यावहारिक प्रणालियों में वास्तविक-मूल्यवान सदिशों के साथ लागू होने पर संख्यात्मक अस्थिरता का कारण बन सकते हैं। यह सैद्धांतिक शुद्धता और मजबूत, वास्तविक दुनिया के प्रदर्शन के बीच एक विकल्प के लिए मजबूर करता है।

बाधाएँ और विफलता मोड

समस्या को लेखकों द्वारा हिट की गई कई कठोर, यथार्थवादी दीवारों से अविश्वसनीय रूप से कठिन बना दिया गया है:

• कम्प्यूटेशनल जटिलता की दीवार: बंधन चरण के लिए $O(d)$ जटिलता की आवश्यकता एक सख्त बाधा है। कई मौजूदा VSAs में $O(d^2)$ या $O(d \log d)$ जटिलता होती है, जो उच्च-आयामी सदिशों ($d$) के लिए स्केलेबिलिटी के लिए एक महत्वपूर्ण बाधा है। यह बड़े पैमाने पर गहन शिक्षण मॉडल में उनकी प्रयोज्यता को सीमित करता है जहाँ दक्षता सर्वोपरि है।
• संख्यात्मक अस्थिरता: HRR जैसे मौजूदा VSAs के लिए एक प्रमुख विफलता मोड संख्यात्मक अस्थिरता है। यह जटिल संख्याओं और अपरिमेय गुणन से जुड़े ऑपरेशनों से उत्पन्न होता है, जो वास्तविक-मूल्यवान सदिशों से निपटते समय विशेष रूप से फ्लोटिंग-पॉइंट त्रुटियों और अविश्वसनीय परिणामों का कारण बन सकता है। प्रस्तावित समाधान को स्वाभाविक रूप से इससे बचना चाहिए।
• मिश्रित अभ्यावेदन में शोर संचय: जब कई अवधारणाओं को एक एकल मिश्रित सदिश में बांधा जाता है (अर्थात, $p \ge 2$ मदों को बंडल किया जाता है), तो शोर अनिवार्य रूप से जमा हो जाता है। यह शोर बंधन-मुक्त करने के ऑपरेशन की सटीकता को खराब करता है, जिससे व्यक्तिगत घटकों को मज़बूती से पुनः प्राप्त करना मुश्किल हो जाता है। इस तंत्र को कम करने के लिए एक तंत्र के बिना, जटिल प्रतीकात्मक संरचनाओं के लिए VSAs की उपयोगिता गंभीर रूप से सीमित है। पत्र दिखाता है कि प्रक्षेपण चरण के बिना, शोर घटक $\eta'$ प्रक्षेपण के साथ $\eta''$ की तुलना में काफी अधिक है।
• सदिश आरंभीकरण चुनौतियाँ: बंधन और बंधन-मुक्त करने के संचालन को सही ढंग से कार्य करने के लिए, सदिशों का अपेक्षित मान शून्य होना चाहिए। हालाँकि, यदि सदिश घटकों को इस तरह से आरम्भ किया जाता है कि मान शून्य के करीब हों, तो बंधन-मुक्त करने के दौरान इन क्वेरी सदिशों द्वारा बाद में विभाजन "शोर घटक को अस्थिर कर सकता है और संख्यात्मक अस्थिरता पैदा कर सकता है।" यह विशिष्ट आरंभीकरण बाधा एक सावधानीपूर्वक डिजाइन विकल्प की आवश्यकता है, जिससे सामान्य वितरण के मिश्रण (MiND) का परिचय होता है।
• एकाधिक बंधनों पर परिमाण स्थिरता: एक आदर्श VSA को अपने मिश्रित सदिशों के लिए एक स्थिर परिमाण बनाए रखना चाहिए, जिसका अर्थ है कि परिमाण "जैसे-जैसे $p$ बढ़ता है (बंधे हुए मदों की संख्या) विस्फोट/लुप्त नहीं होना चाहिए"। यह अन्य VSAs में अनुमानित बंधन प्रक्रियाओं के लिए एक सामान्य विफलता मोड है, जहाँ समानता स्कोर घटते हैं या बढ़ती $p$ के साथ परिमाण अस्थिर हो जाते हैं।
• हार्डवेयर मेमोरी सीमाएँ: एकल NVIDIA TESLA P100 GPU का उपयोग करके प्रयोगात्मक सेटअप जिसमें 32GB मेमोरी है, अंतर्निहित रूप से एक बाधा लगाता है कि किसी भी प्रस्तावित VSA को ऐसे विशिष्ट गहन शिक्षण हार्डवेयर वातावरण के भीतर संचालित करने के लिए पर्याप्त मेमोरी-कुशल होना चाहिए।
• बहु-लेबल वर्गीकरण में चरम विरलता: एक्सट्रीम मल्टी-लेबल (XML) वर्गीकरण जैसे अनुप्रयोगों में, संभावित वर्गों की संख्या ($L \ge 100,000$) इनपुट आयाम ($d \approx 5000$) से काफी अधिक है, और किसी दिए गए इनपुट के लिए केवल कुछ वर्गों का एक छोटा सा अंश प्रासंगिक है (अक्सर 100 से कम)। यह चरम विरलता पारंपरिक रैखिक परतों को कम्प्यूटेशनल रूप से निषेधात्मक ($O(L)$ जटिलता) बनाती है, जिसके लिए एक VSA की आवश्यकता होती है जो इस विशाल, विरल आउटपुट स्थान को कुशलतापूर्वक दर्शा सके (जटिलता को $O(K)$ तक कम कर सके जहाँ $K$ वर्तमान वर्गों की संख्या है)।

यह दृष्टिकोण क्यों

चुनाव की अनिवार्यता

हैडामार्ड-व्युत्पन्न रैखिक बंधन (HLB) को अपनाना केवल एक प्राथमिकता नहीं थी, बल्कि आधुनिक गहन शिक्षण संदर्भों में लागू होने पर मौजूदा सदिश प्रतीकात्मक वास्तुकला (VSAs) की अंतर्निहित सीमाओं से प्रेरित एक आवश्यकता थी। लेखकों ने महसूस किया कि पारंपरिक "SOTA" VSA विधियाँ, जैसे कि होलोग्राफिक रिड्यूस्ड रिप्रेजेंटेशन (HRR), वेक्टर-व्युत्पन्न ट्रांसफॉर्मेशन बाइंडिंग (VTB), और मल्टीप्लाई ऐड पर्म्यूट (MAP), विशेष रूप से संख्यात्मक स्थिरता, कम्प्यूटेशनल दक्षता और विभेदक प्रणालियों के साथ निर्बाध एकीकरण के संबंध में मौलिक रूप से अपर्याप्त थीं।

महत्वपूर्ण अहसास इस अवलोकन से उत्पन्न हुआ कि जबकि VSAs न्यूरो-प्रतीकात्मक विधियों के लिए एक आकर्षक मंच प्रदान करते हैं, कई मौजूदा दृष्टिकोणों को गहन शिक्षण और स्वचालित विभेदन के व्यापक रूप से अपनाने से पहले विकसित किया गया था। उदाहरण के लिए, HRR, जो फूरियर ट्रांसफॉर्म (FT) और सर्कुलर कनवल्शन पर निर्भर करता है, जटिल संख्याओं और अपरिमेय गुणन पर अपनी निर्भरता के कारण संख्यात्मक अस्थिरता से ग्रस्त है (पृष्ठ 3)। यह उन प्रणालियों में उपयोग करना चुनौतीपूर्ण बनाता है जिनके लिए मजबूत संख्यात्मक संचालन की आवश्यकता होती है, खासकर जब ग्रेडिएंट शामिल होते हैं।

इसके विपरीत, हैडामार्ड ट्रांसफॉर्म स्वाभाविक रूप से इन मुद्दों से बचता है। यह विशेष रूप से वास्तविक संख्याओं पर काम करता है, केवल जोड़ और घटाव करता है, जिससे अपरिमेय गुणन और जटिल संख्या अंकगणित समाप्त हो जाता है (पृष्ठ 3)। यह गुण संख्यात्मक स्थिरता बनाए रखने के लिए एक अनूठा व्यवहार्य समाधान बनाता है, जो विभेदक प्रणालियों में एक सर्वोपरि चिंता है जहाँ छोटी संख्यात्मक त्रुटियाँ फैल सकती हैं और सीखने को अस्थिर कर सकती हैं। इसके अलावा, हैडामार्ड मैट्रिक्स की स्व-व्युत्क्रम होने की संपत्ति बंधन-मुक्त करने के ऑपरेशन $B^*$ के डिजाइन को सरल बनाती है, जिससे समग्र प्रणाली अधिक सुरुचिपूर्ण और मजबूत हो जाती है।

तुलनात्मक श्रेष्ठता

HLB कई प्रमुख पहलुओं में पिछले स्वर्ण मानकों पर गुणात्मक श्रेष्ठता प्रदर्शित करता है, जो केवल प्रदर्शन मेट्रिक्स से परे है।

सबसे पहले, कम्प्यूटेशनल जटिलता के संदर्भ में, HLB अपने बंधन चरण के लिए प्रभावशाली $O(d)$ जटिलता प्राप्त करता है (पृष्ठ 1)। यह सामान्य रैखिक संचालन (जिन्हें कई VSAs के रूप में देखा जा सकता है) की $O(d^2)$ जटिलता या वाल्श-हैडामार्ड ट्रांसफॉर्म स्वयं से जुड़ी $O(d \log d)$ जटिलता की तुलना में एक महत्वपूर्ण संरचनात्मक लाभ है (पृष्ठ 2)। यह रैखिक जटिलता हैडामार्ड डोमेन में एक तत्व-वार उत्पाद के रूप में बंधन फ़ंक्शन को फिर से परिभाषित करके प्राप्त की जाती है, $B'(x, y) = x \odot y$ (पृष्ठ 5), जिससे यह उच्च-आयामी सदिशों के लिए विशेष रूप से कुशल हो जाता है।

दूसरे, संख्यात्मक स्थिरता एक मुख्य लाभ है। जैसा कि उल्लेख किया गया है, हैडामार्ड ट्रांसफॉर्म विशेष रूप से $\{-1, 1\}$ मानों और वास्तविक अंकगणित का उपयोग करता है, जो फूरियर ट्रांसफॉर्म-आधारित विधियों जैसे HRR में प्रचलित संख्यात्मक अस्थिरता के मुद्दों से पूरी तरह से बचता है, जिसमें जटिल संख्याएँ और अपरिमेय गुणन शामिल होते हैं (पृष्ठ 2, 3)। यह आंतरिक स्थिरता विश्वसनीय संचालन के लिए महत्वपूर्ण है, खासकर गहन शिक्षण में जहाँ मॉडल संख्यात्मक परिशुद्धता के प्रति संवेदनशील होते हैं।

तीसरे, HLB बेहतर शोर प्रबंधन प्रदर्शित करता है। पत्र एक प्रक्षेपण चरण (परिभाषा 3.2, पृष्ठ 4) का परिचय देता है जो बंधन के दौरान संचित शोर को काफी कम करता है। अनुभवजन्य परिणाम (चित्र 4, पृष्ठ 15) स्पष्ट रूप से दिखाते हैं कि इस प्रक्षेपण के साथ शोर घटक ($\eta''$) इसके बिना ($\eta'$) की तुलना में काफी कम है, जिससे पुनः प्राप्ति सटीकता में सुधार होता है। यह संरचनात्मक वृद्धि सीधे VSAs में एक सामान्य चुनौती को संबोधित करती है जहाँ शोर कई बंधनों के साथ जमा हो जाता है।

अंत में, HLB परिमाण और समानता स्कोर की उल्लेखनीय स्थिरता और स्थिरता प्रदर्शित करता है। चित्र 3 (पृष्ठ 7) दर्शाता है कि HLB लगातार वर्तमान मदों के लिए 1 का आदर्श समानता स्कोर लौटाता है और बंधे हुए सदिशों की संख्या की परवाह किए बिना एक स्थिर परिमाण बनाए रखता है। यह HRR, VTB, और MAP में देखी गई "विस्फोटक/लुप्त" मानों को रोकता है, जो स्थिर VSA समाधानों को डिजाइन करने और विश्वसनीय जानकारी पुनः प्राप्ति सुनिश्चित करने के लिए एक महत्वपूर्ण गुण है। यह स्थिरता सामान्य वितरण के मिश्रण (MiND) के गुणों के लिए जिम्मेदार है जिसका उपयोग सदिश आरंभीकरण (गुण 3.1, पृष्ठ 5) के लिए किया जाता है।

बाधाओं के साथ संरेखण

चुनी गई HLB विधि आधुनिक न्यूरो-प्रतीकात्मक AI के लिए उपयुक्त VSA विकसित करने की अंतर्निहित और स्पष्ट बाधाओं के साथ पूरी तरह से संरेखित होती है।

• कम्प्यूटेशनल दक्षता: VSAs के लिए एक प्राथमिक बाधा, विशेष रूप से गहन शिक्षण में, कम कम्प्यूटेशनल ओवरहेड है। HLB की $O(d)$ बंधन जटिलता सीधे इसे संबोधित करती है, जिससे यह उच्च-आयामी डेटा और बड़े पैमाने के अनुप्रयोगों के लिए संभव हो जाता है (पृष्ठ 1, 5)।
• संख्यात्मक स्थिरता: मजबूत संख्यात्मक संचालन की आवश्यकता HLB की नींव द्वारा पूरी की जाती है जो हैडामार्ड ट्रांसफॉर्म पर आधारित है, जो जटिल संख्याओं और अपरिमेय अंकगणित से बचता है, जिससे स्थिरता सुनिश्चित होती है (पृष्ठ 2, 3)।
• विभेदक प्रणालियों में प्रदर्शन: पत्र स्पष्ट रूप से एक VSA के लक्ष्य को बताता है जो "विभेदक प्रणालियों में अच्छा प्रदर्शन करता है" (सार, पृष्ठ 1)। HLB के रैखिक संचालन, वास्तविक-मूल्यवान प्रकृति और संख्यात्मक स्थिरता इसे स्वाभाविक रूप से ग्रेडिएंट-आधारित अनुकूलन के साथ संगत बनाती है, जो गहन शिक्षण का आधार है।
• न्यूरो-प्रतीकात्मक गुण: VSAs को उनके प्रतीकात्मक हेरफेर क्षमताओं (क्रमविनिमेयता, साहचर्य, व्युत्क्रम ऑपरेशन) के लिए महत्व दिया जाता है। हैडामार्ड ट्रांसफॉर्म "पहले से ही साहचर्य और वितरणात्मक" है (पृष्ठ 2), जिससे इन आवश्यक गुणों को अतिरिक्त जटिल बाधाओं के बिना संरक्षित करने के लिए डिजाइन को सरल बनाया जा सके।
• शोर प्रबंधन: मिश्रित अभ्यावेदन में शोर संचय की समस्या एक महत्वपूर्ण चुनौती है। HLB का MiND आरंभीकरण (समीकरण 6, पृष्ठ 5) और स्पष्ट प्रक्षेपण चरण (परिभाषा 3.2, पृष्ठ 4) इस शोर को कम करने और प्रबंधित करने के लिए तैयार किए गए हैं, जिससे कई बंधी हुई मदों के साथ भी सटीक पुनः प्राप्ति सुनिश्चित होती है।

समस्या की कठोर आवश्यकताओं और HLB के अनूठे गुणों के बीच यह "विवाह" इसके डिजाइन विकल्पों में स्पष्ट है, ट्रांसफॉर्म चयन से लेकर आरंभीकरण और प्रक्षेपण चरणों तक।

विकल्पों का अस्वीकरण

पत्र विशिष्ट समस्या संदर्भ के लिए अन्य लोकप्रिय VSA दृष्टिकोणों और अंतर्निहित रूप से, सामान्य गहन शिक्षण विधियों को अस्वीकार करने के लिए स्पष्ट तर्क प्रदान करता है।

• मौजूदा VSAs (HRR, VTB, MAP):
  • संख्यात्मक अस्थिरता: HRR, एक प्रमुख आधार रेखा, को स्पष्ट रूप से "जटिल संख्याओं के अपरिमेय गुणन के कारण संख्यात्मक अस्थिरता" के लिए आलोचना की जाती है (पृष्ठ 3)। यह HLB जैसे विकल्प की तलाश करने का एक सीधा कारण है जो वास्तविक-मूल्यवान संचालन का उपयोग करता है।
  • कम्प्यूटेशनल जटिलता: पत्र नोट करता है कि कई VSAs, यदि सामान्य रैखिक संचालन के रूप में लागू किए जाते हैं, तो $O(d^2)$ जटिलता का कारण बनेंगे, जो बहुत अधिक है (पृष्ठ 1)। टेंसर उत्पाद प्रतिनिधित्व (TPR) को कई मदों को बांधने के लिए "$O(d^p)$ जटिलता" के कारण "अव्यावहारिक" होने के कारण खारिज कर दिया गया है (पृष्ठ 2)। HLB की $O(d)$ जटिलता एक महत्वपूर्ण सुधार प्रदान करती है।
  • विभेदक प्रणालियों में प्रदर्शन: "अधिकांश VSAs" की एक सामान्य आलोचना यह है कि वे "गहन शिक्षण और स्वचालित विभेदन लोकप्रिय होने से पहले विकसित किए गए थे और इसके बजाय हाथ से डिज़ाइन की गई प्रणालियों में प्रभावशीलता पर ध्यान केंद्रित किया गया था" और "संख्यात्मक स्थिरता, कम्प्यूटेशनल जटिलता, या अन्यथा विभेदक प्रणाली के संदर्भ में अवांछित से कम प्रदर्शन में मुद्दे दिखाए हैं" (पृष्ठ 1)। यह आधुनिक अनुप्रयोगों के लिए उनकी अनुपयुक्तता को उजागर करता है।
  • शोर और स्थिरता के मुद्दे: चित्र 3 (पृष्ठ 7) अनुभवजन्य रूप से प्रदर्शित करता है कि HRR, VTB, और MAP-C/B बंधे हुए सदिशों की संख्या बढ़ने पर घटते समानता स्कोर और विस्फोटक/लुप्त परिमाण से ग्रस्त हैं। HLB की स्थिर परिमाण और आदर्श समानता स्कोर बनाए रखने की क्षमता विकल्पों में इन विफलताओं को सीधे संबोधित करती है।
• सामान्य गहन शिक्षण (जैसे, मानक CNNs, मूल प्रसार, ट्रांसफॉर्मर): यद्यपि सीधे तुलना में स्पष्ट रूप से "अस्वीकृत" नहीं किया गया है, "न्यूरो-प्रतीकात्मक AI" (सार, पृष्ठ 1) पर पत्र का ध्यान यह दर्शाता है कि विशुद्ध रूप से कनेक्शनिस्ट मॉडल में VSAs द्वारा प्रदान की जाने वाली अंतर्निहित प्रतीकात्मक हेरफेर क्षमताएं नहीं होती हैं। "कनेक्शनिस्ट सिम्बोलिक स्यूडो सीक्रेट्स" (CSPS) या "एक्सट्रीम मल्टी-लेबल क्लासिफिकेशन" (XML) जैसे कार्यों के लिए, VSAs के प्रतीकात्मक गुणों का विशिष्ट लाभों के लिए उपयोग किया जाता है:
  • CSPS: सुरक्षित कम्प्यूटेशन ऑफलोडिंग के लिए, होमोमोर्फिक एन्क्रिप्शन (HE) को "न्यूरल नेटवर्क चलाने से अधिक महंगा" माना जाता है, जिससे इसकी उपयोगिता विफल हो जाती है (पृष्ठ 8)। VSAs स्थानीय गणना को कम करते हुए इनपुट/आउटपुट को अस्पष्ट करने के लिए एक अनुमानित विकल्प प्रदान करते हैं। शुद्ध तंत्रिका नेटवर्क स्वाभाविक रूप से यह "एन्क्रिप्शन/डिक्रिप्शन" तंत्र प्रदान नहीं करेंगे।
  • XML: VSAs का उपयोग $O(L)$ कम्प्यूटेशनल जटिलता (जहां $L$ वर्गों की संख्या है) की लागत को "साइड-स्टेप" करने के लिए किया जाता है, प्रतीकात्मक हेरफेर का लाभ उठाकर इसे $O(K)$ तक कम किया जा सके (जहां $K$ वर्तमान वर्गों की संख्या है, $K \ll L$) (पृष्ठ 9)। मानक गहन शिक्षण आर्किटेक्चर में आमतौर पर एक बड़ी आउटपुट परत की आवश्यकता होगी, जिससे $O(L)$ लागत आएगी जिससे VSAs को बचने के लिए डिज़ाइन किया गया है।

Figure 4. shows the heatmap visualization of the noise for both η˝ i and ηπ i in natural log scale. The amount of noise accumulated without any projection to the inputs is much higher compared to the noise accumulation with the projection. For varying n and ρ, the maximum amount of noise accumulated when projection is applied is 7.18 and without any projection, the maximum amount of noise is 19.38. Also, most of the heatmap of ηπ i remains in the blue region whereas as n and ρ increase, the heatmap of η˝ i moves towards the red region. Therefore, it is evident that the projection to the inputs diminishes the amount of accumulated noise with the retrieved output

गणितीय और तार्किक तंत्र

मास्टर समीकरण

हैडामार्ड-व्युत्पन्न रैखिक बंधन (HLB) तंत्र का मूल इसके बंधन और बंधन-मुक्त करने के संचालन की परिभाषा में निहित है, जो वाल्श-हैडामार्ड ट्रांसफॉर्म का लाभ उठाते हैं। इस परिवर्तन तर्क को परिभाषित करने वाले पूर्ण कोर समीकरण बंधन फ़ंक्शन और बंधन-मुक्त करने के फ़ंक्शन हैं, विशेष रूप से प्रदर्शन और स्थिरता को बढ़ाने के लिए प्रक्षेपित इनपुट पर लागू होने पर।

दो सदिशों $x, y \in \mathbb{R}^d$ के लिए बंधन ऑपरेशन $B(x,y)$ को इस प्रकार परिभाषित किया गया है:
$$ B(x,y) = \frac{1}{d} H(Hx \odot Hy) \quad \text{(समीकरण 2)} $$

जब कई बंधी हुई जोड़ियों से बनी एक मिश्रित प्रतिनिधित्व से निपटना हो, और इनपुट सदिशों पर एक प्रक्षेपण चरण लागू करने के बाद, बंधन-मुक्त करने का ऑपरेशन $B^*(\chi_p, \pi(y_i)^\dagger)$ एक मध्यवर्ती परिणाम देता है। प्रक्षेपण फ़ंक्शन $\pi(v)$ को $\pi(v) = \frac{1}{d} Hv$ के रूप में परिभाषित किया गया है। मिश्रित प्रतिनिधित्व $\chi_p$ को $p$ प्रक्षेपित बंधी हुई जोड़ियों का योग करके बनाया गया है: $\chi_p = \sum_{j=1}^p B(\pi(x_j), \pi(y_j))$। बंधन-मुक्त करने का ऑपरेशन, इस मिश्रित प्रतिनिधित्व पर एक प्रक्षेपित क्वेरी सदिश $\pi(y_i)$ के साथ लागू किया गया है, इस प्रकार दिया गया है:
$$ B^*(\chi_p, \pi(y_i)^\dagger) = \frac{1}{d} H \left( H \left( \sum_{j=1}^p \pi(x_j) \odot \pi(y_j) \right) \odot \frac{1}{H \pi(y_i)} \right) \quad \text{(समीकरण 4)} $$
पत्र फिर दिखाता है कि एक अतिरिक्त व्युत्क्रम प्रक्षेपण चरण के बाद, यह मध्यवर्ती परिणाम अंतिम पुनः प्राप्त आउटपुट को सरल बनाता है, जो लगभग $x_i$ ( $y_i$ से जुड़े मूल सदिश) प्लस एक शोर पद $\eta''$ है जब $p > 1$ होता है।

पद-दर-पद विच्छेदन

आइए इन मास्टर समीकरणों के घटकों को उनके गणितीय परिभाषाओं, भौतिक/तार्किक भूमिकाओं और लेखकों की डिजाइन पसंदों को समझने के लिए विच्छेदित करें।

बंधन समीकरण का विच्छेदन (समीकरण 2)

$$ B(x,y) = \frac{1}{d} H(Hx \odot Hy) $$

• $B(x,y)$:
  • गणितीय परिभाषा: इनपुट सदिशों $x$ और $y$ के बीच बंधन ऑपरेशन के परिणामस्वरूप आउटपुट सदिश।
  • भौतिक/तार्किक भूमिका: यह मुख्य फ़ंक्शन है जो दो अवधारणाओं, सदिशों $x$ और $y$ द्वारा दर्शाए गए, को एक एकल, नए सदिश में जोड़ता है। यह VSAs में मिश्रित अभ्यावेदन बनाने के लिए मौलिक निर्माण खंड है।
  • यह विकल्प क्यों: यह विशिष्ट रूप होलोग्राफिक रिड्यूस्ड रिप्रेजेंटेशन (HRR) में उपयोग किए जाने वाले सर्कुलर कनवल्शन में फूरियर ट्रांसफॉर्म को हैडामार्ड ट्रांसफॉर्म से बदलकर व्युत्पन्न किया गया है, जिसका उद्देश्य बेहतर कम्प्यूटेशनल दक्षता और संख्यात्मक स्थिरता है।
• $x, y$:
  • गणितीय परिभाषा: आयाम $d$ के इनपुट सदिश, $x, y \in \mathbb{R}^d$।
  • भौतिक/तार्किक भूमिका: प्रत्येक सदिश VSA ढांचे के भीतर एक व्यक्तिगत अवधारणा, प्रतीक या सूचना के टुकड़े का प्रतिनिधित्व करता है।
  • यह विकल्प क्यों: VSAs स्वाभाविक रूप से प्रतीकात्मक जानकारी को एन्कोड और हेरफेर करने के लिए उच्च-आयामी वास्तविक-मूल्यवान सदिशों पर काम करते हैं।
• $d$:
  • गणितीय परिभाषा: इनपुट सदिशों $x$ और $y$ का आयाम।
  • भौतिक/तार्किक भूमिका: एक सामान्यीकरण कारक के रूप में कार्य करता है।
  • यह विकल्प क्यों: $d$ से विभाजन VSAs में परिणामी बंधी हुई सदिश के परिमाण को एक उचित सीमा के भीतर बनाए रखने के लिए एक सामान्य अभ्यास है, जिससे मानों को विस्फोट होने से रोका जा सके और अनुमानित ऑर्थोगोनैलिटी गुणों को सुनिश्चित किया जा सके। यह हैडामार्ड ट्रांसफॉर्म को दो बार लागू करने से पेश किए गए स्केलिंग कारक का भी मुकाबला करता है ($H(Hv) = dv$)।
• $H$:
  • गणितीय परिभाषा: $d \times d$ का हैडामार्ड मैट्रिक्स। यह मैट्रिक्स केवल $+1$ और $-1$ प्रविष्टियों से बना है और पुनरावर्ती रूप से परिभाषित है (जैसे, $H_1 = [1]$, $H_{2n} = \begin{pmatrix} H_n & H_n \\ H_n & -H_n \end{pmatrix}$)।
  • भौतिक/तार्किक भूमिका: एक सदिश पर हैडामार्ड ट्रांसफॉर्म करता है।
  • यह विकल्प क्यों: हैडामार्ड ट्रांसफॉर्म को इसकी कम्प्यूटेशनल दक्षता (इस व्युत्पत्ति में रैखिक जटिलता $O(d)$, या फास्ट वाल्श-हैडामार्ड ट्रांसफॉर्म के लिए $O(d \log d)$), संख्यात्मक स्थिरता (केवल $\pm 1$ मान, जटिल संख्याओं या अपरिमेय गुणन से बचते हुए), और इसके सुविधाजनक गुण के लिए चुना गया है कि इसका ट्रांसपोज़ स्वयं का व्युत्क्रम है ($H^T = H$ और $H H = dI$), जो व्युत्क्रम संचालन के डिजाइन को सरल बनाता है।
• $Hx$:
  • गणितीय परिभाषा: सदिश $x$ का हैडामार्ड ट्रांसफॉर्म।
  • भौतिक/तार्किक भूमिका: इनपुट सदिश $x$ को उसके मूल डोमेन से हैडामार्ड डोमेन में बदलता है।
  • यह विकल्प क्यों: यह परिवर्तन बंधन ऑपरेशन के लिए महत्वपूर्ण है। सदिशों को हैडामार्ड डोमेन में बदलने से, तत्व-वार गुणन मूल डोमेन में सर्कुलर कनवल्शन के समान बंधन प्रभाव प्राप्त कर सकता है (जो आमतौर पर HRR के लिए फूरियर डोमेन में तत्व-वार गुणन के माध्यम से किया जाता है)।
• $Hy$:
  • गणितीय परिभाषा: सदिश $y$ का हैडामार्ड ट्रांसफॉर्म।
  • भौतिक/तार्किक भूमिका: इनपुट सदिश $y$ को हैडामार्ड डोमेन में बदलता है।
  • यह विकल्प क्यों: $Hx$ के समान तर्क।
• $\odot$:
  • गणितीय परिभाषा: तत्व-वार उत्पाद (हैडामार्ड उत्पाद के रूप में भी जाना जाता है)।
  • भौतिक/तार्किक भूमिका: यह ऑपरेटर हैडामार्ड डोमेन में परिवर्तित सदिशों के बंधन का वास्तविक कार्य करता है।
  • यह विकल्प क्यों: हैडामार्ड डोमेन में, तत्व-वार गुणन बंधन तंत्र के रूप में कार्य करता है, जैसा कि फूरियर डोमेन में सर्कुलर कनवल्शन के लिए होता है। यह ऑपरेशन कम्प्यूटेशनल रूप से कुशल है और VSAs के लिए वांछित बीजगणितीय गुणों को बनाए रखता है।
• $H(\dots)$:
  • गणितीय परिभाषा: व्युत्क्रम हैडामार्ड ट्रांसफॉर्म। चूंकि $H$ स्वयं का व्युत्क्रम है (एक स्केलिंग कारक $d$ तक), $H$ को फिर से लागू करने से प्रभावी रूप से पिछले ट्रांसफॉर्म का व्युत्क्रम हो जाता है।
  • भौतिक/तार्किक भूमिका: बंधे हुए सदिश को हैडामार्ड डोमेन से मूल सदिश स्थान में वापस बदलता है।
  • यह विकल्प क्यों: यह सुनिश्चित करने के लिए कि परिणामी बंधी हुई सदिश $B(x,y)$ मूल इनपुट के समान सदिश स्थान में रहता है, जिससे योग जैसे सुसंगत संचालन की अनुमति मिलती है।

बंधन-मुक्त करने के समीकरण का विच्छेदन (समीकरण 4)

$$ B^*(\chi_p, \pi(y_i)^\dagger) = \frac{1}{d} H \left( H \left( \sum_{j=1}^p \pi(x_j) \odot \pi(y_j) \right) \odot \frac{1}{H \pi(y_i)} \right) $$

• $B^*(\chi_p, \pi(y_i)^\dagger)$:
  • गणितीय परिभाषा: बंधन-मुक्त करने के ऑपरेशन के परिणामस्वरूप आउटपुट सदिश, एक मिश्रित प्रतिनिधित्व $\chi_p$ पर एक प्रक्षेपित क्वेरी सदिश $\pi(y_i)$ के व्युत्क्रम के साथ लागू किया गया।
  • भौतिक/तार्किक भूमिका: यह बंधन का व्युत्क्रम ऑपरेशन है, जिसे मिश्रित प्रतिनिधित्व से एक विशिष्ट अवधारणा (आदर्श रूप से $\pi(x_i)$) को पुनः प्राप्त करने के लिए डिज़ाइन किया गया है।
  • यह विकल्प क्यों: यह ऑपरेशन VSAs में ज्ञान पुनः प्राप्ति के लिए मौलिक है, जिससे सिस्टम मिश्रित क्या था "पूछ" सकता है।
• $\chi_p$:
  • गणितीय परिभाषा: $p$ व्यक्तिगत बंधी हुई जोड़ियों का योग करके बनाया गया एक मिश्रित प्रतिनिधित्व, जहाँ प्रत्येक इनपुट सदिश को प्रक्षेपण फ़ंक्शन $\pi$ द्वारा पूर्व-संसाधित किया गया है। गणितीय रूप से, $\chi_p = \sum_{j=1}^p B(\pi(x_j), \pi(y_j))$।
  • भौतिक/तार्किक भूमिका: एक एकल सदिश जो कई संघों या अवधारणाओं को संक्षेप में संग्रहीत करता है।
  • यह विकल्प क्यों: VSAs सदिशों के योग को मिश्रित संरचनाओं या संघों के सेट का प्रतिनिधित्व करने की अनुमति देते हैं, जो सदिश जोड़ की रैखिकता का लाभ उठाते हैं।
• $\pi(x_j), \pi(y_j)$:
  • गणितीय परिभाषा: प्रक्षेपित इनपुट सदिश, जहाँ $\pi(v) = \frac{1}{d} Hv$।
  • भौतिक/तार्किक भूमिका: मूल अवधारणा सदिशों $x_j, y_j$ के पूर्व-संसाधित संस्करण।
  • यह विकल्प क्यों: प्रक्षेपण चरण सदिशों को सामान्य करता है और उन्हें हैडामार्ड डोमेन में बदलता है। यह संख्यात्मक अस्थिरता को कम करने और शोर संचय को कम करने में मदद करता है, जो विशेष रूप से महत्वपूर्ण है जब कई मदों को एक साथ बंडल किया जाता है।
• $\sum_{j=1}^p (\dots)$:
  • गणितीय परिभाषा: $p$ व्यक्तिगत पदों पर योग, प्रत्येक प्रक्षेपित इनपुट सदिशों का एक तत्व-वार उत्पाद है।
  • भौतिक/तार्किक भूमिका: एक एकल मिश्रित सदिश में व्यक्तिगत बंधी हुई अभ्यावेदन (एक मध्यवर्ती रूप में) को एकत्रित करता है।
  • यह विकल्प क्यों: जोड़ की रैखिकता एक एकल सदिश में कई बंधी हुई जोड़ियों को बंडल करने की अनुमति देती है, जो जटिल संरचनाओं का प्रतिनिधित्व करने के लिए VSAs की एक प्रमुख विशेषता है।
• $\odot$:
  • गणितीय परिभाषा: तत्व-वार उत्पाद।
  • भौतिक/तार्किक भूमिका: योग के भीतर, यह हैडामार्ड डोमेन में प्रक्षेपित इनपुट के बंधन का प्रदर्शन करता है। योग के बाहर, यह क्वेरी के व्युत्क्रम के साथ गुणा करके बंधन-मुक्त करने का कार्य करता है।
  • यह विकल्प क्यों: तत्व-वार गुणन हैडामार्ड डोमेन में बंधन/बंधन-मुक्त करने के तंत्र के रूप में चुना गया है, जो इसकी दक्षता और बीजगणितीय गुणों के कारण है।
• $H(\sum \dots)$:
  • गणितीय परिभाषा: प्रक्षेपित इनपुट के तत्व-वार उत्पादों के योग पर लागू हैडामार्ड ट्रांसफॉर्म।
  • भौतिक/तार्किक भूमिका: यह मिश्रित प्रतिनिधित्व पर लागू एक मध्यवर्ती हैडामार्ड ट्रांसफॉर्म है।
  • यह विकल्प क्यों: यह बंधन-मुक्त करने की प्रक्रिया का हिस्सा है, योग को एक ऐसे डोमेन में बदलता है जो तत्व-वार विभाजन के लिए उपयुक्त है (व्युत्क्रम का गुणन)।
• $\frac{1}{H \pi(y_i)}$:
  • गणितीय परिभाषा: प्रक्षेपित क्वेरी सदिश $\pi(y_i)$ के हैडामार्ड ट्रांसफॉर्म के तत्व-वार व्युत्क्रम।
  • भौतिक/तार्किक भूमिका: यह पद हैडामार्ड डोमेन में "बंधन-मुक्त करने वाली कुंजी" के रूप में कार्य करता है।
  • यह विकल्प क्यों: व्युत्क्रम ऑपरेशन करने के लिए, कोई प्रभावी रूप से क्वेरी सदिश से "विभाजित" करता है। हैडामार्ड डोमेन में, यह प्रक्षेपित क्वेरी के हैडामार्ड-रूपांतरित व्युत्क्रम के साथ तत्व-वार गुणन द्वारा प्राप्त किया जाता है। व्युत्क्रम का उपयोग संपत्ति $Hx \cdot Hx^\dagger = 1$ से प्राप्त होता है।
• $H(\dots)$:
  • गणितीय परिभाषा: व्युत्क्रम हैडामार्ड ट्रांसफॉर्म।
  • भौतिक/तार्किक भूमिका: परिणाम को हैडामार्ड डोमेन से मूल सदिश स्थान में वापस बदलता है।
  • यह विकल्प क्यों: मूल इनपुट सदिशों के समान स्थान में पुनः प्राप्त सदिश प्राप्त करने के लिए, इसे व्याख्या योग्य और आगे VSA संचालन के लिए प्रयोग करने योग्य बनाने के लिए।
• $\frac{1}{d}$:
  • गणितीय परिभाषा: एक स्केलिंग कारक।
  • भौतिक/तार्किक भूमिका: पुनः प्राप्त सदिश के परिमाण को सामान्य करता है।
  • यह विकल्प क्यों: बंधन ऑपरेशन के समान, यह स्केलिंग सुसंगत सदिश परिमाण सुनिश्चित करती है और हैडामार्ड ट्रांसफॉर्म द्वारा पेश किए गए स्केलिंग का मुकाबला करती है, संख्यात्मक स्थिरता बनाए रखती है।

चरण-दर-चरण प्रवाह

आइए एक अमूर्त डेटा बिंदु, जैसे $x_1$, के जीवनचक्र को ट्रैक करें क्योंकि इसे $y_1$ के साथ एक मिश्रित प्रतिनिधित्व $\chi_p$ में बांधा जाता है ( $p-1$ अन्य जोड़ियों के साथ) और फिर बाद में बंधन-मुक्त किया जाता है।

1. अवधारणा आरंभीकरण: हम कच्चे अवधारणा सदिशों से शुरू करते हैं, उदाहरण के लिए, $x_1, y_1, \dots, x_p, y_p$, सभी $\mathbb{R}^d$ में स्थित हैं। इन सदिशों को आमतौर पर सामान्य वितरण के मिश्रण (MiND) $\Omega(\mu, 1/d)$ से नमूना लेकर आरम्भ किया जाता है, जो सुनिश्चित करता है कि उनका अपेक्षित मान शून्य है लेकिन एक गैर-शून्य निरपेक्ष माध्य है। यह आरंभीकरण संख्यात्मक स्थिरता के लिए एक मूलभूत कदम है।

2. इनपुट प्रक्षेपण: कोई भी बंधन होने से पहले, प्रत्येक व्यक्तिगत अवधारणा सदिश (जैसे, $x_j$ और $y_j$) एक प्रक्षेपण चरण से गुजरता है। किसी भी सदिश $v$ के लिए, इसमें हैडामार्ड ट्रांसफॉर्म और स्केलिंग लागू करना शामिल है: $\pi(v) = \frac{1}{d} Hv$। यह कच्चे इनपुट सदिशों को एक "प्रक्षेपित" रूप, $\pi(x_j)$ और $\pi(y_j)$ में बदलता है, जो सामान्यीकृत और हैडामार्ड डोमेन में होते हैं। यह पूर्व-संसाधन बाद में शोर को कम करने के लिए महत्वपूर्ण है।

3. व्यक्तिगत बंधन (प्रति जोड़ी): प्रक्षेपित अवधारणा सदिशों के प्रत्येक जोड़े के लिए, जैसे $(\pi(x_j), \pi(y_j))$, HLB बंधन ऑपरेशन $B(\pi(x_j), \pi(y_j))$ किया जाता है:

   • हैडामार्ड ट्रांसफॉर्म (अंतर्निहित): $\pi(v)$ की परिभाषा का अर्थ है कि $H(\pi(v)) = H(\frac{1}{d} Hv) = \frac{1}{d} H(Hv) = v$ । तो, जब समीकरण 2 का उपयोग करके $B(\pi(x_j), \pi(y_j))$ की गणना की जाती है, तो पद $H(\pi(x_j))$ और $H(\pi(y_j))$ प्रभावी रूप से $x_j$ और $y_j$ बन जाते हैं।
   • तत्व-वार बंधन: सदिश $x_j$ और $y_j$ को फिर एक तत्व-वार उत्पाद द्वारा संयोजित किया जाता है: $x_j \odot y_j$ । यह मुख्य साहचर्य कदम है, जो हैडामार्ड-जैसे डोमेन में एक बंधी हुई प्रतिनिधित्व बनाता है।
   • व्युत्क्रम हैडामार्ड ट्रांसफॉर्म और स्केलिंग: यह तत्व-वार उत्पाद $x_j \odot y_j$ को फिर हैडामार्ड मैट्रिक्स $H$ लागू करके और $1/d$ से स्केल करके वापस बदल दिया जाता है। परिणाम $B(\pi(x_j), \pi(y_j)) = \frac{1}{d} H(x_j \odot y_j)$ है।

4. मिश्रित प्रतिनिधित्व निर्माण: इन सभी $p$ व्यक्तिगत रूप से बंधी हुई सदिशों $B(\pi(x_j), \pi(y_j))$ को एक साथ जोड़ा जाता है। यह रैखिक योग एक एकल, उच्च-आयामी सदिश $\chi_p = \sum_{j=1}^p B(\pi(x_j), \pi(y_j))$ बनाता है, जो अब सभी $p$ संघों के बंडल का प्रतिनिधित्व करता है।

5. क्वेरी प्रक्षेपण (बंधन-मुक्त करने के लिए): जब हम एक विशिष्ट अवधारणा, जैसे $x_i$, को मिश्रित $\chi_p$ से पुनः प्राप्त करना चाहते हैं, तो हम इसके संबद्ध क्वेरी सदिश $y_i$ का उपयोग करते हैं। यह क्वेरी सदिश $y_i$ भी उसी प्रक्षेपण चरण से गुजरता है: $\pi(y_i) = \frac{1}{d} Hy_i$ ।

6. बंधन-मुक्त करने का ऑपरेशन (समीकरण 4): बंधन-मुक्त करने की प्रक्रिया $B^*(\chi_p, \pi(y_i)^\dagger)$ फिर सामने आती है:

   • मिश्रित रूपांतरण: हैडामार्ड ट्रांसफॉर्म $H$ को मिश्रित प्रतिनिधित्व $\chi_p$ पर लागू किया जाता है। $H$ की रैखिकता और $\chi_p$ की संरचना के कारण, यह $\sum_{j=1}^p (x_j \odot y_j)$ को सरल बनाता है। यह पूरे बंडल को एक ऐसे डोमेन में लाता है जहाँ व्यक्तिगत बंधी हुई जोड़ियाँ स्पष्ट रूप से तत्व-वार उत्पादों के रूप में दर्शाई जाती हैं।
   • क्वेरी रूपांतरण: हैडामार्ड ट्रांसफॉर्म $H$ को प्रक्षेपित क्वेरी सदिश $\pi(y_i)$ पर लागू किया जाता है, जो $H(\pi(y_i)) = y_i$ को सरल बनाता है।
   • व्युत्क्रम क्वेरी: इस रूपांतरित क्वेरी का तत्व-वार व्युत्क्रम, $1/y_i$, गणना की जाती है। यह हैडामार्ड डोमेन में "बंधन-मुक्त करने वाली कुंजी" के रूप में कार्य करता है।
   • तत्व-वार बंधन-मुक्त करना: रूपांतरित मिश्रित प्रतिनिधित्व $\sum_{j=1}^p (x_j \odot y_j)$ को फिर व्युत्क्रम क्वेरी $1/y_i$ से तत्व-वार गुणा किया जाता है। यह चरण $y_i$ घटक को "विभाजित" करने का प्रयास करता है, आदर्श रूप से $x_i$ को अलग करता है।
   • व्युत्क्रम हैडामार्ड ट्रांसफॉर्म और स्केलिंग: इस तत्व-वार गुणन के परिणाम को फिर हैडामार्ड मैट्रिक्स $H$ लागू करके और $1/d$ से स्केल करके वापस बदल दिया जाता है। यह मध्यवर्ती बंधन परिणाम $B^*(\chi_p, \pi(y_i)^\dagger)$ देता है।

7. व्युत्क्रम प्रक्षेपण (अंतिम आउटपुट): पत्र बताता है कि इस मध्यवर्ती परिणाम से "मूल डेटा" (अर्थात, मूल $x_i$) प्राप्त करने के लिए, एक व्युत्क्रम प्रक्षेपण चरण लागू किया जाता है। यह अंतिम चरण प्रभावी रूप से मध्यवर्ती परिणाम को समीकरण 5 में दिखाए गए रूप में सरल बनाता है, जो लगभग $x_i$ है यदि केवल एक जोड़ी बंधी हुई थी ($p=1$), या $x_i + \eta''$ (जहाँ $\eta''$ एक कम शोर घटक है) यदि कई जोड़ियाँ बंधी हुई थीं ($p>1$)।

अनुकूलन गतिकी

हैडामार्ड-व्युत्पन्न रैखिक बंधन (HLB) तंत्र, जैसा कि पत्र में वर्णित है, स्वयं एक सीखने का एल्गोरिथम नहीं है; बल्कि, यह एक निश्चित, गणितीय रूप से व्युत्पन्न संचालन का एक सेट है जिसे अत्यधिक कुशल और संख्यात्मक रूप से स्थिर होने के लिए डिज़ाइन किया गया है। इसलिए, इसकी "अनुकूलन गतिकी" में ग्रेडिएंट्स के माध्यम से आंतरिक मापदंडों के पुनरावृत्त अपडेट शामिल नहीं हैं। इसके बजाय, इसकी गतिकी इसके डिजाइन और यह बड़े, विभेदक प्रणालियों में सीखने की सुविधा कैसे प्रदान करता है, इसमें निहित है:

1. निश्चित, नियतात्मक संचालन: HLB के मुख्य बंधन और बंधन-मुक्त करने के कार्य हैडामार्ड मैट्रिक्स और तत्व-वार संचालन पर आधारित नियतात्मक परिवर्तन हैं। HLB संचालन के भीतर कोई प्रशिक्षण योग्य भार, पूर्वाग्रह या अन्य पैरामीटर नहीं हैं जिन्हें ग्रेडिएंट डिसेंट या किसी अन्य सीखने के नियम के माध्यम से अद्यतन किया जाता है। हैडामार्ड मैट्रिक्स एक पूर्वनिर्धारित, स्थिर घटक है।

2. अंतर्निहित संख्यात्मक स्थिरता: HLB का एक प्रमुख गतिशील गुण इसकी अंतर्निहित संख्यात्मक स्थिरता है। हैडामार्ड ट्रांसफॉर्म, डिजाइन द्वारा, केवल $\pm 1$ मानों के साथ संचालन करता है, जटिल संख्याओं और अपरिमेय गुणन से बचता है जो अन्य VSA विधियों जैसे HRR में अस्थिरता का कारण बन सकते हैं। इसके अलावा, सदिश आरंभीकरण (समीकरण 6) के लिए उपयोग किए जाने वाले सामान्य वितरण (MiND) का मिश्रण सुनिश्चित करता है कि सदिशों का अपेक्षित मान शून्य है लेकिन एक गैर-शून्य निरपेक्ष माध्य है। यह डिजाइन विकल्प बंधन-मुक्त करने की प्रक्रिया के दौरान शून्य के करीब विभाजन को रोकता है, जो अन्यथा संख्यात्मक विस्फोट का कारण बनेगा।

3. शोर में कमी तंत्र: प्रक्षेपण चरण ($\pi(x) = \frac{1}{d} Hx$) पुनः प्राप्ति सटीकता में सुधार के लिए HLB की आंतरिक गतिकी का एक महत्वपूर्ण हिस्सा है। बंधन से पहले इनपुट सदिशों पर इस प्रक्षेपण को लागू करके, तंत्र सक्रिय रूप से संचित शोर ($\eta''$) को कम करता है जो तब उत्पन्न होता है जब कई मदों को एक साथ बंडल किया जाता है। यह एक स्थिर, पूर्व-निर्धारित शोर में कमी की रणनीति है, न कि सीखी हुई, लेकिन यह सिस्टम के प्रदर्शन और मजबूती को महत्वपूर्ण रूप से प्रभावित करती है।

4. सिस्टम एकीकरण के लिए विभेदकता: जबकि HLB स्वयं नहीं सीखता है, इसे स्पष्ट रूप से "विभेदक प्रणालियों" के साथ संगत होने के लिए डिज़ाइन किया गया है। इसका मतलब है कि HLB बनाने वाले गणितीय संचालन (मैट्रिक्स गुणन, तत्व-वार उत्पाद, योग) सभी विभेदक हैं। परिणामस्वरूप, जब HLB को एक बड़े तंत्रिका नेटवर्क वास्तुकला में एम्बेड किया जाता है (जैसा कि कनेक्शनिस्ट सिम्बोलिक स्यूडो सीक्रेट्स और एक्सट्रीम मल्टी-लेबल क्लासिफिकेशन कार्यों में प्रदर्शित किया गया है), तो पूरे सिस्टम को अभी भी मानक ग्रेडिएंट-आधारित अनुकूलन एल्गोरिदम (जैसे, XML वर्गीकरण के लिए समीकरण 11 में कोसाइन समानता हानि) का उपयोग करके शुरू से अंत तक प्रशिक्षित किया जा सकता है। HLB तंत्र प्रतीकात्मक जानकारी का प्रतिनिधित्व करने और हेरफेर करने का एक स्थिर और कुशल तरीका प्रदान करता है इन सीखने की प्रणालियों के भीतर, जिससे आसपास के नेटवर्क मापदंडों को एक परिभाषित हानि परिदृश्य के आधार पर अनुकूलित किया जा सके। HLB संचालन स्वयं बिना किसी संशोधन के ग्रेडिएंट्स को पास करते हैं।

परिणाम, सीमाएँ और निष्कर्ष

प्रयोगात्मक डिजाइन और आधार रेखाएँ

लेखकों ने शास्त्रीय सदिश प्रतीकात्मक वास्तुकला (VSA) कार्यों और आधुनिक गहन शिक्षण अनुप्रयोगों दोनों में हैडामार्ड-व्युत्पन्न रैखिक बंधन (HLB) को मान्य करने के लिए सावधानीपूर्वक प्रयोगों को डिज़ाइन किया, उन्हें स्थापित आधार रेखाओं के विरुद्ध क्रूरतापूर्वक खड़ा किया।

शास्त्रीय VSA कार्यों के लिए, दो प्राथमिक परिदृश्यों का निर्माण किया गया था:

1. बुनियादी बंधन/बंधन-मुक्त करने की सटीकता: इस प्रयोग का उद्देश्य HLB की एक मिश्रित प्रतिनिधित्व से एक बंधी हुई सदिश को सही ढंग से पुनः प्राप्त करने की क्षमता को साबित करना था। सेटअप में 1000 यादृच्छिक सदिशों का एक पूल बनाना शामिल था। इस पूल से, सदिशों के $p$ जोड़े (जहाँ $p$ 1 से 25 तक था) का नमूना लिया गया, VSA के बंधन ऑपरेशन $B(x_i, y_i)$ का उपयोग करके बांधा गया, और फिर एक मिश्रित प्रतिनिधित्व $s = \sum_{i=1}^p B(x_i, y_i)$ बनाने के लिए जोड़ा गया। "पीड़ित" आधार रेखा मॉडल में होलोग्राफिक रिड्यूस्ड रिप्रेजेंटेशन (HRR) [32], वेक्टर-व्युत्पन्न ट्रांसफॉर्मेशन बाइंडिंग (VTB) [12], और मल्टीप्लाई ऐड पर्म्यूट (MAP) [10] शामिल थे। प्रत्येक मिश्रित $s$ के लिए, प्रयोग ने मूल बंडल का हिस्सा रहे सभी बाएं हाथ के घटकों $x_q$ के माध्यम से पुनरावृति की और बंधन-मुक्त करने के ऑपरेशन $B^*(s, x_q)$ का उपयोग करके उनके संबंधित $y_q$ को पुनः प्राप्त करने का प्रयास किया। एक पुनः प्राप्ति को सही माना गया यदि डॉट उत्पाद $B^*(s, x_q)^T y_q$ सभी अन्य $j \neq q$ के लिए $B^*(s, x_q)^T y_j$ से अधिक था। यह प्रक्रिया 50 परीक्षणों के लिए दोहराई गई, और निश्चित प्रमाण को विभिन्न सदिश आयामों $d$ (विशेष रूप से, VTB की बाधाओं को समायोजित करने के लिए पूर्ण वर्ग) पर बंधे हुए शब्दों $p$ की संख्या के विरुद्ध सटीकता के वक्र के नीचे के क्षेत्र (AUC) के रूप में प्रस्तुत किया गया।

2. क्रमिक बंधन/बंधन-मुक्त करने की स्थिरता: इस कार्य ने दोहराए गए बंधन संचालन के तहत समानता स्कोर की गुणवत्ता और सदिशों की परिमाण स्थिरता का मूल्यांकन किया। दो उप-परिदृश्यों का परीक्षण किया गया:

   • यादृच्छिक बंधन: एक प्रारंभिक सदिश $b_0$ को $p$ राउंड के लिए एक नए यादृच्छिक सदिश $x_t$ के साथ बांधकर क्रमिक रूप से संशोधित किया गया, जिसके परिणामस्वरूप $b_{t+1} = B(b_t, x_t)$ हुआ। लक्ष्य प्रत्येक $x_t$ को बंधन-मुक्त करना और पिछले $b_t$ को पुनः प्राप्त करना था।
   • ऑटो बाइंडिंग: एक एकल यादृच्छिक सदिश $x$ को विकसित हो रही स्थिति के साथ बार-बार बांधा गया: $b_{t+1} = B(b_t, x)$।
     इस प्रयोग के लिए आधार रेखाएँ HRR, VTB, और MAP-C थीं। चाही गई महत्वपूर्ण साक्ष्य यह थी कि क्या समानता स्कोर $B^*(b_{t+1}, x_t)^T b_t$ आदर्श रूप से 1 (एक वर्तमान मद के लिए) पर बना रहा और क्या सदिशों का परिमाण $||B^*(b_{t+1}, x_t)||_2$ स्थिर रहा, जिससे VSAs के सामान्य नुकसान से बचा जा सके, जैसे कि $p$ बढ़ने पर मानों का विस्फोट या लुप्त होना।

गहन शिक्षण अनुप्रयोगों के लिए, HLB को दो हालिया न्यूरो-प्रतीकात्मक कार्यों में एकीकृत किया गया था:

1. कनेक्शनिस्ट सिम्बोलिक स्यूडो सीक्रेट्स (CSPS) [3]: इस कार्य ने कम्प्यूटेशन को अविश्वसनीय तीसरे पक्ष को ऑफलोड करते समय इनपुट और आउटपुट को अस्पष्ट करने के लिए एक अनुमानित सुरक्षा के रूप में VSAs का उपयोग करने की खोज की। प्रयोग में इनपुट $x$ को एक यादृच्छिक VSA सदिश $s$ ( "गुप्त") को बांधना शामिल था ताकि एक अस्पष्ट प्रतिनिधित्व $B(s, x)$ बनाया जा सके। एक तीसरे पक्ष के नेटवर्क ने इस अस्पष्ट इनपुट को संसाधित किया, एक आउटपुट $y$ लौटाया, जिसे फिर गुप्त $B^*(y, s)$ के साथ स्थानीय रूप से बंधन-मुक्त किया गया ताकि अंतिम उत्तर प्राप्त किया जा सके। आधार रेखाएँ HRR, VTB, MAP-C, और MAP-B थीं। प्रयोग 32GB मेमोरी वाले एकल NVIDIA TESLA P100 GPU पर चलाए गए थे।

   • सटीकता: प्राथमिक मीट्रिक पांच मानक छवि डेटासेट पर टॉप@1 और टॉप@5 वर्गीकरण सटीकता थी: MNIST, SVHN, CIFAR-10, CIFAR-100, और Mini-ImageNet।
   • सुरक्षा: सूचना-छिपाने के दावे को क्रूरतापूर्वक साबित करने के लिए, समायोजित रैंड इंडेक्स (ARI) की गणना की गई। एक जासूस तीसरे पक्ष ने विभिन्न क्लस्टरिंग एल्गोरिदम (K-means, गॉसियन मिश्रण मॉडल, Birch, HDBSCAN) का उपयोग करके अस्पष्ट इनपुट $B(x, s)$ और आउटपुट $y$ को क्लस्टर करने का प्रयास किया। ARI स्कोर शून्य के करीब होना सफल सूचना छिपाने का निश्चित प्रमाण था, जो हमलावर के दृष्टिकोण से यादृच्छिक लेबल असाइनमेंट का संकेत देता है।

2. एक्सट्रीम मल्टी-लेबल (XML) क्लासिफिकेशन [9]: इस कार्य ने उन परिदृश्यों को संबोधित किया जहाँ एक एकल इनपुट को बड़ी संख्या में संभावित वर्गों में वर्गीकृत करने की आवश्यकता होती है ($C \gg d$, जहाँ $d$ इनपुट आयाम है), जो ई-कॉमर्स में आम है। VSA का उपयोग विरल आउटपुट स्थान का प्रतिनिधित्व करने के लिए किया गया था। प्रयोगात्मक सेटअप [9] से नेटवर्क विवरण का पालन किया, उनके मूल VSA को HLB और आधार रेखा VSAs (HRR, VTB, MAP) से बदल दिया। मूल्यांकन आठ विविध डेटासेट पर किया गया था (BIBTEX, DELICIOUS, MEDIAMILL, EURLEX-4K, EURLEX-4.3K, WIKI10-31K, AMAZON-13K, DELICIOUS-200K)। मुख्य मेट्रिक्स सामान्यीकृत डिस्काउंटेड संचयी लाभ (nDCG) और प्रोपेंसिटी-स्कोर nDCG (PSnDCG) थे, जो मल्टी-लेबल वर्गीकरण प्रदर्शन के मूल्यांकन के लिए मानक हैं।

साक्ष्य क्या साबित करता है

अनुभवजन्य साक्ष्य दृढ़ता से सैद्धांतिक दावों का समर्थन करते हैं और VSA अनुप्रयोगों की एक विस्तृत श्रृंखला में HLB के बेहतर या प्रतिस्पर्धी प्रदर्शन को प्रदर्शित करते हैं।

सैद्धांतिक सत्यापन:
पत्र यह सम्मोहक प्रमाण प्रदान करता है कि HLB के मुख्य गणितीय तंत्र इच्छानुसार काम करते हैं। मूल सदिश $x_i$ और उसके पुनः प्राप्त संस्करण $\hat{x}_i$ के बीच कोसाइन समानता $\phi$ लगभग $1/\sqrt{p}$ (प्रमेय 3.2) है, जो अनुभवजन्य रूप से हीटमैप्स (चित्र 1) और प्लॉट (चित्र 6) द्वारा मान्य है। यह प्रस्तावित समानता वृद्धि की प्रभावशीलता की पुष्टि करता है। इसके अलावा, मिश्रित प्रतिनिधित्व के मानदंड के लिए सैद्धांतिक भविष्यवाणी, $||X_p||_2 \approx \mu^2 \sqrt{p} \cdot d$ (प्रमेय B.1), प्रयोगात्मक परिणामों (चित्र 5) से भी निकटता से मेल खाती है, हालांकि $p$ बढ़ने पर कुछ भिन्नता के साथ अनुमानों के कारण। महत्वपूर्ण रूप से, HLB में पेश किया गया प्रक्षेपण चरण संचित शोर को कम करने में निश्चित रूप से दिखाया गया है। बिना प्रक्षेपण के शोर घटकों की तुलना करने वाले हीटमैप (चित्र 4) स्पष्ट रूप से दर्शाते हैं कि बिना प्रक्षेपण के अधिकतम शोर काफी अधिक (19.38) है जबकि प्रक्षेपण के साथ (7.18) है, यह साबित करते हुए कि यह वास्तुशिल्प विकल्प पुनः प्राप्ति सटीकता में सुधार के लिए प्रभावी है।

शास्त्रीय VSA कार्य:
बुनियादी बंधन/बंधन-मुक्त करने की सटीकता कार्य में, HLB लगातार HRR और VTB के तुलनीय, या उससे भी बेहतर प्रदर्शन दिखाता है, जबकि विभिन्न आयामों (चित्र 2) में MAP से निश्चित रूप से बेहतर प्रदर्शन करता है। यह कठोर साक्ष्य, AUC स्कोर के रूप में प्रस्तुत किया गया है, यह साबित करता है कि HLB के बंधन और बंधन-मुक्त करने के संचालन मजबूत हैं और मौलिक VSA संचालन के लिए प्रभावी हैं। और भी प्रभावशाली ढंग से, क्रमिक बंधन/बंधन-मुक्त करने की स्थिरता कार्य (चित्र 3) में, HLB वर्तमान मदों के लिए 1 के आदर्श समानता स्कोर और, महत्वपूर्ण रूप से, बंधे हुए सदिशों की संख्या $p$ की परवाह किए बिना एक स्थिर सदिश परिमाण बनाए रखकर बाहर खड़ा है। यह HRR, VTB, और MAP जैसे आधार रेखाओं पर एक महत्वपूर्ण लाभ है, जो घटते समानता स्कोर या विस्फोटक/लुप्त परिमाण प्रदर्शित करते हैं। यह स्थिरता निर्विवाद प्रमाण है कि HLB अन्य VSAs में प्रचलित एक प्रमुख संख्यात्मक स्थिरता मुद्दे को संबोधित करता है, जिससे यह जटिल प्रतीकात्मक प्रसंस्करण के लिए एक अधिक विश्वसनीय आधार बन जाता है।

गहन शिक्षण कार्य:
HLB की प्रभावशीलता गहन शिक्षण संदर्भों में मजबूती से फैली हुई है। कनेक्शनिस्ट सिम्बोलिक स्यूडो सीक्रेट्स (CSPS) कार्य में, HLB न केवल सभी पांच डेटासेट (MNIST, SVHN, CIFAR-10, CIFAR-100, Mini-ImageNet) पर सभी पूर्व VSA विधियों से वर्गीकरण सटीकता में काफी बेहतर प्रदर्शन करता है, जैसा कि तालिका 2 में दिखाया गया है, बल्कि यह बेहतर सूचना छिपाने को भी प्राप्त करता है। ARI स्कोर (तालिका 3) HLB के लिए SVHN, CIFARs, और Mini-ImageNet के लिए लगातार शून्य के करीब हैं, यह दर्शाता है कि एक जासूस तीसरे पक्ष को इनपुट या आउटपुट को क्लस्टर करना बहुत कठिन लगेगा, इस प्रकार इसके दोहरे लाभ को बेहतर सटीकता और बढ़ी हुई सुरक्षा साबित करता है। जबकि MNIST ने सभी विधियों के लिए ARI में कुछ गिरावट दिखाई, इसे CSPS सुरक्षा के लिए एक ज्ञात समस्या के रूप में स्वीकार किया गया है। यह दोहरा सुधार HLB की व्यावहारिक उपयोगिता का एक मजबूत प्रमाण है।

एक्सट्रीम मल्टी-लेबल (XML) क्लासिफिकेशन के लिए, HLB एक नया अत्याधुनिक (SOTA) स्थापित करता है। तालिका 4 आठ विविध डेटासेट पर nDCG और PSnDCG स्कोर प्रस्तुत करती है, जो "आसान" से "कठिन" तक सुविधाओं और लेबल के संदर्भ में हैं। HLB दोनों मेट्रिक्स के लिए सभी डेटासेट पर सर्वश्रेष्ठ स्कोर प्राप्त करता है, जो उच्च-आयामी, विरल आउटपुट स्थानों को कुशलतापूर्वक और प्रभावी ढंग से संभालने की इसकी बेहतर क्षमता को प्रदर्शित करता है। कई डेटासेट और मेट्रिक्स में यह व्यापक जीत HLB के मुख्य तंत्र के जटिल, वास्तविक दुनिया के गहन शिक्षण परिदृश्यों में मूर्त प्रदर्शन लाभों में तब्दील होने का निश्चित, निर्विवाद प्रमाण प्रदान करती है।

सीमाएँ और भविष्य की दिशाएँ

जबकि प्रस्तावित हैडामार्ड-व्युत्पन्न रैखिक बंधन (HLB) प्रभावशाली प्रदर्शन और सैद्धांतिक सुदृढ़ता प्रदर्शित करता है, कुछ सीमाओं को स्वीकार करना और इन निष्कर्षों को और विकसित करने के लिए भविष्य के विकास के लिए क्षेत्रों पर विचार करना महत्वपूर्ण है।

सीमाएँ:

एक अंतर्निहित सीमा, हालांकि स्पष्ट रूप से इस तरह से नहीं बताई गई है, गणितीय व्युत्पत्ति से उत्पन्न होती है। हैडामार्ड मैट्रिक्स, HLB का आधार, आम तौर पर सदिश आयाम $d$ को 2 की घात होने की आवश्यकता होती है। जबकि यह कई कम्प्यूटेशनल संदर्भों में आम है, यह मनमाने आयामों वाले अनुप्रयोगों के लिए पैडिंग या अन्य वर्कअराउंड की आवश्यकता हो सकती है, जिससे अक्षमताएं या जटिलताएं हो सकती हैं। पत्र यह भी नोट करता है कि प्रमेय B.1 में किया गया अनुमान (शोर पद $\xi$ को समीकरण 17 में छोड़ना) बंडल किए गए जोड़ों की संख्या $p$ बढ़ने पर मिश्रित प्रतिनिधित्व के मानदंड में वृद्धि की ओर ले जाता है (चित्र 5)। जबकि समग्र प्रवृत्ति बनी रहती है, यह बताता है कि अत्यंत बड़े $p$ के लिए, अनुमान कम सटीक हो सकता है, जिससे सिस्टम की पूर्वानुमान क्षमता प्रभावित हो सकती है या अधिक परिष्कृत शोर प्रबंधन की आवश्यकता हो सकती है।

इसके अलावा, CSPS में पेश की गई सुरक्षा, हालांकि HLB द्वारा काफी बेहतर है, को क्रिप्टोग्राफिक रूप से गारंटीकृत के बजाय अनुमानित के रूप में वर्णित किया गया है। MNIST डेटासेट के ARI परिणाम, कुछ गिरावट दिखाते हुए, इस बात की याद दिलाते हैं कि ऐसी सुरक्षा पूर्ण नहीं है। इसका तात्पर्य है कि कड़े, सिद्ध सुरक्षा की मांग करने वाले अनुप्रयोगों के लिए, CSPS ढांचे के भीतर HLB पर्याप्त नहीं हो सकता है। अंत में, जबकि बंधन चरण स्वयं $O(d)$ जटिलता का दावा करता है, पत्र HLB के समग्र कम्प्यूटेशनल पदचिह्न (जैसे, मेमोरी उपयोग, बहुत बड़े मॉडल के लिए प्रशिक्षण समय, या ऊर्जा खपत) में गहराई से नहीं उतरता है जब इसे बड़े पैमाने पर गहन शिक्षण प्रणालियों में एकीकृत किया जाता है, विशेष रूप से जब $d$ या $p$ चरम मूल्यों तक स्केल करते हैं।

भविष्य की दिशाएँ:

1. मनमाने आयामों और वैकल्पिक ट्रांसफॉर्म के लिए सामान्यीकरण:

   • चर्चा: HLB के लाभों को उन सदिश आयामों तक कैसे बढ़ाया जा सकता है जो 2 की घात नहीं हैं, बिना साधारण पैडिंग का सहारा लिए, जो अक्षम हो सकता है? क्या शोधकर्ता गैर-शक्ति-2 आयामों के लिए "अनुमानित" हैडामार्ड ट्रांसफॉर्म का पता लगा सकते हैं, या अन्य ऑर्थोगोनल ट्रांसफॉर्म की जांच कर सकते हैं जो समान कम्प्यूटेशनल लाभ और वांछनीय VSA गुण प्रदान करते हैं लेकिन आयामीता के साथ अधिक लचीले हैं? यह HLB की प्रयोज्यता को महत्वपूर्ण रूप से व्यापक बना सकता है।
   • दृष्टिकोण: सैद्धांतिक दृष्टिकोण से, यह हैडामार्ड आधार की सख्त गणितीय लालित्य को चुनौती देता है लेकिन व्यावहारिक इंजीनियरिंग समाधानों के द्वार खोलता है। अनुप्रयोग दृष्टिकोण से, यह विभिन्न मौजूदा डेटासेट और मॉडल में एकीकरण के लिए एक संभावित बाधा को दूर करता है।

2. न्यूरो-प्रतीकात्मक AI में सिद्ध सुरक्षा की ओर:

   • चर्चा: CSPS सुरक्षा अनुमानित होने को देखते हुए, अधिक मजबूत क्रिप्टोग्राफिक आदिम के साथ HLB को एकीकृत करने के लिए अगले कदम क्या हैं? क्या HLB की रैखिक गुणों और कुशल बंधन-मुक्त करने का लाभ अधिक सिद्ध सुरक्षा गारंटी प्रदान करने वाले न्यूरो-प्रतीकात्मक सिस्टम को डिजाइन करने के लिए उठाया जा सकता है, शायद होमोमोर्फिक एन्क्रिप्शन योजनाओं या सुरक्षित बहु-पक्षीय गणना प्रोटोकॉल के साथ संयोजन में? यह अनुमानित सुरक्षा से परे जाकर वास्तव में भरोसेमंद AI की ओर बढ़ेगा।
   • दृष्टिकोण: यह संवेदनशील अनुप्रयोगों के लिए एक महत्वपूर्ण क्षेत्र है। एक सुरक्षा-केंद्रित शोधकर्ता औपचारिक सत्यापन विधियों का पता लगाएगा, जबकि एक AI व्यवसायी प्रदर्शन के साथ सुरक्षा को संतुलित करने वाले व्यावहारिक, कुशल कार्यान्वयन की तलाश करेगा।

3. गतिशील $p$ अनुमान और अनुकूली समानता वृद्धि:

   • चर्चा: पत्र समानता वृद्धि चरण के लिए $p$ (बंडल किए गए जोड़ों की संख्या) को जानने या अनुमान लगाने के महत्व पर प्रकाश डालता है। जटिल, गतिशील न्यूरो-प्रतीकात्मक प्रणालियों में, $p$ हमेशा स्पष्ट रूप से ज्ञात नहीं हो सकता है। हम गतिशील रूप से $p$ का अनुमान लगाने वाले अनुकूली तंत्र या सीखे हुए अनुमानक कैसे विकसित कर सकते हैं, जो मिश्रित प्रतिनिधित्व से ही प्राप्त होते हैं, जिससे वास्तविक समय, संदर्भ-जागरूक समानता सुधार की अनुमति मिलती है?
   • दृष्टिकोण: यह VSA-आधारित प्रणालियों की स्वायत्तता और मजबूती को बढ़ाएगा। एक मशीन लर्निंग विशेषज्ञ $p$ अनुमान के लिए तंत्रिका नेटवर्क आर्किटेक्चर प्रस्तावित कर सकता है, जबकि एक संज्ञानात्मक वैज्ञानिक मिश्रित अभ्यावेदन में अनिश्चितता को संभालने वाले जैविक प्रणालियों के साथ समानताएं बना सकता है।

4. गैर-सममित बंधन और उन्नत संरचना का अन्वेषण:

   • चर्चा: जबकि HLB सममित है, पत्र VTB की गैर-सममित प्रकृति का उल्लेख करता है। किस प्रकार के प्रतीकात्मक संबंध या संज्ञानात्मक कार्य स्वाभाविक रूप से गैर-सममित बंधन से लाभान्वित होते हैं (जैसे, "एजेंट-क्रिया-वस्तु" संबंध)? क्या हैडामार्ड-व्युत्पन्न ढांचे को गैर-सममित बंधन संचालन का समर्थन करने के लिए विस्तारित या संशोधित किया जा सकता है, जबकि इसकी कम्प्यूटेशनल दक्षता और संख्यात्मक स्थिरता को बनाए रखा जा सके? यह निर्देशित संबंधों और अधिक जटिल अर्थ संबंधी संरचनाओं का प्रतिनिधित्व करने के लिए नई क्षमताएं खोल सकता है।
   • दृष्टिकोण: यह VSAs की अभिव्यक्ति में गहराई से उतरता है। एक भाषाविद् या संज्ञानात्मक AI शोधकर्ता विशिष्ट व्याकरणिक या तार्किक संरचनाओं की पहचान कर सकता है जिन्हें गैर-सममित बंधन की आवश्यकता होती है, गणितीय ढांचे को समृद्ध प्रतीकात्मक अभ्यावेदन को समायोजित करने के लिए धकेल रहा है।

5. उन्नत गहन शिक्षण आर्किटेक्चर के साथ गहरा एकीकरण:

   • चर्चा: HLB ने CSPS और XML में वादा दिखाया है। इसे अत्याधुनिक गहन शिक्षण आर्किटेक्चर में अधिक गहराई से और स्वाभाविक रूप से कैसे एकीकृत किया जा सकता है? क्या HLB-आधारित बंधन और बंधन-मुक्त करने के संचालन ट्रांसफॉर्मर मॉडल (जैसे, ध्यान तंत्र या स्थितिगत एन्कोडिंग के लिए), ग्राफ न्यूरल नेटवर्क, या आवर्तक तंत्रिका नेटवर्क में घटकों को बदल सकते हैं या बढ़ा सकते हैं ताकि उन्हें मजबूत प्रतीकात्मक तर्क क्षमताओं और बेहतर मिश्रित सामान्यीकरण से युक्त किया जा सके?
   • दृष्टिकोण: यह प्रतीकात्मक और कनेक्शनिस्ट AI के बीच की खाई को पाटने के बारे में है। एक तंत्रिका वास्तुकला डिजाइनर उपन्यास परत डिजाइनों का पता लगा सकता है, जबकि एक सैद्धांतिक कंप्यूटर वैज्ञानिक ऐसे हाइब्रिड सिस्टम में कम्प्यूटेशनल ग्राफ और सूचना प्रवाह का विश्लेषण कर सकता है।

6. प्रतिकूल हमलों और वास्तविक दुनिया के शोर के प्रति मजबूती:

   • चर्चा: जबकि प्रक्षेपण चरण शोर को कम करता है, HLB विभिन्न प्रकार के प्रतिकूल हमलों या वास्तविक दुनिया के सेंसर शोर के प्रति कितना मजबूत है, खासकर सुरक्षा-महत्वपूर्ण अनुप्रयोगों में? क्या आगे के तंत्र, जैसे मजबूत आरंभीकरण रणनीतियाँ, शोर-जागरूक प्रशिक्षण, या त्रुटि-सुधार कोड, को HLB के साथ एकीकृत किया जा सकता है ताकि शोर वाले या प्रतिकूल वातावरण में इसकी लचीलापन और विश्वसनीयता को बढ़ाया जा सके?
   • दृष्टिकोण: यह परिनियोजन के लिए महत्वपूर्ण है। एक सुरक्षा शोधकर्ता हमले के वैक्टर और बचाव पर ध्यान केंद्रित करेगा, जबकि एक इंजीनियर व्यावहारिक शोर मॉडल और हार्डवेयर-स्तरीय लचीलापन पर विचार करेगा।

7. हार्डवेयर त्वरण और ऊर्जा-कुशल कार्यान्वयन:

   • चर्चा: HLB की $O(d)$ बंधन जटिलता और हैडामार्ड ट्रांसफॉर्म पर निर्भरता (जो तेज एल्गोरिदम के लिए उत्तरदायी हैं) को देखते हुए, विशेष हार्डवेयर त्वरण के अवसर क्या हैं? क्या HLB को न्यूरोमॉर्फिक चिप्स, FPGAs, या अन्य कस्टम हार्डवेयर पर कुशलतापूर्वक लागू किया जा सकता है ताकि एज AI उपकरणों या बड़े पैमाने पर प्रतीकात्मक प्रसंस्करण प्रणालियों के लिए अल्ट्रा-लो पावर खपत और उच्च थ्रूपुट प्राप्त किया जा सके?
   • दृष्टिकोण: यह एक हार्डवेयर-सॉफ्टवेयर सह-डिजाइन चुनौती है। एक कंप्यूटर आर्किटेक्ट समानांतरकरण और मेमोरी एक्सेस पैटर्न की जांच करेगा, जबकि एक स्थिरता अधिवक्ता ऊर्जा-कुशल AI की क्षमता पर प्रकाश डालेगा।

Figure 5. shows the comparison between the theoretical relationship and actual experimental results where the norm of the composite representation is computed for µ “ 0.5 and ρ “ t1, 2, ¨ ¨ ¨ , 200u. The figure indicates that the theoretical relationship aligns with the experimental results. However, as the number of bundled pair increases, the variation in the norm increases. This is because of making the approximation by discarding ξ in Equation 17 Table 3. Clustering results of the main network inputs (top rows) and outputs (bottom rows) in terms of Adjusted Rand Index (ARI). Because CSPS is trying to hide information, scores near zero are better. Cell color corresponds to the cell absolute value, with blue indicating lower ARI and red indicating higher ARI. All numbers in percentages, and show HLB is better at information hiding Figure 6. Comparison between the theoretical and experimental ϕ ´ ρ relationship. Vectors of dimension d “ 512 are combined and retrieved with a varied number of vectors from 1 to 50. The zoom portion shows how closely experimental results match with the theoretical conclusion

अन्य क्षेत्रों के साथ समरूपता

संरचनात्मक कंकाल

यह पत्र उच्च-आयामी सदिशों को एक रैखिक परिवर्तन और तत्व-वार संचालन का उपयोग करके कुशलतापूर्वक बांधने और बंधन-मुक्त करने के लिए एक गणितीय ढांचा प्रस्तुत करता है, जिसे मजबूत प्रतीकात्मक-शैली के हेरफेर के लिए डिज़ाइन किया गया है।

दूर के चचेरे भाई

1. लक्ष्य क्षेत्र: क्वांटम सूचना सिद्धांत
   संबंध: पत्र का मुख्य तर्क, विशेष रूप से उच्च-आयामी सदिशों पर बंधन और बंधन-मुक्त करने के संचालन के लिए हैडामार्ड ट्रांसफॉर्म का इसका उपयोग, क्वांटम सूचना में एक लंबे समय से चली आ रही समस्या को दर्शाता है: क्वांटम अवस्थाओं का मजबूत उलझाव और अलगाव। क्वांटम कंप्यूटिंग में, हैडामार्ड गेट सुपरपोजिशन बनाने के लिए एक मौलिक ऑपरेशन है, जो कई अवस्थाओं में जानकारी का एक रूप "बंधन" है। चुनौती इन ऑपरेशनों को कुशलतापूर्वक और उच्च निष्ठा के साथ करना है, क्वांटम शोर (डीकोहेरेंस) को कम करना और जानकारी की अखंडता को बनाए रखना है। इसके बंधन/बंधन-मुक्त करने की क्रियाविधि में संख्यात्मक स्थिरता और शोर में कमी पर पत्र का जोर, क्वांटम जानकारी को मज़बूती से संयोजित करने और अलग करने में सक्षम दोष-सहिष्णु क्वांटम संचालन की आवश्यकता के लिए एक सीधा समानांतर है।

2. लक्ष्य क्षेत्र: सुरक्षित बहु-पक्षीय संगणना (SMC)
   संबंध: जानकारी को संयोजित करने और पुनः प्राप्त करने के लिए पत्र की विधि, विशेष रूप से "कनेक्शनिस्ट सिम्बोलिक स्यूडो सीक्रेट्स" (CSPS) कार्य में इसके अनुप्रयोग के रूप में, SMC में सुरक्षित डेटा एकत्रीकरण और होमोमोर्फिक एन्क्रिप्शन की समस्या का एक दर्पण प्रतिबिंब है। SMC में, कई पक्ष अपने व्यक्तिगत इनपुट को एक-दूसरे या केंद्रीय सर्वर को प्रकट किए बिना अपने निजी इनपुट पर संयुक्त रूप से एक फ़ंक्शन की गणना करना चाहते हैं। पत्र का बंधन ऑपरेशन, जहाँ एक इनपुट सदिश को मूल रूप को अस्पष्ट करने के लिए एक "गुप्त" सदिश के साथ जोड़ा जाता है, और फिर परिणाम को पुनः प्राप्त करने के लिए "बंधन-मुक्त" किया जाता है, एन्क्रिप्टेड या अस्पष्ट डेटा पर गणना करने की क्रिप्टोग्राफिक आवश्यकता को सीधे दर्शाता है। शोर के प्रति मजबूती और मूल जानकारी को सटीक रूप से पुनः प्राप्त करने की क्षमता दोनों संदर्भों में सर्वोपरि है, जो गोपनीयता और कम्प्यूटेशनल शुद्धता दोनों सुनिश्चित करती है।

3. लक्ष्य क्षेत्र: चिकित्सा इमेजिंग / छवि पुनर्निर्माण
   संबंध: कई बंधी हुई मदों से एक मिश्रित प्रतिनिधित्व बनाने और फिर इस मिश्रण से एक विशिष्ट घटक को सटीक रूप से बंधन-मुक्त करने के लिए पत्र का दृष्टिकोण, चिकित्सा इमेजिंग में अंधी स्रोत पृथक्करण या कलाकृति हटाने की समस्या के समान है। उदाहरण के लिए, fMRI या EEG में, कई शारीरिक संकेत (मस्तिष्क गतिविधि, हृदय गति, मांसपेशियों की गति) एक साथ रिकॉर्ड किए जाते हैं, जिससे एक जटिल, "बंधा हुआ" संकेत बनता है। लंबे समय से चली आ रही समस्या इन मिश्रित संकेतों को "बंधन-मुक्त" करना है ताकि विशिष्ट तंत्रिका गतिविधियों को अलग किया जा सके या कलाकृतियों को हटाया जा सके, अक्सर यह सटीक पूर्व ज्ञान के बिना कि उन्हें कैसे मिश्रित किया गया था। शोर संचय को मिश्रित अभ्यावेदन में संभालने और एक मजबूत पुनः प्राप्ति विधि प्रदान करने वाले पत्र के तंत्र, एल्गोरिदम की आवश्यकता के लिए एक सीधा सादृश्य प्रदान करते हैं जो जटिल, शोर वाले मापों से वांछित जैविक संकेतों को अलग कर सकते हैं।

क्या हो अगर परिदृश्य

क्या हो अगर चिकित्सा इमेजिंग में एक शोधकर्ता ने कल इस पत्र के सटीक समीकरण को "चोरी" कर लिया? एक परिदृश्य की कल्पना करें जहाँ एक नया fMRI स्कैनर कच्चे मस्तिष्क गतिविधि को एक उच्च-आयामी सदिश के रूप में कैप्चर करता है। पारंपरिक सिग्नल प्रोसेसिंग के बजाय, शोधकर्ता विभिन्न तंत्रिका गतिविधि पैटर्न (जैसे, विशिष्ट संज्ञानात्मक कार्यों से संबंधित) को अद्वितीय "टैग" सदिशों के साथ "बांधने" के लिए हैडामार्ड-व्युत्पन्न रैखिक बंधन (HLB) लागू करता है। इन बंधी हुई पैटर्न को फिर एक एकल, मिश्रित मस्तिष्क स्थिति सदिश में जोड़ा जाता है। यदि किसी शोधकर्ता ने इस पत्र के सटीक बंधन-मुक्त करने के समीकरण को "चोरी" किया, तो वे एक विशिष्ट टैग सदिश, जैसे "स्मृति पुनः प्राप्ति" के लिए क्वेरी करने के लिए इसका उपयोग कर सकते हैं, और तुरंत केवल उस कार्य से जुड़ी तंत्रिका गतिविधि को "बंधन-मुक्त" कर सकते हैं। इससे वास्तविक समय, उच्च-निष्ठा तंत्रिका संकेत अलगाव में एक सफलता मिलेगी। यह व्यापक पूर्व-संसाधन या सांख्यिकीय मॉडलिंग की आवश्यकता को दरकिनार करते हुए, जटिल मस्तिष्क गतिविधि से विशिष्ट संज्ञानात्मक प्रक्रियाओं के अभूतपूर्व रूप से स्वच्छ और प्रत्यक्ष दृश्य प्रदान करके न्यूरोफीडबैक थेरेपी, मस्तिष्क-कंप्यूटर इंटरफेस और न्यूरोलॉजिकल विकारों के निदान में क्रांति ला सकता है।

संरचनाओं की सार्वभौमिक पुस्तकालय

यह पत्र संरचनाओं की सार्वभौमिक पुस्तकालय को इस बात का प्रदर्शन करके समृद्ध करता है कि उच्च-आयामी जानकारी को मज़बूती से संयोजित करने और विघटित करने की चुनौती, चाहे वह कृत्रिम बुद्धिमत्ता में हो या अन्य डोमेन में, हैडामार्ड मैट्रिक्स जैसे परिवर्तनों के मौलिक बीजगणितीय गुणों के माध्यम से सुरुचिपूर्ण ढंग से संबोधित की जा सकती है।