Создана архитектура, сочетающая глубокие нейронные сети и векторно-символьные модели

Исследователи из IBM Research Zürich и ETH Zürich недавно создали новую архитектуру, которая сочетает в себе два самых известных подхода к искусственному интеллекту, а именно глубокие нейронные сети и векторно-символьные модели. Их архитектура, представленная в Nature Machine Intelligence, могла преодолеть ограничения обоих этих подходов, более эффективно решая прогрессивные матрицы и другие задачи рассуждений. «Наша недавняя статья была основана на наших более ранних исследованиях, направленных на расширение и улучшение нейронных сетей с помощью мощного механизма векторно-символических архитектур (VSA)», — сказал Аббас Рахими, один из исследователей, проводивших исследование. «Эта комбинация ранее применялась к обучению за несколько шагов, а также к задачам непрерывного обучения за несколько шагов , достигая современной точности с меньшей вычислительной сложностью. В нашей недавней статье мы выводим эту концепцию за пределы восприятия, сосредоточив внимание на решение задач визуального абстрактного мышления, в частности, широко используемых тестов IQ, известных как прогрессивные матрицы Равена». Прогрессивные матрицы Равена — это невербальные тесты, обычно используемые для проверки IQ людей и навыков абстрактного мышления. Они состоят из ряда предметов, представленных в наборах, в которых отсутствует один или несколько предметов. Чтобы решить прогрессивные матрицы Равена, респонденты должны правильно определить недостающие элементы в заданных наборах среди нескольких возможных вариантов. Это требует расширенных способностей к рассуждению, таких как способность обнаруживать абстрактные отношения между объектами, которые могут быть связаны с их формой, размером, цветом или другими характеристиками. Нейро-векторно-символическая архитектура (NVSA), разработанная Рахими и его коллегами, объединяет глубокие нейронные сети, которые, как известно, хорошо справляются с задачами восприятия, с механизмом VSA. VSA — это уникальные вычислительные модели, которые выполняют символьные вычисления с использованием распределенных многомерных векторов. «Хотя наш подход может немного напоминать подходы нейросимволического ИИ, нейросимволический ИИ унаследовал ограничения своих отдельных компонентов глубокого обучения и классических символических компонентов ИИ», — пояснил Рахими. «Наша ключевая цель — устранить эти ограничения, а именно проблему связывания нейронов и исчерпывающий поиск, в NVSA, используя общий язык между нейронными и символическими компонентами». Комбинация глубоких нейронных сетей и VSA была поддержана двумя основными особенностями архитектуры. К ним относятся новый процесс обучения нейронной сети и метод выполнения преобразований VSA. «Мы разработали два ключевых компонента нашей архитектуры, — сказал Рахими. «Первый — это использование нового метода обучения нейронной сети в качестве гибкого средства обучения представлению с помощью VSA. Второй — это метод достижения надлежащих преобразований VSA, так что исчерпывающие вычисления вероятностей и поиски могут быть заменены более простыми алгебраическими операциями в VSA». В первоначальных оценках архитектура, разработанная Рахими и его коллегами, дала очень многообещающие результаты, решая прогрессивные матрицы Raven быстрее и эффективнее, чем другие архитектуры, разработанные в прошлом. В частности, он работал лучше, чем современные глубокие нейронные сети и подходы нейросимволического ИИ, достигнув новых рекордных показателей точности в 87,7% для набора данных RAVEN и 88,1% для набора данных I-RAVEN. «Чтобы решить тест Равена, требуется нечто, называемое вероятностным похищением, процесс, который включает в себя поиск решения в пространстве, определяемом предварительными знаниями о тесте», — сказал Рахими. «Предыдущее знание представлено в символической форме путем описания всех возможных реализаций правил, которые могли бы управлять тестами Равена. Чисто символический подход к рассуждению должен пройти через все допустимые комбинации, вычислить вероятность правила и суммировать их. Этот поиск становится вычислительным. узкое место в большом пространстве поиска из-за большого количества комбинаций, которые невозможно протестировать». В отличие от существующих архитектур, NVSA может выполнять обширные вероятностные вычисления в рамках одной векторной операции. Это, в свою очередь, позволяет ему решать задачи, связанные с абстрактными рассуждениями и аналогиями, такие как прогрессивные матрицы Равена, быстрее и точнее, чем другие подходы к ИИ, основанные только на глубоких нейронных сетях или VSA. «Наш подход также решает проблему связывания нейронов, позволяя одной нейронной сети отдельно распознавать различные свойства нескольких объектов одновременно в сцене», — сказал Рахими. «В целом, NVSA предлагает прозрачные, быстрые и эффективные рассуждения; и это самый первый пример, показывающий, как вероятностные рассуждения (как усовершенствование чисто логических рассуждений) могут эффективно выполняться с помощью распределенных представлений и операторов VSA. По сравнению с символическими рассуждениями нейросимволических подходов, вероятностные рассуждения NVSA на два порядка быстрее, с менее затратными операциями над распределенными представлениями». Новая архитектура, созданная этой командой, на данный момент оказалась очень многообещающей для эффективного и быстрого решения сложных логических задач. В будущем его можно будет протестировать и применить к различным другим проблемам, а также потенциально вдохновить на разработку других подобных подходов. «NVSA — это важный шаг к объединению различных парадигм ИИ в единую структуру для решения задач, связанных как с восприятием, так и с рассуждениями более высокого уровня », — добавил Рахими. «Интересно, что NVSA уже продемонстрировал степень обобщения различных невидимых комбинаций объектов и атрибутов объектов. Дальнейшее обобщение в этом направлении все еще остается открытой проблемой»....

Сообщает android-robot.com

 

Новость из рубрики: Технологии, Наука

 

Поделиться новостью:

 

Топ новости часа

• «Рано или поздно их действия вдохновят массового стрелка или спровоцируют убийство активиста». За что закрыли Kiwi Farms — форум, который многие называли «самым большим сообществом сталкеров» и «худшим местом интернета»...
• Дочь Тутберидзе Диана Дэвис: загадочный отец и строгая мать, болезнь, дуэт со Смолкиным, карьера...
• В США покупателям электровелосипедов выплатят по $1,5 тыс....
• Надежная доставка EMAIL клиентам...
• Названы главные фавориты чемпионата мира по League of Legends...
• Samsung Galaxy A21s, A02s и A03s обновляются до Android 12...