English language
2022 год, том 26, выпуск 4 (PDF)
Приведены результаты анализа некоторых доступных источников, на основе которого была реализована автоматная модель обучения искусственных нейронных сетей.
Ключевые слова: распознавание изображений, искусственная нейронная сеть, автоматизированное машинное обучение, автоматная модель обучения, гиперпараметры.
Задача обучения на малой выборке решается за счет оптимизации параметров предобученной сверточной нейронной сети с ограничениями на веса сверток. Регуляризация весов осуществляется путем представления параметров свертки в виде набора сингулярных разложений матриц и обучения только сингулярных значений разложений. Исследуется влияние сингулярных значений на качество модели и динамика их изменений во время обучения. Приведены результаты применения предложенной регуляризации в сравнении с другими методами в задаче классификации рентгенологических снимков.
Ключевые слова: машинное обучение, свёрточные сети, разложение на сингулярные значения.
В рамках практического применения нейронных сетей количество параметров в сети намного больше, чем количество выборок в наборе данных, однако сеть по-прежнему имеет хорошие характеристики обобщения. Традиционно считается, что такие сверх-параметризованные и невыпуклые модели могут легко попадать в локальные минимумы при поиске оптимального решения и показывать плохую производительность обобщения, но на самом деле это не так. Хотя при некоторых условиях регуляризации возможно эффективно контролировать ошибку обобщения сети, по-прежнему трудно объяснить проблему обобщения для больших сетей. В данной статье мы определяем разницу между этапом переобучения и этапом изучения признаков путем количественной оценки влияния обновления одной выборки во время градиентного спуска на весь процесс обучения, выявив, что нейронные сети обычно меньше влияют на другие образцы на этапе переобучения. Кроме того, мы используем информационную матрицу Фишера для маскиров-ки градиента, полученного в процессе обратного распространения, тем самым замедляя поведение нейронной сети при переобучении и улучшая производительность обобщения нейронной сети.
Ключевые слова: Нейронные сети, обобщение, переобучение, информация фишера.
Показано, что при некоторых естественных ограничениях на элементный базис для любой рекуррентной схемы с фиксированным количеством входов можно построить функционально эквивалентную ей схему в том же базисе с использованием операций суперпозиции и не более чем двукратного применения операции обратной связи при линейном росте числа используемых задержек по сравнению с исходной схемной реализацией. Таким образом, доказана линейность порядка роста памяти при переходе к оптимальной (по количеству задержек) схеме с не более чем двумя обратными связями. В структуре построенных в работе рекуррентных схем с не более чем двумя обратными связями выделяются модули кратковременной и долгосрочной памяти. Полученный результат, в частности, справедлив для класса конечных автоматов, а также для класса нейронных схем, построенных из элементов, содержащих вентили.
Ключевые слова: рекуррентные схемы, обратная связь, линейная оценка, вентили.
В работе исследуется сложностная оценка алгоритма поиска компонент сильной связности в Adaptive Massively Parallel Computations (AMPC) модели. Данная модель, в отличие от иных более ограниченных распределенных формализаций, позволяет в рамках одного шага алгоритма строить дерево запросов в распределенную память. Получен вероятностный алгоритм, реализующий поиск компонент сильной связности за полилогарифмическое или сублинейное время, в зависимости от объема доступной локальной памяти. Объем требуемой локальной памяти является сублинейной величиной по отношению к числу вершин в графе.
Ключевые слова: распределенные алгоритмы, вероятностные алгоритмы, компоненты сильной связности.
В работе исследуется вопрос об угле между нормальными векторами разделяющих гиперплоскостей, задаваемых линейными тестовыми алгоритмами. Вопрос рассматривается для различных опорных множеств тестов.
Ключевые слова: линейные тестовые алгоритмы, разделяющие гиперплоскости, тупиковые тесты.
В данной статье рассматривается проблема \[K\]-и \[A\]-конечнопорожденности для предполных классов линейных автоматов, функционирующих над полем Галуа, состоящим из двух элементов. Для каждого исследуемого класса был предъявлен конечный базис. Совокупность исследуемых классов составляет \[А\]-критериальную систему в классе линейных автоматов.
Ключевые слова: конечный автомат, линейный автомат, операции композиции, обратная связь, полнота, замкнутый класс, предполный класс, \[К\]-конечнопорожденный класс, \[А\]-конечнопорожденный класс.
В данной статье рассматривается применение модели клеточного автомата с локаторами к задаче сложения векторов на прямой. Модель клеточного автомата с локаторами подразумевает возможность каждой ячейки автомата передавать сигнал на сколь угодно большие расстояния. В статье показано, что эта возможность позволяет уменьшить сложность рассматриваемой задачи с линейной до логарифмической по сравнению с классической моделью клеточного автомата.
Ключевые слова: клеточные автоматы, однородные структуры, сложение векторов.
Сейчас нам известны некоторые факты о полноте конечных множеств линейно-автоматных функций, найдены все предполные классы по операциям суперпозиции и композиции, выведены критерии полноты в терминах предполных классов. В данной работе доказаны оценки количества операций для выразимости задержки и нейтрального элемента в случая одноместных линейных автоматов, сохраняющих нулевую последовательность.
Ключевые слова: линейные автоматы, оценки сложности.
В работе рассматривается вопрос о классах функций, получаемых при использовании нейронных сетей над базисами с нелинейностями типа \[ max \]. Сначала в работе рассматриваются некоторые свойства непрерывных кусочно-линейных функций и порождающих их классов эквивалентности. Затем, на базе этих свойств доказывается теорема о том, что нейронные сети, построенные над базисом, состоящим из всех линейных функций и максимумов от любого числа аргументов в качестве нелинейностей, могут в точности восстанавливать любую выпуклую непрерывную кусочно-линейную функцию. Затем в работе рассматривается переход к RELU-базису, который является частным случаем базисов с нелинейностями типа max и доказывается теорема, аналогичная теореме, упомянутой выше. Также в работе обсуждается вопрос об оценке количества нейронов и слоев в полученных архитектурах. Доказательство всех упомянутых теорем конструктивно, то есть в них явно строятся архитектуры нейронных сетей, удовлетворяющих вышеописанным свойствам.
Ключевые слова: Нейронные сети, архитектура, восстановление функций, выразимость функций, выпуклые функции, кусочно-линейные функции, функция ReLU, функция максимума.