Хтось малює архітектуру штучної нейромережі: скільки шарів, як вони з’єднані, за якими правилами міняються зв’язки. А тепер уяви структуру, де ніхто цього не робив. Група випадково з’єднаних вузлів отримує лише прості інструкції – коли і як підсилювати зв’язки між собою – і сама перебудовується у робочу мережу, здатну розпізнавати образи й класифікувати зображення. Саме це показали дослідники з MIT, і результат вони опублікували 9 жовтня в журналі PNAS. Повідомляє T4 з посиланням на news.mit.edu. Сенс тут не в тому, що чергова модель дещо покращила точність. Сенс у тому, що питання “а як взагалі навчається мозок?” раптом отримує підказку з боку машин. Мозок не має розробника у своєму штаті Коли штучний інтелект вчать виконувати завдання, підхід працює блискуче: мережа вчиться розпізнавати зображення, працювати з мовою, писати код. Але Ляо та його колеги з McGovern Institute for Brain Research та K. Lisa Yang Integrative Computational Neuroscience Center (ICoN) застерігають: мережі, спроєктовані людиною від початку до кінця, небагато розкажуть про те, як навчається біологічний мозок. “У мозку немає зовнішнього дизайнера чи архітектора, – каже Ляо. – Мозок мусить організувати себе сам. І нам треба зрозуміти, як прості правила змушують мозок це робити”. Різниця здається філософською, поки не згадаєш практику. Правила, які перебудовують нейронні зв’язки під час навчання тварини, у різних ділянках мозку можуть бути різними – або змінюватися з дорослішанням. Нейронауковці досі намагаються зрозуміти, як ці правила працюють і як їх можуть порушувати старіння чи хвороби. Без цього не буде ні нових терапій і стратегій профілактики, ні робочих нейроінтерфейсів. Тут є нюанс, який легко проґавити. Ляо згадує про розробку інтерфейсів мозок-комп’ютер: вони мають повертати здатність спілкуватися, коли мовні функції втрачені, або давати паралізованим пацієнтам керувати нейропротезами кінцівок. Але жоден із цих пристроїв не працюватиме без знання правил взаємодії між нейронами. “Цього не досягти, просто спроєктувавши схему, яка дуже добре працює”, – каже він. Тобто цінність нейромережі для нейронауки треба міряти не тим, наскільки вона ефективна, а тим, наскільки вона вміє організувати себе – причому не лише зв’язки, а й сам механізм, що ці зв’язки налаштовує. Правило “хто разом палає, той разом з’єднується” Ляо разом із Цзіїнем і Ганом, а також із Поджо та Гартнетт, поставили собі за мету створити й перевірити самоорганізовану обчислювальну мережу, яка вміє вчитися. Структура починається з кількох шарів випадково з’єднаних нейроноподібних елементів. У межах кожного шару до кожного компонента застосовуються ті самі правила про те, як налаштовувати зв’язки. “Вони просто взаємодіють між собою за цим правилом – і розвивають певний тип поведінки”, – пояснює Ляо. Це той самий принцип, який, за уявленнями нейронауки, перебудовує мозкові мережі, коли людина чи тварина навчається з досвіду. Він звучить так: нейрони, які активуються разом, з’єднуються разом. Простою мовою – якщо два з’єднані нейрони спрацьовують одночасно, зв’язок між ними міцнішає. Команда показала, що мережа, керована такими правилами, здатна навчитися розпізнавати патерни й класифікувати зображення. Механізм виглядає так: у моделі з’являються мотиви, що самозбираються за простими правилами, а вже з них будуються функціональні схеми. Це схоже на дитячий конструктор – окремі деталі не мають сенсу, доки з них не складається щось робоче. У міру навчання ці мотиви перебудовувалися за стратегією оптимізації, близькою до тієї, що вбудована в більшість сучасних систем машинного навчання – градієнтного спуску. У ньому зв’язки поступово коригують у відповідь на помилки, щоб покращити результат. І ось найцікавіше. Більшість сучасного ШІ реалізує градієнтний спуск через різновид алгоритму зворотного поширення – і нейронауковці вважають, що мозок навряд чи ним користується. Команда порівняла свою самоорганізовану мережу з мережами, спроєктованими для такого навчання, і виявила: перша показала результат приблизно того ж рівня. Що це означає на практиці Поджо каже, що знайти біологічний аналог зворотного поширення могло б дати значний поштовх і для ШІ, і для нейронауки. “Якщо синаптичні мотиви, які ми пропонуємо, справді використовуються мозком для того, що зворотне поширення робить для штучних мереж, то ми отримаємо сильний зв’язок на рівні фундаментальних механізмів між штучними й природними мережами – між машинами й мозком”, – говорить він. Але тут варто не перебільшувати. Ляо наголошує: самоорганізована мережа не обов’язково вчиться тим самим способом, що й мозок. Це радше критична відправна точка для біологічної правдоподібності. “Самоорганізація – це перший високорівневий каркас, – каже він. – Коли ми впораємося із самоорганізацією як мірилом, тоді можна говорити про наступний крок”. Для тих, хто далекий від нейронауки, це звучить абстрактно, поки не поглянути на наслідки з іншого боку. Головна мета групи – краще зрозуміти мозок. Та ці знання зрештою можуть покращити й системи машинного навчання, давши інженерам змогу створювати мережі, які працюють краще або більш по-людськи. Уявіть алгоритм, який вибудовує власну архітектуру під задачу замість того, щоб чекати, доки інженер вручну підбере кількість шарів і зв’язків. Для задач на кшталт медичної діагностики чи обробки даних із сенсорів це могло б означати менше ручної роботи й більше адаптивності. Щоправда, є й застереження, про яке в таких історіях зазвичай мовчать. Самоорганізація – це не магія й не гарантія, що мережа сама знайде оптимальну структуру за будь-яких умов. Вона працює, бо дослідники заклали правильні прості правила – а отже, пошук цих правил і є справжньою науковою роботою. Нечіткі або хибні правила дадуть мережу, яка або не навчиться, або навчиться небажаному. Тобто людське рішення нікуди не зникає – воно просто зміщується з рівня “намалюй архітектуру” на рівень “сформулюй правило”. Питання, на які шукають відповіді Що таке зворотне поширення і чому мозок ним не користується? Зворотне поширення (back-propagation) – це алгоритм, яким сучасні нейромережі налаштовують свої зв’язки: помилка “прокручується” назад крізь шари, і кожен зв’язок трохи коригується. Нейронауковці вважають, що біологічний мозок навряд чи має такий механізм, бо для нього потрібна інформація, якої нейрони в буквальному сенсі не бачать. Саме тому команда MIT шукала інший шлях – самоорганізацію за простими локальними правилами. Чим самоорганізована мережа відрізняється від звичайної? Звичайну мережу повністю проєктує розробник: структура, кількість шарів, спосіб навчання – усе задано ззовні. Самоорганізована починається з випадкових зв’язків і лише кількох простих інструкцій про те, коли і як їх змінювати. Далі мережа перебудовує себе сама, а механізм, що налаштовує зв’язки, теж виникає в процесі. Це вже можна застосувати в реальних продуктах? Поки що це фундаментальне дослідження, а не готовий продукт. Його цінність – у розумінні механізмів, а не в конкретному застосунку. Але саме такі роботи згодом живлять і нейроінтерфейси, і терапії, і нові підходи до машинного навчання. Чому це важливо для звичайної людини? Бо від розуміння того, як мозок навчається, залежать методики відновлення після інсультів, лікування нейродегенеративних хвороб і робота протезів, керованих думкою. А ще – бо ШІ, який сам вибудовує свою архітектуру, зрештою може виявитися ефективнішим за нинішні моделі, які вручну проєктують під кожну задачу. Ця робота не дає остаточної відповіді на питання, як навчається мозок. Вона пропонує інший спосіб оцінювати моделі – за здатністю організувати себе, а не за ефектністю на тестових даних. І якщо цей критерій приживеться, наступне покоління нейромереж може виглядати зовсім інакше: не намальоване людиною, а вирощене з кількох простих правил. Питання лише в тому, чи готові дослідники віддати машині ту частину роботи, яку досі робили самі – і чи зможуть вони сформулювати правила, які не приведуть до нічого путнього.The post Мережа без архітектора: як штучний інтелект сам будує механізм навчання first appeared on T4 - сучасні технології та наука.