Ученые из Техасского университета в Остине представили «семантический декодер» – систему, которая использует языковую модель для анализа снимков МРТ и «расшифровки» мыслей. Ей не требуется прямой доступ к мозгу, она оценивает сделанные томографом снимки.
Функциональная магнитно-резонансная томография (фМРТ) позволяет определять активность нейронов головного мозга по усилению тока крови. Снимки получаются точными, но с шагом около десяти секунд. За этот отрезок времени человек успевает произнести или подумать пару десятков слов.
Сотрудник Техасского университета в Остине Александр Хат (Alexander Huth) и его коллеги воспользовались крупномасштабной языковой моделью-трансформером, обучив ее на данных томографии трех добровольцев. Люди читали аудиокниги по многу часов подряд, а нейросеть слушала их и регистрировала информацию со снимков мозга.
Таким образом она научилась отслеживать отдельные нейронные паттерны, активирующиеся в ответ на разные последовательности слов, а не каждое слово по отдельности. Правда, как отметили авторы исследования в опубликованной в журнале Nature Neuroscience статье, для эффективной работы нейросети человек должен тщательно фокусироваться на своих мыслях. Если же он отвлекается, точность расшифровки заметно снижается.
Как пишет Naked Science, технология может найти применение для помощи парализованным людям.
