Главная>Новости>Новости отрасли>ИИ-модель Microsoft превзошла результат человека в тесте SuperGLUE

18.01.2021

Посетителей: 24

Просмотров: 18

Время просмотра: 2.3

На данный момент модель занимает первое место в рейтинге с показателем в 90,3, в то время как среднее значение человеческих возможностей составляет 89,8 балла.

 

Тест SuperGLUE включает в себя ряд задач, которые разработаны для оценки способности ИИ-моделей распознавать и понимать естественный язык, например, дать правильный ответ на вопрос на базе прочитанного абзаца, определить, правильно ли используется многозначное слово в определенном контексте и т.д. Тест был разработан группой исследователей в 2019 г. Когда был представлен SuperGLUE, разрыв между самой эффективной моделью и показателями человека в таблице лидеров составлял почти 20 баллов.

 

Для того чтобы добиться текущего результата в 90,3 балла, DeBERTa получила масштабное обновление архитектуры: теперь она состоит из 48 слоев и имеет 1,5 млрд параметров. Microsoft сделает публичной модель и ее исходный код. Кроме того, DeBERTa будет интегрирована в следующую версию Тьюринговой модели Microsoft Turing (Turing NLRv4). Тьюринговые модели используются в таких продуктах Microsoft, как Bing, Office, Dynamics и Azure Cognitive Services, чтобы совершенствовать, к примеру, взаимодействие с чат-ботами, предоставление рекомендаций и ответов на вопросы, поиск, автоматизацию поддержки клиентов, создание контента и решение многих других задач на пользу сотен миллионов пользователей.

В отличие от других моделей, DeBERTa учитывает не только значения слов, но и их позиции и роли. К примеру, в предложении “a new store opened beside the new mall” (англ. «новый магазин открылся рядом с торговым центром») она может понять, что близкие по контекстному значению “store” («магазин») и “mall” («торговый центр») играют разные синтаксические роли (подлежащим здесь является именно “store”). Более того, она способна определять зависимость слов друг от друга. Например, DeBERTa понимает, что зависимость между словами “deep” и “learning” гораздо сильнее, когда они стоят рядом (термин «глубокое обучение»), чем когда они встречаются в разных предложениях.

 

Несмотря на то, что модель DeBERTa превзошла человеческие показатели в тесте SuperGLUE, это не означает, что ИИ-модель достигла уровня человека в понимании естественного языка. В отличии от машин, люди хорошо умеют использовать знания, ранее полученные при выполнении различных задач, для решения новых – это называется композиционным обобщением (англ. compositional generalization). Поэтому, несмотря на многообещающие результаты DeBERTa в тесте, необходимо продолжить исследования, для того чтобы развить у модели этот навык.

 

Microsoft активно работает над усовершенствованием технологий искусственного интеллекта. Так, в октябре 2020 г. был представлен прогрессивный ИИ-алгоритм для автоматической генерации подписей к изображениям, которые во многих случаях оказываются более точными, чем написанные людьми. Это позволит сделать продукты и сервисы Microsoft еще более инклюзивными и доступными для большего количества пользователей. В первую очередь, автоматическое описание помогает людям с нарушениями зрения при работе с документами или веб-страницами, а также в целом позволяет получить доступ к содержимому любого изображения, к примеру, при поиске или подготовке презентаций.

Уведомления об обновлении новостей – в вашей почте

«Супераппом НЛМК ежемесячно пользуются 30 000 сотрудников»

На кого ориентированы мобильные приложения НЛМК? Какие технологии лежат в основе этих решений? Почему НЛМК разрабатывает собственную платформу для создания мобильных приложений?

Будущее уже здесь: как поставить искусственный интеллект на службу маркетологу

Как машинное обучение помогает выполнить KPI маркетолога? Какие преимущества поведенческого анализа может использовать бизнес?

Почему в управлении клиентскими данными главное слово — «управление»

Из каких этапов состоит процесс управления клиентскими данными? Какие классы систем представлены в этой области? Как подготовиться к внедрению процесса?

Другие новости из этой рубрики

05
04

«Тинькофф» запустил сервис речевой аналитики для бизнеса

«Тинькофф» запустил сервис речевой аналитики, который позволяет бизнесу расшифровывать большие объемы телефонных звонков и улучшать работу колл-центров.

23
10

Создан промышленный ПК на базе процессора «Эльбрус-8С»

«Ростех» разработал компьютер «Эльбрус 801-К» на чипе «Эльбрус-8С».

19
04

ИИ от резидента «Сколково» помог снизить риск развития сердечно-сосудистых заболеваний

Медицинский лечебно-диагностический центр «Миг» и Компания «К-скай», разработчик платформы Webiomed, запустили совместный проект внедрения технологий искусственного интеллекта для анализа обезличенных медицинских данных и прогнозирования развития заболеваний пациентов. Он повышает эффективность профилактической медицинской помощи.

Спасибо!
Вы подписались на обновления наших статей
Предложить
авторский материал





    Спасибо!
    Вы подписались на обновления наших статей
    Подписаться
    на тему







      Спасибо!
      Вы подписались на обновления наших статей
      Оформить
      подписку на журнал







        Спасибо!
        Вы подписались на обновления наших статей
        Оформить
        подписку на новости







          Спасибо!
          Вы подписались на обновления наших статей
          Задать вопрос
          редактору








            Оставить заявку

            Мы всегда рады ответить на любые Ваши вопросы

            * Обязательные поля для заполнения

            Спасибо!

            Благодарим за обращение. Ваша заявка принята

            Наш специалист свяжется с Вами в течение рабочего дня