Алгоритм OpenAI GPT-3 уже здесь, и он необычайно хорош в звучании человека

Когда в 2019 году был создан алгоритм генерации текста GPT-2, он был помечен как один из самых «опасных» А.И. алгоритмы в истории. На самом деле, некоторые утверждали, что это было настолько опасно, что его никогда не следует публиковать (спойлер: это было), чтобы не провозгласить «робот-апокалипсис». Этого, конечно, никогда не было. GPT-2 был в конечном итоге выпущен для публики, и после того, как он не разрушил мир, его создатели перешли к следующему. Но как вы отслеживаете самый опасный алгоритм из когда-либо созданных?

Ответ, по крайней мере, на бумаге, прост: так же, как продолжение любого успешного фильма, вы делаете что-то большее, худшее и дороже. Только один ксеноморф в первом Чужой? Включите целое гнездо из них в продолжение, Чужие. Только одна практически неразрушимая машина, отправленная из будущего в Терминатор? Дайте зрителям два из них, с которыми нужно разобраться в Терминатор 2: Судный день.

OpenAI

То же самое относится и к А.И. — в этом случае, GPT-3 , недавно выпущенная нейронная сеть обработки естественного языка, созданная OpenAI, исследовательской лабораторией искусственного интеллекта, которая когда-то, но больше не спонсировалась SpaceX, и Генеральный директор Tesla Элон Маск.

GPT-3 является последним в серии генерирующих текст нейронных сетей. Название GPT расшифровывается как Generative Pretrained Transformer, ссылаясь на нововведение Google 2017 года под названием Transformer, которое может выяснить вероятность того, что определенное слово появится с окружающими словами. С помощью нескольких предложений, таких как начало новостного сюжета, языковая модель с предварительным обучением GPT может генерировать убедительно точные продолжения, даже включая формулировку сфабрикованных цитат.

Вот почему некоторые беспокоятся, что это может оказаться опасным, помогая генерировать ложный текст, который, как deepfakes, мог бы распространять фальшивые новости в Интернете. Теперь, с GPT-3, он больше и умнее, чем когда-либо.

Сказка о ленте

GPT-3, как показало бы сравнение «сказки о ленте» в стиле бокса, настоящий тяжеловес соперника. Оригинальный GPT OpenAI 2018 года имел 110 миллионов параметров, относящихся к весам соединений, которые позволяют нейронной сети учиться. GPT-2 2019 года, вызвавший большую часть предыдущих волнений по поводу потенциальных вредоносных приложений, обладал 1,5 миллиардами параметров. В прошлом месяце Microsoft представила то, что было тогда самой большой в мире аналогичной моделью с предварительным обучением в мире, имеющей 17 миллиардов параметров. Для сравнения, чудовищный GPT-3 2020 года имеет удивительные 175 миллиардов параметров. По сообщениям, обучение стоило около 12 миллионов долларов.

«Сила этих моделей заключается в том, что для того, чтобы успешно предсказать следующее слово, они в конечном итоге изучают действительно мощные модели мира, которые можно использовать для самых разных интересных вещей», Ник Уолтон, директор по технологиям Latitude, студии AI Dungeon , текстовая приключенческая игра, созданная А.И., работающая на GPT-2, рассказала Digital Trends. «Вы также можете точно настроить базовые модели, чтобы сформировать поколение в определенном направлении, сохраняя при этом знания, полученные при предварительной подготовке».

Вычислительные ресурсы, необходимые для реального использования GPT-3 в реальном мире, делают его чрезвычайно непрактичным.

Гверн Бранвен, комментатор и исследователь, пишущий о психологии, статистике и технологиях, сказал Digital Trends, что предтренированная языковая модель, которую представляет GPT, становится «все более важной частью любого машинного обучения». задание, касающееся текста. Точно так же, как [стандартное предложение для] многих задач, связанных с изображениями, стало «использовать [сверточную нейронную сеть], многие задачи, связанные с языком, стали« использовать тонко настроенную модель языка.»

OpenAI — который отказался комментировать эту статью — не единственная компания, которая проделала впечатляющую работу по обработке естественного языка. Как уже упоминалось, Microsoft подошла к пластине с некоторой собственной ослепительной работой. Тем временем Facebook активно инвестирует в эту технологию и создал такие прорывы, как BlenderBot, крупнейший из когда-либо открытых чатов с открытым исходным кодом. По оценкам людей, он превосходит других по вовлеченности, а также чувствует себя более человечным. Любой, кто использовал компьютер в последние несколько лет, знает, что машины лучше понимают нас, чем когда-либо, и именно поэтому обработка естественного языка является причиной.

Размер имеет значение

Но OpenAI GPT-3 по-прежнему стоит особняком в своем рекордном масштабе: «GPT-3 генерирует шум в основном из-за своего размера», Джо Дэвисон, инженер-исследователь в Hugging Face, Стартап работает над продвижением обработки естественного языка путем разработки инструментов с открытым исходным кодом и проведения фундаментальных исследований, сообщил Digital Trends.

Большой вопрос — для чего все это будет использоваться. GPT-2 нашел множество применений в различных системах генерации текста.

Дэвисон выразил некоторую осторожность, что GPT-3 может быть ограничен его размерами. «Команда OpenAI, несомненно, раздвинула границы того, насколько крупными могут быть эти модели, и показала, что их рост снижает нашу зависимость от данных конкретной задачи», — сказал он. «Однако вычислительные ресурсы, необходимые для реального использования GPT-3 в реальном мире, делают его крайне непрактичным. Поэтому, хотя работа, безусловно, интересная и проницательная, я бы не назвал ее важным шагом вперед в этой области ».

Другие не согласны. «Сообщество [A.I.] давно замечало, что объединение все более крупных моделей с большим и большим количеством данных дает почти предсказуемые улучшения в эффективности этих моделей, во многом как закон масштабирования вычислительных мощностей Мура», — сказал Янник Килчер, А.И. Исследователь, который управляет каналом YouTube, рассказал Digital Trends. «Тем не менее, как и закон Мура, многие предполагают, что мы в конечном итоге можем улучшить языковые модели, просто масштабируя их, и чтобы добиться более высокой производительности, нам нужно будет сделать существенные изобретения с точки зрения новых архитектур или методы обучения. GPT-3 показывает, что это не так, и способность повышать производительность просто за счет масштабирования кажется непрерывной — и на самом деле не видно конца ».

Вы прошли тест Тьюринга?

Бранвен предполагает, что такие инструменты, как ГПТ-3, могут стать серьезной разрушительной силой. «Один из способов думать об этом — какие работы включают в себя взятие фрагмента текста, его преобразование и выделение другого фрагмента текста?» Бранвен сказал. «Любая работа, описываемая этим, такая как медицинское кодирование, выставление счетов, администраторы, служба поддержки клиентов и т. Д., Будет хорошей целью для тонкой настройки GPT-3 и замены этого человека. Множество заданий более или менее «копируют поля из одной электронной таблицы или PDF-файла в другую электронную таблицу или PDF-файл», и такая автоматизация дел, которая слишком хаотична для написания обычной программы для замены, будет уязвима для GPT-3. потому что он может выучить все исключения и различные условности и работать так же, как и человек ».

В конечном счете, обработка естественного языка может быть лишь одной из частей А.И., но, возможно, она проникает в суть мечты об искусственном интеллекте так, как это делают немногие другие области. Известный известный тест Тьюринга , один из основополагающих дебатов, положивших начало этой области, является проблемой обработки естественного языка: можете ли вы построить A.I. что может убедительно выдать себя за человека? Последняя работа OpenAI, безусловно, способствует достижению этой цели. Теперь осталось увидеть, какие приложения найдут для него исследователи.

«Я думаю, что это тот факт, что текст GPT-2 может так легко восприниматься человеком, что его трудно отбросить вручную как« просто распознавание образов »или« просто запоминание », — сказал Бранвен. «Любой, кто был уверен, что то, что делает глубокое обучение, не имеет ничего общего с разумом, должен был поколебать свою веру, чтобы увидеть, как далеко он зашел».

Похожие публикации Самые Интересные

Добавить комментарий

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.