После недавнего скандала с отставкой генерального директора OpenAI Сэма Альтмана (Sam Altman) и его возвращения компания OpenAI всерьез задумалась не только о реформировании структуры управления бизнесом, но и повышении ответственности разработчиков за выпуск больших языковых моделей. Теперь совет директоров может задержать выпуск новых моделей, если сочтет их недостаточно безопасными.

Ключевая роль в этом механизме контроля и согласования будет отведена, по данным Bloomberg, специальной «группе готовности» под руководством Александра Мадри (Aleksander Madry), совмещающего эту должность с научной деятельностью в Массачусетском технологическом институте. В задачи группы экспертов будет входить анализ подготовленной к релизу каждой новой большой языковой модели на предмет выявления «катастрофических рисков». К таковым относятся вероятные последствия применения данной языковой модели, которые повлекут сотни миллиардов долларов материального ущерба или даже человеческие жертвы.

Группа Мадри будет на ежемесячной основе делиться отчетами о деятельности разработчиков OpenAI со специальным советом по безопасности, а тот уже будет делиться своими выводами с генеральным директором компании и советом директоров. Сэм Альтман сможет принимать решение о выпуске новой языковой модели на рынок или ее задержке для доработки, причем совет директоров получает право наложить вето на положительное решение главы OpenAI о выпуске модели в общий доступ.

Группа анализа готовности языковых моделей была сформирована внутри OpenAI еще в октябре, до хорошо известных событий с перестановками в руководстве. В целом, внутри компании действуют еще две группы, занимающиеся анализом разработок. Прежде всего, это группа безопасности как таковой, а также группа «сверхрегулирования» (superalignment), которая учитывает гипотетические угрозы от внедрения сверхмощных систем искусственного интеллекта в будущем.

Разрабатываемые OpenAI языковые модели будут оцениваться группой Мадри по шкале, подразумевающей четыре градации рисков: низкая, средняя, высокая или критическая. По замыслу, компания сможет выпускать в оборот только те системы искусственного интеллекта, которые в итоге всех процедур анализа и доработки получили оценку риска не выше низкого или среднего. Как признался сам Мадри, «OpenAI — это не что-то, происходящее само собой и способное нести нам пользу или вред, это нечто, формируемое нами». Представитель компании выразил надежду, что подобным подходом к управлению рисками в сфере искусственного интеллекта будут пользоваться и другие разработчики. В стенах OpenAI подобная практика формировалась последовательно и в течение последних двух месяцев просто была закреплена решениями высшего руководства.

Коментариев пока никто не оставил. Станьте первым!

оставить комментарий

Будь
з нами!