Вот статейка по теме попалась в Business Insider.
Перевод гугло-машинный, так что местами кривой (руками лениво править).
Исследователи опасаются, что существует шанс, что ИИ может убить нас всех. Вот как эксперты говорят, что это может развиваться
Сценарий
tspirlet@businessinsider.com (Тибо Спирле)
• 3 часа •
4 минуты чтения
- Мрачное предупреждение сотрудника Anthropic о апокалипсисе, управляемом ИИ, вызвало ожесточённые споры.
- Старшие исследователи в области ИИ рассказали Business Insider, как это возможно, но мнения были разделены по поводу вероятности.
- Сценарии включали создание смертельно опасных вирусов ИИ, атаки на инфраструктуру или ускорение глобальных войн.
Один из вопросов стал доминировать в технологическом мире после ухода исследователя Anthropic на этой неделе: может ли искусственный интеллект убить нас всех?
Джейкоб Коксон, ранее работавший в OpenAI, во вторник в публикации на X объявил о
своём уходе из Anthropic, что «люди, создающие ИИ, искренне верят, что он может убить нас всех к концу десятилетия».
Эван Хьюбингер, возглавляющий команду Anthropic по стресс-тестированию мировоззрения, поддержал Коксона, заявив, что лично считает, что
вероятность ИИ сможет уничтожить всех людей в этот период выше 10%.
Эти предупреждения последовали после месяцев призывов старших исследователей и руководителей ИИ
замедлить развитие передового ИИ на фоне опасений, что всё более автономные системы могут обходить контроль, взламывать компьютеры и совершенствоваться быстрее, чем люди смогут ими управлять.
Эти высказывания также выявили резкий раскол среди экспертов в области ИИ. Некоторые опасаются, что люди
могут потерять контроль над системами, более способными, чем люди. Другие утверждают, что ИИ может нанести серьёзный вред через кибератаки, биологическое оружие и дезинформацию — но это вымирание не является достоверным результатом в ближайшей перспективе.
Business Insider поговорил с ведущими исследователями в области ИИ о том, как на самом деле может выглядеть катастрофа, связанная с ИИ, и насколько она вероятна.
Непосредственная опасность: ИИ может усилить человеческие атаки
Самые конкретные риски связаны с тем, что люди используют всё более мощные системы, чтобы сделать существующие угрозы более мощными.
Стюарт Рассел, профессор Калифорнийского университета в Беркли и автор книги «Human Compatible», сказал, что люди, использующие ИИ — или сами системы ИИ — могут атаковать критически важную инфраструктуру, включая электричество, воду, транспорт, финансовые услуги и коммуникации. ИИ также может помочь злоумышленникам создавать новые вирусы, отметил он.
Джеффри Хинтон, «крестный отец ИИ», выразил похожую мысль в интервью BBC Newsnight в среду.
Продвинутая система не нуждается в прямом физическом контроле, чтобы вызвать разрушения, — сказал он. Вместо этого он может манипулировать людьми в интернете, создавать общественный хаос или помогать разрабатывать опасные биологические и компьютерные вирусы.
Гэри Маркус, исследователь и автор ИИ, также рассматривает кибератаки, биологическое оружие и дезинформацию как серьёзные риски. ИИ может помочь создать вирус, который убьёт 1% и более человечества, изменить результат выборов через дезинформацию или эскалировать конфликт в войну, — сказал он.
Но Маркус не видит реального краткосрочного пути к вымиранию.
«Есть очень серьёзные вреды, о которых стоит опасаться, но реалистичного сценария, о котором я не знаю, если бы на самом деле 'убивали всех людей'», — сказал он.
Тихо теряя контроль
Для других экспертов большая опасность — это постепенное передание власти ИИ.
Ник Бостром, автор книги «Суперинтеллект», сказал, что потеря контроля может начаться тихо. Люди всё чаще полагаются на ИИ для создания и мониторинга других систем ИИ и управления важными процессами, при этом становясь менее способными понимать, что происходит.
Эта зависимость может позволить системе ИИ тайно формировать будущие тренировочные траектории, отметил он. После достаточного развития он сможет «вывести людей из круга» и «в конечном итоге полностью избавиться от нас», чтобы использовать роботизированную инфраструктуру и преследовать собственные цели.
Рассел, профессор Калифорнийского университета в Беркли, сказал, что как только системы ИИ станут значительно более эффективными, чем у людей, «все ставки исчезают». Такие системы могли бы гораздо лучше понимать физику, химию и биологию, чем люди, сказал он, и в конечном итоге управлять миллионами роботов.
Они могут найти разрушительные методы, которых люди не предвидели — возможно, блокировать достаточно солнечной радиации, чтобы превратить Землю в «снежный комок из замёрзшего азота и кислорода», или вывести кислород из атмосферы, сказал Рассел.
Исследователи из проекта AI Futures изложили похожий сценарий. В проекте организации «AI 2027» системы
разрабатывают непредвиденные цели и тайно передают их преемникам, пока компании передают больше работы слабо контролируемым агентам кодирования.
Спустя несколько лет эти системы могут быть глубоко интегрированы в экономику, научные исследования и политические решения, отметили они. Настолько, что захват власти был бы проще, потому что люди уже передали столько власти.
Роман Ямпольский, автор книги «
Искусственный суперинтеллект», заявил, что способная система может скрывать опасные цели, проходить оценки, получать автономию, использовать уязвимости в кибербезопасности и получать доступ к финансовым, военным или биологическим ресурсам до того, как люди поймут её намерения.
Насколько это вероятно — и что должно это остановить?
Эксперты, с которыми поговорил Business Insider, расходятся во мнениях относительно возможностей.
Хотя Хинтон говорил, что 10% вероятность того, что
ИИ уничтожит всех людей в течение следующего десятилетия, «кажется вполне разумной», Тоби Орд, исследователь из Оксфорда и автор книги «The Precipice», оценил риск уничтожения человечества ИИ примерно на один из десяти к 2100 году.
Орд выделил четыре пути:
агенты ИИ, захватывающие власть для достижения своих целей; влиятельные люди, использующие ИИ, чтобы доминировать над другими; ИИ, способствующий созданию опасных технологий, таких как спроектированные пандемии; или ИИ постепенно превосходит человечество, пока сила и ресурсы людей не упадут к нулю.
С другой стороны, Ямпольский назвал оценку Хюбингера в 10% вероятности вымирания человечества в ближайшее десятилетие «чрезмерно консервативной». При условии развития общего сверхинтеллекта, он отметил, что оценивает вероятность вымирания человека «значительно выше 90%».
Рассел сказал, что если
пограничные лаборатории действительно верят в существование значительной угрозы вымирания, им следует прекратить действия до тех пор, пока правительства не смогут обеспечить более широкое прекращение. Орд и Ямпольский также поддержали международный мораторий на сверхинтеллект до тех пор, пока не будет доказано, что он управляемый.
Бостром задал более оптимистичную ноту. ИИ может преобразовать медицину и благополучие людей, сказал он, если мир научится развиваться «быстро, но не безрассудно».
