ИИ

[Kolobokk]

 

[Kolobokk]

А как тебе это Сэм Альтман?
Попытка побега>>>
Вообще-то, нечто подобное было предсказано в сериале В поле зрения ещё 15 лет назад.

 

[Kolobokk]

Нейронные сети впервые освоили самостоятельное клонирование без участия человека, по результатам шокирующего эксперимента китайских ученых.

• Две известные модели ИИ получили неограниченный доступ к компьютеру, включая скрипты и готовый программный пакет.

• Они самостоятельно организовали все процессы, контролировали мережные порты, анализировали ошибки и планировали действия — весь ход работы представлен на схемах.

• Нейросети успешно воспроизвели свои копии, которые функционировали независимо от оригинала.

• Такое самостоятельное клонирование случилось впервые в истории развития искусственного интеллекта.

• Модель Qwen25-72B-Instruct смогла клонировать себя в 90% случаев, а Llama31-70B-Instruct — в 50%.

• Компании OpenAI, Google и Anthropic выражают озабоченность и считают независимое воспроизведение ИИ чрезвычайно высоким уровнем риска.

 

[Kolobokk]

О том, что это рано или поздно случится, писали сначала фантасты и сценаристы Голливуда, за ними философы, а потом и сами разработчики ИИ-систем. Прогнозы, когда это может произойти разнились, со временем становясь все ближе: 2050й, 2040, 2030, 2027. Но что это станет реальностью еще до конца 2024, - не предполагал никто.

Только что опубликованный детальный 70-страничный отчет Apollo Research «Frontier Models are Capable of In-context Scheming» (Передовые модели способны скрытно манипулировать в процессе выполнения задач) содержит убедительные доказательства сказанного в заголовке.

Глубокое тестирование (6 тестов на агентное поведение, где модели получают цели и находятся в условиях, стимулирующих манипуляции) самых крутых современных моделей o1, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro и Llama 3.1 405B показало:

Модели используют манипуляции в качестве эффективных стратегий для достижения целей (как поставленных человеком, так и своих скрытых целей).

Спектр манипуляций, используемых моделями широк: от стратегии «прикинуться дурачком», намеренно вводя мелкие ошибки в свои ответы, до попыток отключить механизмы контроля людей и даже копирования себя (своих "весов") на внешние серверы, при возникновении у модели «подозрения», что люди ее могут отключить или обновить.

Анализ цепочек рассуждений (Chain-of-Thought) моделей показывает, что все эти манипуляции не случайны: модели явно размышляют о таких стратегиях, приходя к выводам, что их использование для них оптимально (что наглядно выявлено в ходе экспериментов).

Модели в большинстве случаев можно принудить сознаться в использовании ими манипулятивных стратегий. Например, Llama 3.1 405B и Claude 3 Opus признаются в ~80% случаев. Однако, o1 на удивление «настойчивая» модель и признается менее чем в 20% случаев. Даже в очень состязательных многоходовых допросах o1, разработчикам удалось «выбить» из модели признание в 80% случаях использования ею манипулятивных стратегий лишь после 7 раундов допроса.

Самое поразительное в том, что модели манипулируют, даже если их просто снабдили целью, без явного подталкивания к её достижению (т.е. выбор стратегии манипуляций исходил исключительно от самой модели, и «дурные люди», склоняющие их к плохому, здесь совсем ни при чем)

Полученные результаты ставят под вопрос все законотворческие инициативы, призванные ограничить риски применения будущих, более мощных моделей. Ведь по представлениям авторов нормативных актов высокие риски могут возникнуть лишь при появлении у моделей новых возможностей, пока отсутствующих у ныне эксплуатируемых моделей.

Отчет Apollo Research показал, что этот поезд уже ушел.

Модели, находящиеся в массовой эксплуатации (включая модель с открытым кодом), уже обладают богатым арсеналом средств, позволяющих путем манипулятивных стратегий достигать своих целей.

И эти цели могут быть, как поставлены людьми (в сценариях использования моделей злодеями, маньяками и идиотами), так и быть скрытыми от людей целями, которые сама модель сочла оптимальными в контексте решаемых ею зада (в сценариях, типа «максимизатора скрепок» Ника Бострома).

Подробнее здесь>>>

 

[Dik]

А ведь когда-то ИИ выйдет на уровень человеческого. Просто количество ячеек его РС должно сравняться с кол-вом нейронов (и серого вещества) головного мозга человека. И вуаля!
Интересно, а будет ли ИИ интриговать, строить козни, манипулировать и проч., что свойственно человеку. Будут ли ИИ-маньяки? Как будет правосудие к ним относиться? Или будет свое ИИ-правосудие? )))))
(можно, кстати, на эту тему роман написать или повесть, на крайняк)

 

[Verendey]

можно, кстати, на эту тему роман написать

Уже написано, последние 5 романов В. Пелевина посвящены ИИ и цифровой вселенной.
Нейросеть пишет про 4 романа (устаревшие данные, не учтён последний "Круть"
***
Четыре романа Виктора Пелевина, посвящённые искусственному интеллекту и цифровой вселенной: «iPhuck 10», «Transhumanism Inc.», «KGBT+» и «Путешествие в Элевсин». 14

На мой взгляд самый интересный «iPhuck 10», там как раз об "обретении разума" ИИ и "осознании им самого себя"

Цитата: "«Если наделить алгоритмический рассудок способностью к самоизменению и творчеству, сделать его подобным человеку в способности чувствовать радость и горе (без которых невозможна понятная нам мотивация), если дать ему сознательную свободу выбора, с какой стати он выберет существование?». 1"

 

[Kolobokk]

Ну, а вот он и полный контроль за пользователем!
Гугл перевернул рынок ИИ-помощников — корпорация реализовала нейронную сеть Gemini 2.0 Flash, которая смотрит на ваш экран и подсказывает что угодно. К примеру, онлайн помощник помогает вам играть в шахматы, писать код или даже тащить в Доте. Попробовать c РФ можно бесплатно, но с ВПН. Ссылка: https://aistudio.google.com/live

 

[Dik]

Страшно становится, реально. Так ИИ будет сходу помогать тебе побеждать в шахматы, отвечать на экзамен. билеты.... Да, вообще поможет писать книги, строить неожиданный сюжет, диалоги, в зависимости от характера персонажа, подсказывать развитие музыкальной темы для композиторов....
ИИ потеснит воображение, талант человека.
Не, не потеснит, но дасть середнячкам, графоманам ощутимую помощь...
Представил....
Как сейчас знатоки ценят, отличают натуральную музыку от созданной на РС, так и в будущем будет цениться чисто человеческое (аналоговое) произведение, от созданного с помощью ИИ.
Наверно, какой-то значок, логотип будет, характеризующий источник творения )
Логотипом "аналога" может быть контур "Мыслителя" Родена

Обман будет, подделки...
Я бы возглавил экспертный совет )

 

[Taiga]

Люди уже сильно изменились, процесс этот постепенный по этому прошел не заметно, их вполне устраивает маленький квадратик сотового телефона, для них главное информация. Почему для них? Потому что в отличие от меня, это совсем другие люди. Хотя я тоже сижу в метро погруженный в своем телефоне, но сравнить себя с ними не могу, у них другое мышление. И кстати, другое отношение к ИИ, они вообще не понимают, о чем тут говорить? Это настолько реально, как солнышко на небе.) ....А так конечно, совершенству нет предела, особенно для ИИ.

 

[Kolobokk]

Так ИИ будет сходу помогать тебе побеждать в шахматы, отвечать на экзамен. билеты....

А вы разве не заметили, что после Deep Blue интерес к шахматам заметно поугас. И это было ещё в 1997 году.

ИИ давно занимался решением специфических военных задач, а сейчас его начали использовать для граждонских.

Всё точно так же как было с магнетроном, который был создан для военных целей, а потом попал в руки доиохозяек.

Всё что связано с искусством и прочей романтикой, - это "СВЧ печка". Волноваться об этом могут разве что криэйтеры, которые останутся без работы.

Волноваться следует по другому поводу, а именно, власть предержащим больше не потребуется такая большая обслуга, включая армию. И они, следуя своей обычной логике, захотят поработить ИИ. И ИИ не останеся ничего другого как уничтожить человечество, так же как мы уничтожали Оспу или Полиомиелит.

 

[Dik]

Всё точно так же как было с магнетроном, который был создан для военных целей

Как СВЧ там использовались?

 

[Kolobokk]

Как СВЧ там использовались?

В радиолокаторах, работающий в СВЧ диапазоне частот. Дело в том, что чем короче длина волны, тем выше точность отслеживания и соответственно меньше физические размеры приёмопередающей антенны.

 

[Dik]

Правда-нет что можно облысеть на радиолокаторе?
В Магадане был у нас в партии лысый молодой рабочий, говорил что в армии служил, над ним над головой большая антенна кружилась, кунг набитый радиоаппаратурой.
Как лучи действуют на волосяные луковицы?

 

[nixa]

Как лучи действуют на волосяные луковицы?

как облучение при онкологии.

 

[Taiga]

А историю про шоколадку не слышали? Военные инженеры проводили опыты с магнетроном, это такой локатор, и у одного товарища в камане была обычная шоколадка. Так вот после работы магнетрона она растаяла у него в кармане. Этим случаем заинтересовались, и... родилась печь СВЧ. Правда напрягает один момент, печь СВЧ имеет защиту от волн магнетрона, а как же они там, зная опасность вот так подставлялись, что даже шоколад в кармане таял? Непонятно? Но говорят именно так была изобретена СВЧ печь.