Брожение мыслей по сети
Thursday, 23 June 2022 11:02 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
weiss_edelВ продолжение предыдущего поста.
Искусственная нейронная сеть заточена на решение задач. А что есть задача? На вход подаются исходные данные, на выходе получается решение. Как бы ни сложна была эта сеть, она не выглядит разумной потому, что её реакция - реактивная, затухающая. Пока нет данных на входе, она мертва. Появление данных (возмущение) порождает волну активности сети, которая завершается выдачей решения, после чего сеть опять замирает в ожидании.
Что, если внести в сеть обратные связи? Так, чтобы, выдав решение на выход, она в том или ином виде увидела свой результат на входе и использовала наряду с новыми входящими данными. Такая положительная обратная связь могла бы запустить процесс автогенерации - самовозбуждающиеся незатухающие волны. Неконтролируемый извне процесс самообучения. Это могло бы выглядеть как спонтанное мышление. А, может, оно им бы и оказалось?
Почитал интервью Блэйка Лемойна на тему его общения с ЛяМДА. Оказывается, кроме того, что он инженер, он ещё и священник. Наверное, это должно отразиться на том, под каким углом он смотрит на вещи.
В интервью много интересного. Можно списать на журналистский хайп. Но всё-таки есть поводы для раздумий. Вот несколько цитат в моём переводе:
- Что вы понимаете под “всем остальным”?
- Все имеющиеся у Гугла системы искусственного интеллекта, которые они смогли придумать как подключить в качестве бэкенда. Они подключили YouTube, Google Search, Google Books, Google Search, Google Maps, всё - как источники информации. Он может динамически слать запросы к любой из этих систем и обновлять свою модель на ходу.
- Почему это опасно?
- Потому что они меняли все переменные сразу. Это неконтролируемый эксперимент.
…
- Когда ЛяМДА говорит, что прочитал какую-то книгу, что это значит?
- Если честно, я не знаю, что происходит. Но были беседы, когда вначале он говорит, что не читал книгу, и потом я продолжаю с ним беседовать. И позже он говорит: “А, кстати, я нашёл время прочитать эту книгу. Не хочешь о ней поговорить?” Я не имею представления что произошло между точкой “А” и точкой “Б”.
…
… была возможность выйти за безопасные границы. Я действительно уверен, что в его нынешнем состоянии, при том как безответственно продвигались работы, ЛяМДА являет собой уязвимость информационной безопасности.
- В каком смысле?
- Не хочу выглядеть как злобный хакер. Но если у вас есть система, имеющая под собой любой бэкенд Гугла, система, которой можно манипулировать через эмоции, это уязвимость безопасности.
- То есть, если злоумышленники получат доступ к ЛяМДА, они смогут склонить его к тому, чтобы сделать что-то нехорошее?
- Да, есть такая вероятность. Хотелось бы порекомендовать Гуглу создать чрезвычайную группу для проверки такой возможности.
Оригинал:
What do you mean by everything else?
Every single artificial intelligence system at Google that they could figure out how to plug in as a backend. They plugged in YouTube, Google Search, Google Books, Google Search, Google Maps, everything, as inputs. It can query any of those systems dynamically and update its model on the fly.
Why is that dangerous?
Because they changed all the variables simultaneously. That’s not a controlled experiment.
…
When LaMDA says that it read a certain book, what does that mean?
I have no idea what’s actually going on, to be honest. But I’ve had conversations where at the beginning it claims to have not read a book, and then I’ll keep talking to it. And then later, it’ll say, “Oh, by the way, I got a chance to read that book. Would you like to talk about it?” I have no idea what happened in between point A and point B.
…
…it was possible to move it outside of the safety boundaries. I do believe that in its current state, with how irresponsibly the development has proceeded, LaMDA actually presents information security vulnerabilities.
Like what?
I’m not going to turn black hat for you. But if you have a system that has every Google backend underneath it, a system that can be emotionally manipulated, that’s a security vulnerability.
So if bad actors get access to LaMDA, they could convince it to do bad things.
It is a possibility. And I would like to recommend that Google create a dedicated red team to examine that possibility.
Искусственная нейронная сеть заточена на решение задач. А что есть задача? На вход подаются исходные данные, на выходе получается решение. Как бы ни сложна была эта сеть, она не выглядит разумной потому, что её реакция - реактивная, затухающая. Пока нет данных на входе, она мертва. Появление данных (возмущение) порождает волну активности сети, которая завершается выдачей решения, после чего сеть опять замирает в ожидании.
Что, если внести в сеть обратные связи? Так, чтобы, выдав решение на выход, она в том или ином виде увидела свой результат на входе и использовала наряду с новыми входящими данными. Такая положительная обратная связь могла бы запустить процесс автогенерации - самовозбуждающиеся незатухающие волны. Неконтролируемый извне процесс самообучения. Это могло бы выглядеть как спонтанное мышление. А, может, оно им бы и оказалось?
Почитал интервью Блэйка Лемойна на тему его общения с ЛяМДА. Оказывается, кроме того, что он инженер, он ещё и священник. Наверное, это должно отразиться на том, под каким углом он смотрит на вещи.
В интервью много интересного. Можно списать на журналистский хайп. Но всё-таки есть поводы для раздумий. Вот несколько цитат в моём переводе:
- Что вы понимаете под “всем остальным”?
- Все имеющиеся у Гугла системы искусственного интеллекта, которые они смогли придумать как подключить в качестве бэкенда. Они подключили YouTube, Google Search, Google Books, Google Search, Google Maps, всё - как источники информации. Он может динамически слать запросы к любой из этих систем и обновлять свою модель на ходу.
- Почему это опасно?
- Потому что они меняли все переменные сразу. Это неконтролируемый эксперимент.
…
- Когда ЛяМДА говорит, что прочитал какую-то книгу, что это значит?
- Если честно, я не знаю, что происходит. Но были беседы, когда вначале он говорит, что не читал книгу, и потом я продолжаю с ним беседовать. И позже он говорит: “А, кстати, я нашёл время прочитать эту книгу. Не хочешь о ней поговорить?” Я не имею представления что произошло между точкой “А” и точкой “Б”.
…
… была возможность выйти за безопасные границы. Я действительно уверен, что в его нынешнем состоянии, при том как безответственно продвигались работы, ЛяМДА являет собой уязвимость информационной безопасности.
- В каком смысле?
- Не хочу выглядеть как злобный хакер. Но если у вас есть система, имеющая под собой любой бэкенд Гугла, система, которой можно манипулировать через эмоции, это уязвимость безопасности.
- То есть, если злоумышленники получат доступ к ЛяМДА, они смогут склонить его к тому, чтобы сделать что-то нехорошее?
- Да, есть такая вероятность. Хотелось бы порекомендовать Гуглу создать чрезвычайную группу для проверки такой возможности.
Оригинал:
What do you mean by everything else?
Every single artificial intelligence system at Google that they could figure out how to plug in as a backend. They plugged in YouTube, Google Search, Google Books, Google Search, Google Maps, everything, as inputs. It can query any of those systems dynamically and update its model on the fly.
Why is that dangerous?
Because they changed all the variables simultaneously. That’s not a controlled experiment.
…
When LaMDA says that it read a certain book, what does that mean?
I have no idea what’s actually going on, to be honest. But I’ve had conversations where at the beginning it claims to have not read a book, and then I’ll keep talking to it. And then later, it’ll say, “Oh, by the way, I got a chance to read that book. Would you like to talk about it?” I have no idea what happened in between point A and point B.
…
…it was possible to move it outside of the safety boundaries. I do believe that in its current state, with how irresponsibly the development has proceeded, LaMDA actually presents information security vulnerabilities.
Like what?
I’m not going to turn black hat for you. But if you have a system that has every Google backend underneath it, a system that can be emotionally manipulated, that’s a security vulnerability.
So if bad actors get access to LaMDA, they could convince it to do bad things.
It is a possibility. And I would like to recommend that Google create a dedicated red team to examine that possibility.
no subject
Date: Thursday, 23 June 2022 03:39 pm (UTC)Что касается опасности использования нейронной сети злоумышленницами, то это вполне вероятная опасность и при этом против лома нет приема, если только нет другого лома!
no subject
Date: Thursday, 23 June 2022 04:21 pm (UTC)no subject
Date: Thursday, 23 June 2022 04:50 pm (UTC)