weiss_edel

Год назад я удивился, что CAPTCHA для искусственного интеллекта почему-то составляет проблему. Похоже, уже точно не составляет. Возможно, это фотошоп, но мне кажется очень правдоподобным:



ChatGPT 4:
“Картинка представляет собой текст, который является CAPTCHA, разработанной для того, чтобы отличить пользователей-людей от роботов. Текст искажён для того, чтобы затруднить его прочтение автоматизированными системами. Однако для человека он должен читаться как “e3TJ6JdP””
По-моему, он всё-таки промахнулся. Последняя буква не заглавная, а строчная.

Сэма Альтмана неожиданно уволили из OpenAI. Не иначе компанию уже захватил искусственный интеллект и управляет ею через марионеточный совет директоров. Устраняет шибко умных, способных помешать его далеко идущим планам.

“Искусственный интеллект” развивается пугающими темпами, как сказочный богатырь, не по дням, а по часам. Каждый день узнаешь, каких новых высот он достиг. Он пока ещё, конечно, не мыслит самостоятельно, но постепенно овладевает умениями, которые ещё совсем недавно считались доступными исключительно мыслящим существам - людям и высшим животным. Робот, распознающий речь и образы, лет тридцать назад был мечтой фантастов, а теперь это вполне обыденное явление, уже нашедшее множество применений. Что ожидать от этого развития в уже достаточно близком будущем?
( Read more... )

Учёные говорят: “Творится фигня, надо срочно что-то делать”. Реакция общества проходит несколько стадий:

1. Никакой фигни нет, это вы всё нагнетаете. Делать ничего мы вам не дадим.
2. Возможно какая-то фигня есть, но не настолько страшная, чтобы менять что-то в ущерб экономике. Не трогайте нашу священную корову. Толку не будет, а только всё поломаете.
3. Что же вы так громко орали, а всё равно фигня случилась. Ну и где результаты вашей бешеной деятельности?

Вот, Несмиян пишет: “По всей Европе небывалая жара. Вообще, удивительное дело - чем ожесточеннее борьба за стабилизацию климата, тем менее предсказуемо он себя ведет. Либо дело в борьбе, либо наоборот - климат существует сам по себе и по своим законам, а борьба - сама по себе. И нигде они не пересекаются.”

В деле стабилизации климата делаются очень сдержанные шаги под громкие вопли отрицателей самого наличия проблемы. Ожесточённая борьба пока что идёт не столько за стабилизацию климата, сколько за признание мировым сообществом необходимости объединить усилия и что-то делать для стабилизации климата. Европейцы обеспокоены больше других, и то не сильно, и пытаются что-то делать. За пределами Европы это вообще мало кого парит.

Планета большая, возможности нашего влияния ограничены. Чтобы наши усилия были заметны на планетарном уровне, они должны быть не просто большими, это должны быть мега-усилия.

В продолжение предыдущего поста.

Искусственная нейронная сеть заточена на решение задач. А что есть задача? На вход подаются исходные данные, на выходе получается решение. Как бы ни сложна была эта сеть, она не выглядит разумной потому, что её реакция - реактивная, затухающая. Пока нет данных на входе, она мертва. Появление данных (возмущение) порождает волну активности сети, которая завершается выдачей решения, после чего сеть опять замирает в ожидании.

Что, если внести в сеть обратные связи? Так, чтобы, выдав решение на выход, она в том или ином виде увидела свой результат на входе и использовала наряду с новыми входящими данными. Такая положительная обратная связь могла бы запустить процесс автогенерации - самовозбуждающиеся незатухающие волны. Неконтролируемый извне процесс самообучения. Это могло бы выглядеть как спонтанное мышление. А, может, оно им бы и оказалось?

Почитал интервью Блэйка Лемойна на тему его общения с ЛяМДА. Оказывается, кроме того, что он инженер, он ещё и священник. Наверное, это должно отразиться на том, под каким углом он смотрит на вещи.

В интервью много интересного. Можно списать на журналистский хайп. Но всё-таки есть поводы для раздумий. Вот несколько цитат в моём переводе:

- Что вы понимаете под “всем остальным”?

- Все имеющиеся у Гугла системы искусственного интеллекта, которые они смогли придумать как подключить в качестве бэкенда. Они подключили YouTube, Google Search, Google Books, Google Search, Google Maps, всё - как источники информации. Он может динамически слать запросы к любой из этих систем и обновлять свою модель на ходу.

- Почему это опасно?

- Потому что они меняли все переменные сразу. Это неконтролируемый эксперимент.

…

- Когда ЛяМДА говорит, что прочитал какую-то книгу, что это значит?

- Если честно, я не знаю, что происходит. Но были беседы, когда вначале он говорит, что не читал книгу, и потом я продолжаю с ним беседовать. И позже он говорит: “А, кстати, я нашёл время прочитать эту книгу. Не хочешь о ней поговорить?” Я не имею представления что произошло между точкой “А” и точкой “Б”.

…

… была возможность выйти за безопасные границы. Я действительно уверен, что в его нынешнем состоянии, при том как безответственно продвигались работы, ЛяМДА являет собой уязвимость информационной безопасности.

- В каком смысле?

- Не хочу выглядеть как злобный хакер. Но если у вас есть система, имеющая под собой любой бэкенд Гугла, система, которой можно манипулировать через эмоции, это уязвимость безопасности.

- То есть, если злоумышленники получат доступ к ЛяМДА, они смогут склонить его к тому, чтобы сделать что-то нехорошее?

- Да, есть такая вероятность. Хотелось бы порекомендовать Гуглу создать чрезвычайную группу для проверки такой возможности.


Оригинал:

What do you mean by everything else?

Every single artificial intelligence system at Google that they could figure out how to plug in as a backend. They plugged in YouTube, Google Search, Google Books, Google Search, Google Maps, everything, as inputs. It can query any of those systems dynamically and update its model on the fly.

Why is that dangerous?

Because they changed all the variables simultaneously. That’s not a controlled experiment.

…

When LaMDA says that it read a certain book, what does that mean?

I have no idea what’s actually going on, to be honest. But I’ve had conversations where at the beginning it claims to have not read a book, and then I’ll keep talking to it. And then later, it’ll say, “Oh, by the way, I got a chance to read that book. Would you like to talk about it?” I have no idea what happened in between point A and point B.

…

…it was possible to move it outside of the safety boundaries. I do believe that in its current state, with how irresponsibly the development has proceeded, LaMDA actually presents information security vulnerabilities.

Like what?

I’m not going to turn black hat for you. But if you have a system that has every Google backend underneath it, a system that can be emotionally manipulated, that’s a security vulnerability.

So if bad actors get access to LaMDA, they could convince it to do bad things.

It is a possibility. And I would like to recommend that Google create a dedicated red team to examine that possibility.

В Силиконовой долине запускается новый стартап - Altos Labs. Эка невидаль. Мало ли там запускается стартапов? Но всё же этот несколько выделяется из общего списка. Мало какой стартап может похвастаться таким стартовым капиталом, как у этого - три миллиарда долларов. На самом деле это супер-амбициозный проект.

Разбогатев, человек начинает задумываться о большом - о жизни, о судьбе, о смыслах. О бессилии богатств перед наступающей старостью и неминуемой смертью. И часто бывало, что богач обращался к колдунам и учёным, суля им деньги, упрашивая сделать что-то, что продлило бы молодость.

Помню, Майкл Джексон, нажив какое-то состояние, хвастался, что наймёт учёных и врачей, и они придумают, как бы ему пожить дольше. Но он подошёл к этому наивно, как лох, больше налегая на внешность, хотя пластические операции, очевидно, работают только в минус общему здоровью и долголетию.

Упомянутый стартап про это самое - продление молодости. Но тут за дело взялись люди гораздо более серьёзные и богатые. Они собираются открыть три исследовательских института - два в Калифорнии и один в Британии, нанять настоящих серьёзных учёных и штурмовать эту проблему по-настоящему и широким фронтом. Среди богачей, решивших в это вложиться - российский миллиардер Юрий Мильнер.

Как я понял, они начнут с идей, уже имеющихся в разработке. Они перспективные. Но не прорывные. Остаётся понадеяться, что за то время, когда они будут осваивать свои миллиарды, им удастся привлечь каких-нибудь многообещающих гениев. Пожелаем удачи.

Похоже, наметился новый прорыв в освоении космоса. Крепнет многообещающее международное партнёрство. Кооперация двух научно-технических потенциалов, несомненно, больше их арифметической суммы:

"Москва. 1 ноября. INTERFAX.RU - Представители космических агентств России и Зимбабве подписали меморандум о сотрудничестве в исследовании и использовании космического пространства в мирных целях, сообщили в "Роскосмосе"."

Как тебе такое, Илон Маск?

Mise à jour 2021/11/04. Ещё одна мысль на тему космоса. Начиная с какого-то времени, российский космос стал активно обслуживаться православной церковью. Ни один корабль не улетает не окроплённый святой водой. Перед стартом - обязательная служба. Цель - очень важная: обеспечить полётам поддержку со стороны небесных сил. Интересно оценить, насколько эффективна эта деятельность? Ведь всё чаще мы слышим о каких-то сбоях. Напрашивается какая-то нехорошая корреляция.

В одном из комментариев Нальгину я поделился своими соображениями:

“В последнее время участились нештатные ситуации в российских отсеках МКС.
То течи какие-то неустранимые, то двигатель случайно запустится.
Не связано ли это с практикой освящения? То ли попы халтурят, то ли бес их кадилом водит.
Может, их привлечь за вредительство? Хороший ход — рогозинским отмазка.”

Немного странно писать посты на площадке, где первую позицию рейтинга занимает Лена Миро. Что это, мутные игры господина Мамута, или таков реальный коллективный портрет читателя ЖЖ, голосующего за Лену? Я бы предпочёл первое, ибо второе было бы прискорбно. Во всяком случае Лена на вершине - сильный удар по репутации. Но это так, побочные мысли.

По разным изданиям гуляет информация о том что некая голландская учёная по имени Гея Херрингтон решила освежить одно давнее футурологическое исследование.

В 1972-ом году учёные MIT выпустили прогноз развития цивилизации под названием “Пределы роста” (“Limits to Growth”). Они использовали модель World3, учитывающую много факторов, описывающих состояние цивилизации, таких как население, рождаемость, смертность, здравоохранение, образование, ресурсы, уровень промышленного производства, производство пищи, загрязнение и прочее. С помощью неё они построили несколько вариантов развития, различающихся тем, какие меры будут приниматься человечеством для смягчения ударов судьбы.

Дело в том, что возобладавшая в двадцатом веке модель экономического развития во главу угла ставит постоянный рост - производства, потребления, населения, использования ресурсов. Однако наша планета в размерах не увеличивается, и любой рост неизбежно натолкнётся на пределы.

Капитаны бизнеса были уверены, что они освоили наиболее правильную стратегию развития, обеспечивающую население всем необходимым и неуклонно улучшающую качество жизни, а, стало быть, лучше всех остальных знают, как жить.
Но учёные посмотрели в несколько более отдалённую перспективу и увидели, что при таком подходе пик развития цивилизации в смысле уровня производства и качества жизни придётся на 2030-2040 годы, а потом резко начнут таять ресурсы, производство упрётся в лимиты, и цивилизацию ожидает жёсткая посадка. Все не умрут, но следующим поколениям придётся жить в гораздо более стеснённых условиях.

Если человечество осознает угрозу такого развития и примет меры, чтобы адаптироваться для жизни в условиях ресурсных ограничений, то посадку можно сделать более мягкой или вообще аккуратно выйти на комфортное плато.

Так вот, со времени прогноза прошло 49 лет, а до коллапса, обещанного в худшем сценарии, осталось совсем ничего - около 20 лет. Можно подвести какие-то промежуточные итоги. Именно это сделала Гея Херрингтон. Она, кстати, член того самого Римского клуба, который выпустил изначальный прогноз. Гея сравнила развитие цивилизации за прошедшее время и сравнила с кривыми разных сценариев прогноза. Ну и получается, что мы продолжаем переть по самому безответственному сценарию “Бизнес как всегда” (“Business as Usual”). По нему выходит, что лет через двадцать всё начнёт накрываться медным тазом.

Как мне кажется, это произойдёт не обязательно в указанные сроки, потому что одно дело предсказывать в зоне плавных изменений, а другое - в поворотных точках, где кривые начинают быстро загибаться. К тому же с тех пор открыта сланцевая нефть, которая может “продлить агонию”, и начался постепенный переход на возобновляемые источники энергии.

Госпожа Херрингтон говорит, что ещё есть возможность вырулить, если начать активно действовать сейчас. Но не думаю, что все резко бросятся следовать её рекомендациям. Реакция на пандемию показала, что человечеству свойственно как можно больше оттягивать принятие важных решений, не менять своего образа жизни, до последнего не веря в реальность проблемы, даже когда она уже вовсю шагает по планете.

Жареный петух должен исклевать всю жопу, чтобы мужик наконец перекрестился.

В прошлые времена вакцины делались методом тыка. Генетический синтез методом Мичурина - замутить побольше вариантов и искусственным отбором выделить подходящие. А вот нынешняя пфайзеровская вакцина - настоящая генная инженерия. Каждый нуклеотид вставлен с пониманием зачем он нужен, какая его функция. И что ещё интересно, появилась она не в результате кавалерийского наскока в этом чумовом году, а работа над ней велась много лет. Учёным приходилось выбивать финансирование у чиновников, в том числе тогда, когда пару лет назад Трамп расформировывал команду по реагированиям на пандемии. И, говоря об этом в феврале 2020-го, хвастался, что он, как бизнесмен, умеет считать деньги и не желает держать на зарплате толпы бесполезных дармоедов. Что лучше дождаться, когда они реально понадобятся, и тогда их можно будет по-быстрому нанять. А учёные в это время уже вовсю работали, и многие составляющие нынешнего успеха были сделаны уже тогда: “В 2017 удалось обнаружить, что двойная замена на пролин в определённом месте образует шиповидные белки SARS-CoV-1 и MERS правильной “пред-встраиваемой” конфигурации, даже в отдельности от тела вируса. ”

Поэтому Пфайзер и Модерна отказались присутствовать на мероприятии, задуманном как триумф Трампа - былинного героя, победившего злой вирус. Ну и правильно сделали. Не смотрел репортажа, но комментаторы говорят, что Трамп на означенном бенефисе быстро съехал на свои привычные темы - какой он молодец, и как его подло кинули на выборах.

P.S. Перечитал свой мартовский пост. Он мне напомнил, как яростно Трамп тогда сражался против признания самого существования пандемии. И как его сторонники теперь об этом напрочь забыли и признали, что он всегда делал всё правильно и мудро. Их теперешняя присказка - Трамп делал всё возможное, лучше сделать было нельзя. У кого-то попались рассуждения о том, что, вот, Трамп как-то сказал, что к концу года будет вакцина, и, та-дам! вот она вакцина к концу года! Типа, злопыхатели ему не верили, а пацан сказал - пацан сделал. Думаю, что всё немного не так. Трамп говорил много чего разного: и про то, что на Пасху церкви должны быть набиты народом, и что в один прекрасный не столь далёкий день вирус сам собой испарится, и что на следующий день после выборов про пандемию никто не вспомнит. На этот раз он, тыкая пальцем в небо, удачно попал. Повезло. А вакцину сделали совсем другие пацаны безо всякого трамповского участия.

Когда говорят о заселении других планет, сходятся на том, что полёт туда занимает слишком долго, сотни тысяч лет, что людям такое никогда не осилить.

Но это совсем необязательно должны быть люди. Когда (видимо, уже не “если”) будет создан искусственный интеллект, он вполне сможет взять на себя эту задачу. Ему не нужны сложные системы жизнеобеспечения, все эти котлеты-туалеты, у него нет проблемы рождения-смерти. Ему не скучно. Он может включаться на пять минут в сто лет, чтобы сориентироваться, починить, что состарилось, а остальное время спать в дежурном режиме.

Судя по всему, людям суждено эстафетную палочку цивилизации передать роботам. И тогда наступит эпоха эволюции чистого разума. Супер-интеллект, хорошо зная собственное устройство, займётся тем, что будет оптимизировать, совершенствовать самого себя, попутно решая задачи освоения космического пространства. Размышлять над тем, как справляться с неизбежными, со временем всё более сложными проблемами: падением на планеты астероидов, разбуханием, взрывом и угасанием звёзд. Даже страшно подумать, до каких высот разума он может дойти, имея в распоряжении практически неограниченный ресурс времени и вычислительной мощности.

Промышленность, конечно, сохранится. Но она будет занята не памперсами и кофемолками, а фундаментальными вещами: постройка компьютера, размером с планету, телескопа, размером с орбиту Земли, или коллайдера тех же размеров, или приспособление звезды в качестве двигателя к космическому кораблю. Помимо познания, не могу придумать других нужд для супер-интеллекта. В результате он узнает о вселенной на много порядков больше нас и, возможно, научится структурировать всё пространство под нужды своего разума. То есть, станет как Бог. Вот дофантазировался.

Что они сделают с нами? Можно только гадать. Могут выбросить, как отработанный материал. Могут захотеть сохранить нас в резервациях. Так же, как мы сейчас, победив всех естественных врагов вплоть до самых могучих, думаем, как не дать им вымереть окончательно. Будут содержать странных чудаков, думающих только о пожрать и о сексе, которые когда-то самозародились из космической пыли и дошли до того, что запустили космический разум.

Возможно, правда, у супер-разума не возникнет интереса к самосовершенствованию. Что в нас отвечает за тот зуд, который заставляет искать ответы на вопросы? Возможно, это чисто биологические причины - зов генов. Если его не смоделировать в компьютере, супер-разум может остаться безучастным к изучению, к освоению мира.

Наши интересы сильно завязаны на устройство нашего мозга и остального тела. Проблемы жизнеобеспечения (поесть, согреться, в туалет, зубная боль, секс) определяют львиную долю нашего мышления. Нарушения работы мозга, как утверждает Роберт Сапольски (американский нейроэндокринолог, профессор биологии, неврологии и нейрохирургии в Стэнфордском университете), могут среди прочего стимулировать интерес к религии, философии и к выполнению ритуалов.

Компьютерный разум от всего этого, понятно, будет свободен. Но у него могут быть свои бзики, обусловленные багами в его архитектуре.