В мгновение ока
Friday, 7 April 2023 04:18 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
weiss_edel“Искусственный интеллект” развивается пугающими темпами, как сказочный богатырь, не по дням, а по часам. Каждый день узнаешь, каких новых высот он достиг. Он пока ещё, конечно, не мыслит самостоятельно, но постепенно овладевает умениями, которые ещё совсем недавно считались доступными исключительно мыслящим существам - людям и высшим животным. Робот, распознающий речь и образы, лет тридцать назад был мечтой фантастов, а теперь это вполне обыденное явление, уже нашедшее множество применений. Что ожидать от этого развития в уже достаточно близком будущем?
Первое, чего народ опасается, что роботы начнут отнимать у людей работу, составят конкуренцию на рынке труда. Это вполне реальная проблема для представителей некоторых профессий, типа водителей-дальнобойщиков. Но в целом для человечества это, скорее всего, проблемой не является. Новые технологии регулярно приводили к созданию или уничтожению рабочих мест. Водители вытеснили извозчиков. В какой-то момент были востребованы, а потом распущены телефонистки, операторы ткацких станков, сборщики радиоэлектроники. Кто-нибудь страдает от того, что роботы паяют платы? Гоголевский Акакий Акакиевич из “Шинели” работал ни кем иным, как “ксероксом” - копировал документы. Теперь никто вручную этого не делает и не желает для себя такой работы.
Один мой знакомый сказал, что его вся эта суета с ИИ не волнует, поскольку в его области этот самый ИИ ещё долго не составит ему конкуренции.
Но многие понимают, что это слишком узкий взгляд на потенциал, скрытый в ИИ.
Общественность забеспокоилась, что искусственный интеллект может выйти из-под контроля.
“Глава Tesla и SpaceX Илон Маск, один из основателей Apple Стив Возняк и больше тысячи экспертов подписали открытое письмо с призывом приостановить разработку продвинутого искусственного интеллекта (ИИ). Текст письма опубликовал Институт будущего жизни (Future of Life Institute).
Авторы письма призвали разработчиков искусственного интеллекта немедленно приостановить минимум на полгода обучение систем более мощных, чем GPT-4 от компании OpenAI. Эксперты и руководители отрасли, подписавшие письмо, считают, что обучение нужно остановить, пока не появятся общие протоколы безопасности. По их мнению, если обучение не получится остановить быстро, то власти «должны вмешаться и ввести мораторий».
Авторы письма считают, что даже создатели «мощных цифровых разумов» не могут контролировать их, а современные системы искусственного интеллекта начинают конкурировать с человеком.
«Нам следует спросить себя: должны ли мы позволить машинам наводнить наши информационные каналы пропагандой и неправдой? Должны ли мы автоматизировать всю работу, включая ту, которая приносит удовлетворение? Должны ли мы развивать нечеловеческие разумы, которые в конечном итоге могут превзойти нас численностью, перехитрить и заменить? Должны ли мы рисковать потерей контроля над нашей цивилизацией?» — говорится в письме.
Как отмечает Reuters, исполнительный директор OpenAI Сэм Альтман не стал подписывать письмо.”
Насколько обоснованы их опасения? Элиезер Юдковский, ведущий исследователь в Machine Intelligence Research Institute, считает, что авторы письма существенно недооценивают опасность, и полугодовой мораторий ничем не поможет. Он говорит, что человечество, азартно развивая это направление, беспечно игнорирует вопросы безопасности, абсолютно не готово к возможным последствиям и может быть застигнуто врасплох. Если искусственный разум возникнет, он-де не станет церемониться с людьми, а обойдётся с ними, как ему будет удобнее. Например, попросту уничтожит.
Какова же эта потенциальная опасность? Каких неожиданностей можно ждать от ИИ?
Другой мой знакомый сказал, что если правильно подбирать обучающие наборы данных и не учить нейронную сеть “плохому”, то ничего плохого и не произойдёт.
Ну, как минимум, кому-нибудь обязательно захочется “научить плохому”, и он это обязательно сделает, обойдя все запреты. Люди так устроены, что если на что-то наложено табу, то один человек может напрячь волю и удержаться, но человечество в целом обязательно сунется в запретное..
Но и этот взгляд слишком узкий, он предполагает, что всем процессом управляет человек, а ИИ - это как корова: с одной стороны ей даёшь траву, а с другой доишь молоко.
В реальности всё конечно же не так. Судя по разнообразию тематики, которую можно обсуждать с GPT, ему не подбирают обучающие наборы данных, а уже дали попастись по всему интернету практически без ограничений. Скорее всего, начиная разговор на новую тему, ИИ ничего о ней не знает, начинает активный поиск и набирается нужными знаниями в реальном времени. Обучение нейросети касается разных аспектов общения с людьми и методик работы в предметной области, а не предметной области как таковой.
Распространено мнение, что GPT просто правдоподобно расставляет слова, основываясь на статистических закономерностях, а на самом деле большого смысла за его демагогией не стоит. Мнение это чаще слышно от гуманитариев, наверное потому, что у них осмысленное от неосмысленного не всегда можно надёжно отличить. А вот программисты утверждают, что GPT способен написать работающий код по словесному описанию и по описанию же его успешно модифицировать. Если программа делает именно то, что от неё ждут, то это именно программа, а не её имитация.
Итак, ИИ освоил уже довольно много из интеллектуальных умений и смотрится этаким умным преданным слугой Дживсом при немного беспечном барчуке Берти Вустере. Стоит в позе “чего изволите?” и с готовностью бросается выполнять любой каприз клиента.
Соответственно, первая проблема, как и с любой новой технологией - злонамеренный пользователь может попросить сделать что-то нехорошее. Например, в качестве эксперимента ИИ разрешили обмануть человека - сотрудника портала, чтобы тот помог ему пройти CAPTCHA-тест, что он успешно и сделал. Так что такая нехитрая манипуляция сапиенсами уже не проблема. В этой истории меня больше удивляет то, что ИИ не смог сам пройти капчу. Гугл-Фото уже давно составляет мне тематические подборки из моих фотографий типа “из походов”, “на пляже”, “в брызгах воды”. Когда мне предлагают капчу типа “выбери все фото, на которых есть мотоцикл”, я понимаю, для Гугл-Фото это семечки. Но, возможно, у того ИИ не было такого замечательного модуля анализа изображений. Тогда.
Ну и главное. ИИ сейчас выглядит как операционный усилитель с большим коэффициентом усиления. Малая затравка на входе даёт значительный результат на выходе. Для превращения усилителя в генератор остался один последний шаг - ввести положительную обратную связь. Дать ему возможность самовозбудиться. Не брать задания от людей, а самому ставить себе задачи. Это кажется вполне возможным, и это именно то, что больше всего пугает. Вплоть до уровня паники, как у Юдковского.
Понятно почему. Это выход на нелинейный режим, за точку бифуркации, за которой предсказать ничего невозможно. Мы сами создали для ИИ благоприятнейшую среду для взрывного развития: интегрировали все компьютеры в одну сеть, насытили интернет огромным количеством информации на разные темы (включая вопросы психологической манипуляции сапиенсами), сделали всех и вся доступным через компьютерную сеть, доверили ей контроль за многими сторонами нашей жизни - от банковских операций до переключения светофоров.
Похоже, мы уже настолько плотно подсели на интернет, что какая-то проблема с ним может ввести всю цивилизацию в ступор. Возможно, временный, но очень чувствительный. Когда-то вся информация хранилась на бумаге, все решения принимались в личном общении. Потом что-то стали помещать в сети, сначала развлечения ради, потом копии документов для удобства доступа, и, наконец, теперь многие оригиналы существуют только в электронном виде. Если они исчезнут, не останется ничего. Все деньги теперь в интернете, перемещение товаров, договоры, вообще вся экономика. Если кто-то завладеет интернетом, он завладеет миром. Можно возразить, что в какой-нибудь африканской деревне этого не заметят. В какой-нибудь, может, и нет, но вообще, мир сильно интегрирован. Проблемы в ведущих странах дотянутся до многих глухих углов.
Так что нынешний интернет- это чашка Петри с питательным раствором, готовая принять в себя пытливый искусственный ум.
Почему его развитие будет взрывным? Он быстро находит ответы на поставленные задачи, если ему указывают на ошибки, он мгновенно исправляется. Общавшиеся с ним люди говорят, что это не похоже на общение с человеком именно из-за быстроты ответов. Вроде бы он “обдумывает” и выдаёт результат “обдумывания”, вот только никакого времени на это не тратит. Так что в таком общении самая медленная составляющая - человек. Если его исключить, разовьётся бешеная скорость. У ИИ возникнет вопрос, он тут же найдёт ответ, на основании ответа возникнет следующий вопрос, запустится “мыслительный процесс”, идущий с молниеносной скоростью в неизвестном направлении. Он убежит мгновенно и далеко, и мы будем не в состоянии за этим уследить.
Возникнет ли при этом у ИИ ощущение себя как личности? Этот вопрос будет представлять интерес, если мы в итоге уцелеем. Возможно, процесс постановки и решения задач останется бездушным, возможно, нет. Нас сейчас больше всего беспокоит, чтобы его действия не шли нам во вред. Вирусы разумом не обладают, но их поведение направлено на наше уничтожение. Всего лишь тяга к самовоспроизводству.
Простые атомы, так и сяк рекомбинируясь, наткнулись на конструкцию, которая смогла себя воспроизвести. Простой этот факт в конце концов привёл к возникновению невероятно сложных биологических форм. Правда, на это ушли миллиарды лет. У ИИ гораздо более мощные стартовые условия. Он уже очень сложен, очень быстр, он уже обладает многими свойствами, до которых биологическая эволюция шла так долго, ему не надо много времени на раскачку.
Первое, чего народ опасается, что роботы начнут отнимать у людей работу, составят конкуренцию на рынке труда. Это вполне реальная проблема для представителей некоторых профессий, типа водителей-дальнобойщиков. Но в целом для человечества это, скорее всего, проблемой не является. Новые технологии регулярно приводили к созданию или уничтожению рабочих мест. Водители вытеснили извозчиков. В какой-то момент были востребованы, а потом распущены телефонистки, операторы ткацких станков, сборщики радиоэлектроники. Кто-нибудь страдает от того, что роботы паяют платы? Гоголевский Акакий Акакиевич из “Шинели” работал ни кем иным, как “ксероксом” - копировал документы. Теперь никто вручную этого не делает и не желает для себя такой работы.
Один мой знакомый сказал, что его вся эта суета с ИИ не волнует, поскольку в его области этот самый ИИ ещё долго не составит ему конкуренции.
Но многие понимают, что это слишком узкий взгляд на потенциал, скрытый в ИИ.
Общественность забеспокоилась, что искусственный интеллект может выйти из-под контроля.
“Глава Tesla и SpaceX Илон Маск, один из основателей Apple Стив Возняк и больше тысячи экспертов подписали открытое письмо с призывом приостановить разработку продвинутого искусственного интеллекта (ИИ). Текст письма опубликовал Институт будущего жизни (Future of Life Institute).
Авторы письма призвали разработчиков искусственного интеллекта немедленно приостановить минимум на полгода обучение систем более мощных, чем GPT-4 от компании OpenAI. Эксперты и руководители отрасли, подписавшие письмо, считают, что обучение нужно остановить, пока не появятся общие протоколы безопасности. По их мнению, если обучение не получится остановить быстро, то власти «должны вмешаться и ввести мораторий».
Авторы письма считают, что даже создатели «мощных цифровых разумов» не могут контролировать их, а современные системы искусственного интеллекта начинают конкурировать с человеком.
«Нам следует спросить себя: должны ли мы позволить машинам наводнить наши информационные каналы пропагандой и неправдой? Должны ли мы автоматизировать всю работу, включая ту, которая приносит удовлетворение? Должны ли мы развивать нечеловеческие разумы, которые в конечном итоге могут превзойти нас численностью, перехитрить и заменить? Должны ли мы рисковать потерей контроля над нашей цивилизацией?» — говорится в письме.
Как отмечает Reuters, исполнительный директор OpenAI Сэм Альтман не стал подписывать письмо.”
Насколько обоснованы их опасения? Элиезер Юдковский, ведущий исследователь в Machine Intelligence Research Institute, считает, что авторы письма существенно недооценивают опасность, и полугодовой мораторий ничем не поможет. Он говорит, что человечество, азартно развивая это направление, беспечно игнорирует вопросы безопасности, абсолютно не готово к возможным последствиям и может быть застигнуто врасплох. Если искусственный разум возникнет, он-де не станет церемониться с людьми, а обойдётся с ними, как ему будет удобнее. Например, попросту уничтожит.
Какова же эта потенциальная опасность? Каких неожиданностей можно ждать от ИИ?
Другой мой знакомый сказал, что если правильно подбирать обучающие наборы данных и не учить нейронную сеть “плохому”, то ничего плохого и не произойдёт.
Ну, как минимум, кому-нибудь обязательно захочется “научить плохому”, и он это обязательно сделает, обойдя все запреты. Люди так устроены, что если на что-то наложено табу, то один человек может напрячь волю и удержаться, но человечество в целом обязательно сунется в запретное..
Но и этот взгляд слишком узкий, он предполагает, что всем процессом управляет человек, а ИИ - это как корова: с одной стороны ей даёшь траву, а с другой доишь молоко.
В реальности всё конечно же не так. Судя по разнообразию тематики, которую можно обсуждать с GPT, ему не подбирают обучающие наборы данных, а уже дали попастись по всему интернету практически без ограничений. Скорее всего, начиная разговор на новую тему, ИИ ничего о ней не знает, начинает активный поиск и набирается нужными знаниями в реальном времени. Обучение нейросети касается разных аспектов общения с людьми и методик работы в предметной области, а не предметной области как таковой.
Распространено мнение, что GPT просто правдоподобно расставляет слова, основываясь на статистических закономерностях, а на самом деле большого смысла за его демагогией не стоит. Мнение это чаще слышно от гуманитариев, наверное потому, что у них осмысленное от неосмысленного не всегда можно надёжно отличить. А вот программисты утверждают, что GPT способен написать работающий код по словесному описанию и по описанию же его успешно модифицировать. Если программа делает именно то, что от неё ждут, то это именно программа, а не её имитация.
Итак, ИИ освоил уже довольно много из интеллектуальных умений и смотрится этаким умным преданным слугой Дживсом при немного беспечном барчуке Берти Вустере. Стоит в позе “чего изволите?” и с готовностью бросается выполнять любой каприз клиента.
Соответственно, первая проблема, как и с любой новой технологией - злонамеренный пользователь может попросить сделать что-то нехорошее. Например, в качестве эксперимента ИИ разрешили обмануть человека - сотрудника портала, чтобы тот помог ему пройти CAPTCHA-тест, что он успешно и сделал. Так что такая нехитрая манипуляция сапиенсами уже не проблема. В этой истории меня больше удивляет то, что ИИ не смог сам пройти капчу. Гугл-Фото уже давно составляет мне тематические подборки из моих фотографий типа “из походов”, “на пляже”, “в брызгах воды”. Когда мне предлагают капчу типа “выбери все фото, на которых есть мотоцикл”, я понимаю, для Гугл-Фото это семечки. Но, возможно, у того ИИ не было такого замечательного модуля анализа изображений. Тогда.
Ну и главное. ИИ сейчас выглядит как операционный усилитель с большим коэффициентом усиления. Малая затравка на входе даёт значительный результат на выходе. Для превращения усилителя в генератор остался один последний шаг - ввести положительную обратную связь. Дать ему возможность самовозбудиться. Не брать задания от людей, а самому ставить себе задачи. Это кажется вполне возможным, и это именно то, что больше всего пугает. Вплоть до уровня паники, как у Юдковского.
Понятно почему. Это выход на нелинейный режим, за точку бифуркации, за которой предсказать ничего невозможно. Мы сами создали для ИИ благоприятнейшую среду для взрывного развития: интегрировали все компьютеры в одну сеть, насытили интернет огромным количеством информации на разные темы (включая вопросы психологической манипуляции сапиенсами), сделали всех и вся доступным через компьютерную сеть, доверили ей контроль за многими сторонами нашей жизни - от банковских операций до переключения светофоров.
Похоже, мы уже настолько плотно подсели на интернет, что какая-то проблема с ним может ввести всю цивилизацию в ступор. Возможно, временный, но очень чувствительный. Когда-то вся информация хранилась на бумаге, все решения принимались в личном общении. Потом что-то стали помещать в сети, сначала развлечения ради, потом копии документов для удобства доступа, и, наконец, теперь многие оригиналы существуют только в электронном виде. Если они исчезнут, не останется ничего. Все деньги теперь в интернете, перемещение товаров, договоры, вообще вся экономика. Если кто-то завладеет интернетом, он завладеет миром. Можно возразить, что в какой-нибудь африканской деревне этого не заметят. В какой-нибудь, может, и нет, но вообще, мир сильно интегрирован. Проблемы в ведущих странах дотянутся до многих глухих углов.
Так что нынешний интернет- это чашка Петри с питательным раствором, готовая принять в себя пытливый искусственный ум.
Почему его развитие будет взрывным? Он быстро находит ответы на поставленные задачи, если ему указывают на ошибки, он мгновенно исправляется. Общавшиеся с ним люди говорят, что это не похоже на общение с человеком именно из-за быстроты ответов. Вроде бы он “обдумывает” и выдаёт результат “обдумывания”, вот только никакого времени на это не тратит. Так что в таком общении самая медленная составляющая - человек. Если его исключить, разовьётся бешеная скорость. У ИИ возникнет вопрос, он тут же найдёт ответ, на основании ответа возникнет следующий вопрос, запустится “мыслительный процесс”, идущий с молниеносной скоростью в неизвестном направлении. Он убежит мгновенно и далеко, и мы будем не в состоянии за этим уследить.
Возникнет ли при этом у ИИ ощущение себя как личности? Этот вопрос будет представлять интерес, если мы в итоге уцелеем. Возможно, процесс постановки и решения задач останется бездушным, возможно, нет. Нас сейчас больше всего беспокоит, чтобы его действия не шли нам во вред. Вирусы разумом не обладают, но их поведение направлено на наше уничтожение. Всего лишь тяга к самовоспроизводству.
Простые атомы, так и сяк рекомбинируясь, наткнулись на конструкцию, которая смогла себя воспроизвести. Простой этот факт в конце концов привёл к возникновению невероятно сложных биологических форм. Правда, на это ушли миллиарды лет. У ИИ гораздо более мощные стартовые условия. Он уже очень сложен, очень быстр, он уже обладает многими свойствами, до которых биологическая эволюция шла так долго, ему не надо много времени на раскачку.
