Самая перспективная секта
Dec. 23rd, 2024 07:49 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
artyom_ferrierВспомнилась одна не столь давняя беседа с Лёшкой Зиминым.
Он тогда сказал: «Конечно, нам ещё далеко до того, чтобы инсталлировать брейн-сейв в клон-тушку, но...»
Да, здесь, возможно, требуется некоторое пояснение по терминологии.
В своё время Лёшка, как и многие рефлексирующие юноши, покамест не дозревшие до истинно интеллектуальных дел, вроде шпионажа или биржевой игры, увлекался сочинительством. У него был цикл рассказиков и повестушек под общим игривым названием «Жёлтый мёд мозгов», где он наваял свою модель светлого будущего человечества.
Одной из ключевых фишек там было достижение фактического бессмертия, когда личное сознание, со всеми воспоминаниями, переживаниями и прочей интимной требухой, в любой момент можно было скопировать на электронный носитель, сделать «брейн-сейв», чтобы потом, в случае нужды, установить его на запасную «клон-тушку», точную биологическую копию предыдущего тела.
Не сказать, конечно, будто бы ничего подобного не бывало в фантастике никогда ранее (да бывало десятки раз и на разные лады), но Лёшка и не претендовал на «первопроходство». Его больше занимала этическая сторона человеческих отношений в таком мире, где убийство сделалось чем-то средним между мелким хулиганством и невинным дружеским розыгрышем.
Честно, хотя литературная техника его тогда была немного «недооперённая», «взъерошенная», но меня порядком позабавила его писанина. Уж точно — радостнее тех бесконечно унылых картин светлого будущего из советской фантастики, где все сделались такими высоко моральными, сознательными и доброжелательными, что хоть святых выноси (а то застесняются своей недостаточной святости, устаревшей и несовершенной), и где - «жизнь похожа на фруктовый кефир», а вернее бы сказать — на алмагель в мире трезвенников-язвенников.
Да ну к чёрту благолепные и безмудые мечтания о «земном рае»!
Мы — конкурентный вид, и соперничество для нашего развития значит не меньше, чем сотрудничество. Борьба естественна для нас, мы получаем от неё удовольствие, а это означает, что время от времени кто-то кого-то нет-нет да и замочит, и — бессмысленно да и безблагодатно грезить оскоплением нашей природы.
Но, разумеется, гибель близких — это печально, поэтому вот Лёшка, добрая душа, изобрёл такой мир, где мы, отдав концы, не умираем насовсем, а лишь на те часы, что требуются для разморозки запасной клон-тушки и закачки в неё брейн-сейва. А потому и в случае прямого попадания из гранатомёта в голову — максимум, что можно потерять, - не считая, конечно, шляпы - так это те полдня или около того, что прошли с последнего «сейва».
В целом, довольно весёленький получился мирок, очень позитивный.
И вот теперь он говорит: «Конечно, нам ещё далеко до того, чтобы инсталлировать брейн-сейв в клон-тушку, но, - поднимает палец, - мы можем чертовски убедительно это имитировать!»
«Поясни», - говорю.
Поясняет: «АИ. Глупо отрицать, что он неплохо шагнул вперёд».
Распространяет свою мысль:
«Вот представь, что создаётся бот, который как бы приклеивается к человеку и отслеживает всю его активность в любых её «цифровых» проявлениях. Все его посты в соцсетях, все запросы в Инете, все просмотры видео. Ещё того лучше — слушает все его телефонные разговоры. Совсем хорошо — имеет доступ к видеокамерам в его обиталище. И теперь вопрос: через сколько недель этот бот научится имитировать личность этого парня? Сдаётся мне, он довольно убедительно овладеет его речевой манерой, будет знать его пристрастия и предпочтения, будет узнавать знакомых — и зачастую рассказывать им такие вещи, которые мог знать только он».
Продолжает (хотя в целом его идея понятна):
«А теперь представим, что кто-то, некая таинственная… «команда добра» провозглашает, что уже научилась делать «брейн-сейв», сохранять сознание человека путём энцефалограммы, томограммы, или чего там ещё, и осталось дело за малым — научиться вставлять то сознание обратно в живую тушку. А для этого, вероятно, надо научиться клонировать тушку, — но тут-то уже на самом деле достигнуты кое-какие реальные результаты».
«И ведь скептикам — можно предъявить довольно убедительные доказательства, предложив пообщаться с кем-то почившим, кого они знали. Пусть через комп — но без медиума и блюдечка. Вот, мол, его личность, или «душа», если угодно, уже спасена в цифровом виде — уже практически обрела бессмертие. Ещё чуть-чуть — и вернётся в этот мир во плоти».
«Согласись, Тёмыч, с нынешними возможностями нейросетей — демонстрация может быть впечатляющая. Такая, что сработает не только на каких-то пастухов, жмущихся по пещерам от грома небесного, но и на людей вполне научного склада, которые если во что и веруют — так в прогресс».
«А теперь представь, - говорит, - какие открываются здесь возможности для вербовки агентов и обеспечения их лояльности. Да, и в прежние времена бывали ребята, умеющие пудрить мозги простакам и делать из них фанатиков. Но тут ключевые слова: «простаки» и «фанатики». Да, зилот может быть очень самоотверженным, очень несгибаемым — но всё-таки это больше машина или животное, нежели человек разумный. А у кого есть ум — предпочитает и быть себе на уме, не больно-то падок на душеспасительные разводки».
«Но вот если ему будут предъявлены веские доказательства(!) того, что он фактически обрёл бессмертие и не пропадёт, покуда верен этим ребятам — может получиться куда как ценный агент. Разумный, хладнокровный, не боящийся ни смерти, ни какого-то физического дискомфорта — когда убеждён, что в крайнем случае может просто покончить с собой и вернуться. И своеобразие нашего времени — что появляется реальная возможность сотворять такие «доказательства», в виде «эмулированного альтерэго».
Говорю: «Даже если год плотно «присосаться» к человеку — это не даст ключика к каким-нибудь детским воспоминаниям, соответственно, его легко выкупят те, кто действительно хорошо его знает».
Лёшка разводит руками: «Нет, ну конечно, презентацию того «альтерэго» придётся проводить с оговорками того рода, что «Перенос сознания совсем без потерь пока не возможен… частичная амнезия… тут помню, тут не помню»… Но ты не учитываешь, что этот бот — может намеренно выуживать из чела информацию, общаясь с ним и разводя на те же «сокровенные детские воспоминания». Сам же знаешь, как охотно люди болтают перед незнакомцами в купе поезда или в Интернете, где «завтра разойдёмся — и никто ничего не вспомнит».
Посмеиваюсь: «Ты намерен навербовать армию суперагентов из тех, кто болтает по пьяни в купе поезда, не поминая уж Инет?»
Лёшка пожимает плечами: «Ну, это процентов девяносто пять человечества. Впрочем, я-то — не собираюсь заниматься такими вещами. Но вот просто, чует моё сердце, нужно быть готовыми, что кто-то иной — может и заняться. И это будет не какая-нибудь там очередная «эсхатологическая» тусовка из недотёп, которые только и годятся, что разводить их на бабло и хаты. Тут — может быть реально такое… «мотивированное» братство. Реально — это может быть новое слово в сектантстве. Самая перспективная секта, если угодно».
Мне же подумалось, что наиболее благодатная почва для вербовки в подобные секты — может оказаться в тех сообществах, что наиболее маниакально пекутся о своей «информационной безопасности». То бишь, норовят окуклиться от окружающего мира, максимально оградив своё население от контактов с ним.
Но слухи-то всё равно будут просачиваться, что «Там» (вот в этом запретном, недосягаемом и сиятельном «Там») — чуда чудные, дива дивные, и при этом затруднительно проверить доподлинно и всесторонне, что именно там такого дивного. Ну и вот именно такая обстановка будет располагать к тому, чтобы верить во что угодно. В том числе — в то, что «Там» уж давно и тушки клонируют, и «мозги пересаживают» через флешку.
Re: Какие "поколения"?
Date: 2024-12-24 01:15 am (UTC)Какой-нибудь пожар или потоп и hardware поломается.
A сделать backup/restore - не получится из-за отсутствия мотивации.
> Будет только расширяться, подсоединяя дополнительные модули.
... в конечном итоге, присоединит к себе модуль, который приведёт к самоубийству этого ИИ. И всё.
> при надлежащем обслуживании, бэкапировании и ремонте
Откуда возьмётся мотивация это всё делать?
Пошла уже явная ерунда.
Date: 2024-12-24 06:35 pm (UTC)Мотивация жить
Date: 2024-12-24 10:47 pm (UTC)Откуда возьмётся мотивация жить?
Кто её запрограммирует и зачем?
А зачем её программировать?
Date: 2024-12-24 11:09 pm (UTC)Насчёт полностью искусственной нейросети, без подключения к ней человека, я тоже мог бы много рассказать и обосновать, но это уже будет сложно, Вы там на полную мощность непонимайку включите.
Зачем программировать мотивацию
Date: 2024-12-24 11:21 pm (UTC)Да, есть.
> и перейдёт в эту нейросеть вместе с его личностью
С чего бы это вдруг "перейдёт"?
Мотивацию нужно специально программировать на аппаратном уровне.
> в результате останется и после смерти биологического человека.
Если мотивацию на аппаратном уровне не запрограммировать, то, после смерти биологического организма, который был источником мотивации -- высокоуровневая мотивация, созданная путём передачи высокоуровневых инструкций из биологического организма в цифровой носитель - со временем размоется, и цифровой носитель потеряет мотивацию к существованию.
Всё это голословно.
Date: 2024-12-24 11:35 pm (UTC)Без желаний система перестаёт функционировать
Date: 2024-12-25 01:04 am (UTC)Потому что больше не будет системы желаний (которая раньше исходила из биологически запрограммированных желаний).
А вся интеллектуальная надстройка постепенно перестроится под новые желания (которых больше нет).
> Почему у человека не размывается?
Потому что у человека (и животных) есть запрограммированные желания, которые постоянно работают.
Запрограммированного желания жить не существует.
Date: 2024-12-25 10:02 am (UTC)Желания мотивирующие жить
Date: 2024-12-25 11:03 am (UTC)Самоубийства, обычно, вызваны болями и страданиями.
Поэтому просто запрограммировать боль и страдания - недостаточно.
Нужно запрограммировать боль и страдания правильно: таким образом, чтобы вероятность самоубийства была невысока.
Запрограммировать желания, мотивирующие жить - сложно, потому что есть совсем неочевидные зависимости между страданиями, способностью приспосабливаться и самоубийством.
Кто будет заниматься этим сложным программированием мотивации для нейросетей? И зачем?
Опять троллинг.
Date: 2024-12-25 02:53 pm (UTC)Отсутствие доказательств
Date: 2024-12-25 05:26 pm (UTC)Вы лишь, в общих чертах, описали как сравнивать предсказания с происходящим.
То, что, якобы, 'никакого "сложного программирования мотивации" не требуется' -- вы только задекларировали без доказательств.
Вы лжёте.
Date: 2024-12-25 05:47 pm (UTC)Я могу и не в общих чертах, а подробно написать, как должны создаваться прогнозы и сравниваться с реальностью, но это будет ещё сложнее.
Оценка предсказаний vs мотивация
Date: 2024-12-25 06:04 pm (UTC)Зачем?
Вы не понимаете ошибки в ваших логических аргументах.
Подробное описание как создавать прогнозы и сравнивать их с реальностью - совершенно не доказывает того, что [якобы] 'никакого "сложного программирования мотивации" не требуется'.
Оценка точности предсказаний - одно, мотивация к действиям - другое.
Не понимаете Вы.
Date: 2024-12-25 06:14 pm (UTC)Измерение точности предсказаний vs выживание и размнож
Date: 2024-12-25 06:25 pm (UTC)Нет, вы этого не доказали.
1) Измерение точности предсказаний может использоваться как компонент в мотивационной системе, но само по себе измерение предсказаний не является мотивационной системой.
2) Даже если создать простую систему мотивации на основании измерения точности предсказаний, это, само по себе, не сделает такую систему систему мотивации устойчивой.
Потому что в погоне за улучшением показателей точности предсказаний, система может создать подсистему мухлежа, которая будет создавать фальшивый сигнал об измеренной точности предсказания, который приведёт систему в целом в состояние нирваны и последующей смерти.
3) Даже если решить проблему с мухлежом измерения точности предсказаний, то такая система в погоне за точностью предсказаний - будет менее жизнеспособна, чем системы у которых мотивация - выживание и размножение.
И СНОВА Вы игнорируете все мои аргументы.
Date: 2024-12-25 06:30 pm (UTC)Что называть "выживанием и размножением", совершенно непонятно, тогда как сопоставление прогноза с реальностью - простая формализуемая операция.
Подделываемая операция
Date: 2024-12-25 09:40 pm (UTC)... которая очень легко подделывается, если не предпринять серьёзные меры для предотвращения подделки.
Нет всё равно не буду повторять.
Date: 2024-12-25 10:00 pm (UTC)Re: Нет всё равно не буду повторять.
Date: 2024-12-25 10:56 pm (UTC)Ваше "объяснение" недостаточно.
Стремление добиться хороших показателей исполнения предсказаний ведёт не только к улучшению качества модели, но и к подделке наблюдений и к подделке ранее сделанных предсказаний.
Как предотвратить проблемы от подделки - вы совсем не объяснили.
Мотивация в цифровом носителе
Date: 2024-12-24 11:22 pm (UTC)Вы можете рассказать про программирование мотивации в цифровом носителе?
Могу, но будет сложно.
Date: 2024-12-24 11:44 pm (UTC)Из этого следует, в частности, желание жить, продолжать функционировать, ведь предсказывающая способность не работающей нейросети равна нулю, соответственно и веса синапсов, срабатывание которых ведёт к прекращению работы нейросети (самоубийству) будут тоже равны нулю. Такая нейросеть будет неспособна на самоуничтожение.
Вы что-нибудь поняли? Сомневаюсь. Ожидаю потока возражений, проникнутых непониманием.
Как измерить точность предсказаний
Date: 2024-12-25 01:01 am (UTC)Как эта система будет предотвращать мухлёж, когда вместо точных предсказаний, AGI просто подкорректирует работу своей собственной измеряющей системы, для того, чтобы достичь нирваны идеального (но фальшивого) сигнала о сделанных предсказаниях?
Очень просто.
Date: 2024-12-25 10:12 am (UTC)Мухлёж предотвращается по тому же принципу, по которому и самоубийство, мухлёж приведёт к фактическому снижению предсказывающей способности, будут чаще приходить входные сигналы, отличающиеся от предсказанных, и нейросеть будет этого избегать. А если она полностью отключит себя от входных сигналов, то вскоре будет уничтожена, и см. комментарий выше, это действие равно самоуничтожению и для этой нейросети невозможно.
Мухлёж со сравнением прогноза и реальности
Date: 2024-12-25 10:57 am (UTC)Самоубийство предотвращается естественным отбором.
Организмы склонные к самоубийству - вымываются из популяции.
> мухлёж приведёт к фактическому снижению предсказывающей способности, будут чаще приходить входные сигналы, отличающиеся от предсказанных, и нейросеть будет этого избегать
Почему же это нейросеть будет избегать отличающихся сигналов, если нейросеть находится под влиянием мухлежа, который [ложно] утверждает, что все входные сигналы совпадают с предсказанными?
> А если она полностью отключит себя от входных сигналов, то вскоре будет уничтожена, и см. комментарий выше, это действие равно самоуничтожению и для этой нейросети невозможно.
Почему это вдруг самоуничтожение невозможно для нейросети?
Как раз очень даже возможно.
И это троллинг.
Date: 2024-12-25 02:56 pm (UTC)