Релятивистское сжатие
Oct. 30th, 2015 10:02 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
ahajtinМного общаюсь с коллегами, в значительной степени иностранными.
Все разговоры вокруг совершенно травоядного бизнеса: HR, маркетинг, продажи, технологии. Общее ощущение практически не зависит от страны и индустрии: прямо на наших глазах и с нашим участием открывается то ли ящик Пандоры, то ли источник всеобщего благоденствия.
Цитата из разговора, с середины:
- Страшновато, конечно.
- Поздно уже бояться
- Ну да, уже поздно
Ну и дальше пошли обсуждать ближайшие шаги по дальнейшему открытию ящика.
В общем развилку, на которой можно было свернуть в безопасную сторону мы опять проскочили. Вспоминаются Стругацкие с описанием той самой безопасной стратегии: "транспорт у них только общественный, авиации никакой, зато прекрасно развита проводная связь".
Все разговоры вокруг совершенно травоядного бизнеса: HR, маркетинг, продажи, технологии. Общее ощущение практически не зависит от страны и индустрии: прямо на наших глазах и с нашим участием открывается то ли ящик Пандоры, то ли источник всеобщего благоденствия.
Цитата из разговора, с середины:
- Страшновато, конечно.
- Поздно уже бояться
- Ну да, уже поздно
Ну и дальше пошли обсуждать ближайшие шаги по дальнейшему открытию ящика.
В общем развилку, на которой можно было свернуть в безопасную сторону мы опять проскочили. Вспоминаются Стругацкие с описанием той самой безопасной стратегии: "транспорт у них только общественный, авиации никакой, зато прекрасно развита проводная связь".
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2015-10-30 09:17 pm (UTC)no subject
Date: 2015-10-31 12:05 am (UTC)Я потихоньку начинаю подозревать из каких технологий оно сложится. Естественно это пока что совсем необоснованные ощущения, но уже есть.
В порядке бреда: пусковой механизм может получиться очень странный. Т.к. до сих пор никаких признаков самостоятельного целеполагания в AI я не видел, а вот средства достижения целей развиваются очень быстро и разнообразно, сингулярность может стартовать с гибрида - люди ставят цели, весьма общие, AI сложным образом их достигает. Симбиоз Джинна с Алладином. Джинн без Алладина пассивен, Алладин без Джинна ничего не может. Собравшись вместе могут строить дворцы и разрушать города.
no subject
Date: 2015-10-31 12:41 am (UTC)ну хорошо, я понимаю, что читать Бострома времени нет, или не хочется. ну тогда можно примкнуть к первоисточнику, полтора экрана всего: http://wiki.lesswrong.com/wiki/Paperclip_maximizer
всё остальное, включая обретение мирового господства - это operational goals.
no subject
Date: 2015-10-31 12:50 am (UTC)Бострома я прочитал. И считаю, что он литератор-прожектер, пардон. То же примерно относится к Paperclip maximizer. Тем более этот сценарий вроде у Бострома описывался.
Вот есть у нас оптимизационная модель конвертерного производства стали. Она оптимизирует _в установленных при создании рамках_. Параметры подбирает. Хорошо подбирает, лучше человека. Но никаких шансов перейти к созданию электроплавильной печи у нее нет. Ровно то же и к скрепкам относится. Одна модель будет их продавать, вторая сырье покупать, третья производство оптимизировать. И каждая из них будет ограничена своей областью. Выскребут все резервы внутри области определения и все.
Ровно так же, как появление все мощных процессоров не привело к самозарождению кода в них, появление узких AI решений не ведет к зарождению сильного AI (не помню какая там нынче правильная аббревиатура для этого).
no subject
Date: 2015-10-31 01:16 am (UTC)ничего сложного тут нет.
1. для наличия superintelligence не нужно самостоятельное целеполагание. в смысле конечной цели. из того, как ты выражаешься, не очень понятно, споришь ты с этим тезисом, или нет, поэтому я вынужден повторяться.
промежуточные цели, типа завоевания мирового господства - это operational goals, примерно как в шахматах для того, чтобы в конце выиграть, надо вначале развить свои фигуры.
2. "ограничение", как ты выражаешься, называется "control problem". это неожиданно сложная проблема, и Бостром объясняет гораздо лучше, чем я смогу. если ты прочитал, у тебя должны быть конкретные возражения. если их нет, то ты, скорее всего, не читал, или не понял ничего.
один, очень маленький аспект сложности control problem - это то, что чем более AI confined, тем меньше от него пользы. а делают его как раз с целью получения пользы.
"литератор-прожектер" - это реально смешно. это как если бы я t'Hoofta называл "литератором-прожектером", понимая, в лучшем случае, 5% им написанного.
мне кажется, стоит воздержаться от эпитетов подобного рода, пока не окрепнет уверенность в хотя бы зачатках понимания.
no subject
Date: 2015-10-31 02:01 am (UTC)а) Я совершенно не настаиваю на том, что со мной стоит разговаривать. Но если со мной разговаривать, немного странно требовать от меня отказаться от собственных мнений и оценок.
б) Я полагаю, что в силу специфики работы и круга общения понимаю в технологиях ML и их практическом применении значительно больше, чем подавляющее большинство населения и IT специалистов. Очень может быть, что я ошибаюсь, самооценка завышена и т.п. Так что особого пиетета к "авторитетам" у меня нет. Хотя сам на "авторитетность" не претендую
в) Если ты уверен, что я "не понимаю" и хочешь меня просветить, боюсь, разговора не получится. Если же все таки хочется что-то обсудить, несмотря на мою дремучесть, не стоит заранее предполагать, что я не читал и не понял. Возможно стоит все же допустить, что я просто не согласен и имею другое мнение
Теперь по сути:
1. Легкость постановки operational goals представляется мне искусственной. До сих пор я не видел примеров решений, которые способны поставить сами себе такие цели вне заранее предопределенного человеком набора возможных целей. Развитие фигур в шахматах происходит внутри правил, заданных извне. Робот шахматист будет играть в шахматы и не сможет учитывать психологическое состояние оппонента, пока ему извне не расширят рамки.
2. Рассуждая про то, что "неограниченный" AI полезнее "ограниченного", стоит сначала понять, можем ли мы на имеющихся технологиях построить неограниченный интеллект, способный к постановке operational goals, не заданных заранее человеком. Пока что я считаю, что нынешние технологии дают только отдаленные намеки на то, как решить эту задачу.
Возьмем сценарий со скрепками. Сейчас, как я и писал, реально построить целый набор оптимизаторов:
- закупка
- продажа
- производство
Ни один из них ни к какой постановке operational goals не способен. Как из массы таких оптимизаторов возникнет AI, способный к постановке таких целей остается загадкой. Если где-то описан механизм такого перехода - с интересом прочитаю. Иначе получается анекдот про изобретателя большой красной кнопки для решения всех проблем.
no subject
Date: 2015-11-05 06:40 pm (UTC)no subject
Date: 2015-11-05 07:41 pm (UTC)а) заранее известны метрики
б) заранее известны перменные, на которые можно влиять
Вы, вслед за Бостромом (хорошая компания, кстати), считаете переход от систем, работающих в заранее установленных границах, к системам, самостоятельно определяющими такие границы, количественным.
Я в этом крайне сомневаюсь.
no subject
Date: 2015-11-06 12:48 pm (UTC)no subject
Date: 2015-10-31 11:34 am (UTC)Это я к тому, что сингулярность в областях "маркетинга и продаж" видится довольно ироничной. Ну ок, ИР строит модели, предсказывает поведение больших масс людей. Ну станет достаточно первички и алгоритмов для моделирования потребностей человека с большим, чем сейчас, качеством. RTB биржи перейдут с кластеризации на более сложные алгоритмы.
А знаешь какой будет результат всех этих технологий? Система наконец-то научится не показывать мне рекламу ботинок, после того, как я их купил. А рекламу ласт - после того, как я вернулся из отпуска. (тут смайлик)
no subject
Date: 2015-10-31 02:50 pm (UTC)Посмотри, что интеграторы делают с рынком такси (это как пример).
Глядя на проекты в области медицины (у нас есть), металлургии (у нас есть), HR (у нас есть) видно, что меняется не одна отрасль, а все. То, что произойдет реальная автоматизация работы квалифицированных специалистов, изменит рынок труда. Ну и так далее.
no subject
Date: 2015-10-31 03:04 pm (UTC)но говорить о сингулярности - это как в эпоху паровозов и конок говорит что бензиновые двигатели добавят "сингулярность". электропоезда добавят сингулярность. беспроводная связь породят сингулярность.
да, рынки поменяются, правила игры поменяются, структура производтства - потребления поменяется, экономика поменяется. раньше таксисты брали на себя маржу, теперь их интеграторы. продолжится укрупнение бизнеса, в структуре продукта появятся составляющие которых раньше не было - все эти умные прогностические модели, RTB всех мастей и пр.
но из чего следует, что изменения выйдут из под контроля, что случится приписываемая технологической сингулярности "невозможность предсказать" изменения?
С точки зрения 30-летней давности выходит мы в сингулярности живем? глобальная связь, глобализация рынков и пр.? Тоже мне сингулярность :-)
вот если наноботов изобретут, тогда да.
no subject
Date: 2015-10-31 03:06 pm (UTC)Только вот беспилотные грузовики, например, прямо таки изменят США. На эту тему есть внятный прогноз.
А так да, по сравнению с 1985 мы живем в сингулярности. Достаточно посмотреть на то, что происходит с доступностью данных, механизмами принятия решений, скоростью изменений.
Невозможность предсказания впрямую следует из скорости изменений. И скорость эта все растет и растет.