|
Некоторые мои посты с форума GotAi (Готайки)
|
|
| Func | Дата: Среда, 17.05.2017, 23:12 | Сообщение # 1 |
|
Группа: Администраторы
Сообщений: 187
Статус: Offline
| Кажется, удалось придти к пониманию того, в каком направлении следует двигаться дальше. Наметки идеи содержатся в некоторых постах на Готайке.
Я их на всякий случай продублирую здесь.
" Добавлено: 16 май 17 1:27
Изменено: 16 май 17 1:35
За прошедшее время серьезно изменил свой взгляд на соображения изложенные в посте за 7 мая.
Мысль о том, что для обеспечения интеллектуальности агента его
необходимо обеспечить способностью к эффективному многошаговому
прогнозированию/планированию
(на индуктивных знаниях)
по прежнему представляется правильной.
Цитата:
Автор: Траян:
... для того, чтобы у искусственных агентов (живых существ) могли
наблюдаться самые первые проблески самосознания (рефлексии) необходимо
чтобы они обладали способностью хотя бы к /многошаговому, т.е. хотя бы
,/ двухшаговому прогнозированию/планированию
Это все верно.
Но вот с идеей о том, что справиться с комбинаторным взрывом при
построении прогностических деревьев удастся с помощью некоего аналога
эмоций:
Траян:
Сама эта способность будет осуществляться не путем построения
разветвленных деревьев действие-ситуация(состояние среды), ибо в этом
случае неизбежен комбинаторный взрыв. А так, как это делается в RL, где
тому или иному состоянию среды приписывается значение величины
ценности.Величину ценности можно рассматривать как аналог первичной
эмоции, генерируемой по результату выполнения некой когнитивной операции
(выработки стратегии/выбора действия). Чем более удачную стратегию
удается выработать ("придумать") агенту, тем большее подкрепление он
получает.
похоже, придется распрощаться.
сейчас решение проблемы с многошаговым прогнозированием видится совсем другим.
обойтись без функции ценности и квази-эмоций удастся если оценивать
создаваемые стратегии не по абсолютной шкале (а на бесконечно кол-ве
шагов это жуткий гемор, тут хлопот не оберешься), а относительно -
просто сравнивая разные стратегии попарно между собой.
При таком подходе удастся обеспечить постепенное
развитие/совершенствование всей системы, но производиться это развитие
будет не так, как виделось ранее:
Траян:
на этапе СПИ-2 основной прогресс в развитии интеллектуальных
способностей будет достигаться за счет постепенного развития и
совершенствования эмоциональной компоненты всей системы, некоего аналога
лимбической системы живых существ. При этом совершенствование
предполагается производить по пути изменения источников получения
первичных эмоций - если сначала они генерировались исключительно от
рецепторов непосредственно регистрирующих состояние среды/сомы, то затем
они начинают все в больше и большей степени генерироваться по
результатам выполнения ментальных т.е. информационных/когнитивных
операций.
т.е. не за счет развития системы эмоций, а за счет постепенного - путем
тысячи мелких улучшений - той предельно простой стратегии, что дается
агенту изначально.
Путь развития агента - это путь постепенного построения, выращивания им своей личности.
Минусы при таком подходе, такие же как и при всяком градиентном спуске.
В нашем случае это может привести к тому, что созданная в итоге личность
может быть далека от идеала, от наиболее оптимального варианта, кроме
того, уже выращенную личность агент не сможет радикально переделывать
впоследствии.
Но такой недостаток присущ и ЕИ. Та личность homo которая формируется к
14-16 годам, может в дальнейшем корректироваться и перестраиваться, но
все эти коррекции и подстройки не могут затрагивать того онтологического
базиса, который лежит в ее основе."
|
| |
| |
| Func | Дата: Среда, 17.05.2017, 23:13 | Сообщение # 2 |
|
Группа: Администраторы
Сообщений: 187
Статус: Offline
| На: Об одном подходе к решению задачи создания СИИ
[Удалить]
Добавлено: 17 май 17 1:22
Изменено: 17 май 17 1:23
Цитата:
Автор: Траян:
сейчас решение проблемы с многошаговым прогнозированием видится совсем другим.
обойтись без функции ценности и квази-эмоций удастся если оценивать
создаваемые стратегии не по абсолютной шкале (а на бесконечно кол-ве
шагов это жуткий гемор, тут хлопот не оберешься), а относительно -
просто сравнивая разные стратегии попарно между собой.
Здесь речь идет о том, не нужно пытаться решить проблему многошагового
прогнозирования(планирования) стараясь найти некий универсальный метода
сравнения любых двух стратегий S1 и S2 между собой.
По всей видимости, в такой постановке эта задача неразрешима в принципе.
Так как для ее решения в предельно общем случае необходимо уметь
находить отдельно суммы R1 и R2 матожиданий подкреплений на бесконечном
горизонте (при сколь-нибудь сложных стратегиях объем вычислений
становится неподъемным, там рост по экспоненте).
Но вместо подсчета полных сумм R1 и R2 мы можем попробовать подсчитывать разность сумм, т.е. некую d(R1,R2).
Здесь есть один интересный момент. Затраты на подсчет разности d(R1,R2)
зависят от двух величин - величины сложности стратегий и того насколько
сильно они друг от друга отличаются.
Возможны следующие случаи:
1) Стратегии S1 и S2 могут быть сами по себе очень сложными и
изощренными стратегиями, но если они отличаются друг от друга не очень
сильно, то подсчет разницы d(R1,R2) становится вполне выполнимым.
2) Стратегии S1 и S2 могут отличаться друг от друга самым кардинальным
образом но при этом быть сами по себе очень простыми, и в этом случае
подсчет тоже вполне реален.
Иначе говоря, подсчет разницы в пользе двух стратегий d(R1,R2)
становится возможным когда величина произведения сложности какой-то
стратегии S1 на величину отличия ее от другой стратегии S2 меньше некой
константы.
W(S1)*d(S1,S2) < С.
|
| |
| |
| Func | Дата: Среда, 17.05.2017, 23:14 | Сообщение # 3 |
|
Группа: Администраторы
Сообщений: 187
Статус: Offline
| 17 май 17 1:29
Изменено: 17 май 17 2:04
Цитата:
Автор: Траян:
Иначе говоря, подсчет разницы в пользе двух стратегий d(R1,R2)
становится возможным когда величина произведения сложности какой-то
стратегии S1 на величину отличия ее от другой стратегии S2 меньше некой
константы.
ут просматривается интересная параллель с ЕИ, точнее - с его онтогенезом.
Все знают о том, что психика ребенка чрезвычайно пластична и изменчива,
психика младенца - это пластилин, лепи из него что хочешь (в пределах
задаваемых генетикой).
Все знают, что психика стариков отличается ригидностью и консервативностью.
Интуитивно, на общем уровне, все понимают, в чем тут дело.
Но вот применение формулы W(S1)*d(S1,S2) < С может дать ключ к более детальному пониманию сути этого явления.
У младенцев, на начальном этапе формирования адаптационного поведения
поначалу используются очень простенькие стратегии/модели мира. Которые
можно очень легко полностью поменять или подкорректировать т.к. и
расходы на вычислительное обеспечение таких процедур сравнительно
невелики и - что особенно важно - на ранних этапах пока еще оказывается
возможной оценка и сравнение различных жизненных стратегий/установок
между собой (а значит, оказывается возможным нахождение решения о том,
КАК должна изменяться его психика.)
По мере роста человека, усложнения и развития используемой им модели
мира/стратегии поведения процедуры их изменения становятся все более
обременительными и затратными. Но не только это. Нахождение решения о
том, как, каким образом должна быть изменена эта модель тоже становится
все более трудным.
В процессе взросления людей используемые ими стратегии/модели мира
становятся все более сложными, изощренными и громоздкими и наступает
момент, когда вычислительное обеспечение его мозга уже оказывается не
способным справиться с задачей тотального изменения сформировавшихся
моделей мира.
Начиная с некоторого момента (интересно, как его можно определить по
внешним признакам?) адаптация поведения может производится лишь за счет
частичного изменения (подгонки, коррекции) модели мира. Но не ее
кардинальной смены. Это начиная с какого-то момента становится
невозможным - тогда говорят,что психика/личность сформировалась.
В дальнейшем величина таких изменений постепенно все уменьшается и уменьшается.
|
| |
| |
| Func | Дата: Среда, 17.05.2017, 23:14 | Сообщение # 4 |
|
Группа: Администраторы
Сообщений: 187
Статус: Offline
| Т.> некую d(R1,R2).
ну, в общем-то и сами суммы можно не стремиться 'точно' посчитать, а
использовать частные суммы и оценки хвостов, которые вообще говоря
сильно дисконтированы.
о: 17 май 17 3:48
Изменено: 17 май 17 9:08
Как мне представляется, идея дисконта (как идея искусственного
уменьшения значимости удаленных во времени членов суммы)в СИИ не катит.
Она хорошо работает в ML и, в частности, в RL, но лишь при решении очень
ограниченных модельных задач. Поскольку используется она от
безысходности, как некий ad hoc прием (искусственно придуманная
временная затычка проблемы).
Для СИИ это непригодно потому как дисконт означает уменьшение значения
будущего, превращение его в серую, маловыразительную перспективу, о
достижении успехов (или избежании наказаний) в которой особенно
заморачиваться и не стоит.
А ведь важнейшей отличительной особенностью СИИ как раз является умение заботиться о будущем.
В ЕИ, кстати говоря, судя по всему такого дисконта нет, есть размытие
вероятностей получения подкрепления - это да, а вот уменьшения его
значимости нет. Иначе люди бы не думали о Рае и Аде, и прочих аспектах
своего сверх-длительного существования.
И не мечтали бы люди о будущем, не расписывали бы его себе в столь ярких
тонах, когда будущее событие, порой очень и очень отдаленное (свадьба,
диплом, дембель, выигрыш миллиона, новая квартира, турпоездка, выход на
пенсию) выглядит более насыщенно и сочно, чем текущая повседневность.
|
| |
| |
| Func | Дата: Пятница, 09.06.2017, 11:08 | Сообщение # 5 |
|
Группа: Администраторы
Сообщений: 187
Статус: Offline
| Автор: Траян
В посте от: 19 май 17 0:56 я полагал, что:
"Итак: Предполагается, что все новые стратегии (модели мира, личности) создаются всего лишь /постепенным/ изменением, модификацией, усовершенствованием уже имеющейся стратегии (модели мира, личности). " ...
" Конечно же, при реализации такого подхода в агента придется вкладывать предустановленную онтологию (кучу априорных знаний), т.е. сделать то, чего я все время пытался избежать. Но судя по всему, без предустановленной онтологии (в виде декларативных либо процедуральных знаний) нельзя обойтись в принципе.
Утешением может послужить то обстоятельство, что при таком подходе (изменения имеющегося) объем вкладываемой онтологии будет на порядки меньше того, который пришлось бы вкладывать в агента способного строить стратегии "с нуля".
И самое главное - при этом удастся обойтись без разбора разного рода "вечных", "проклятых" философских вопросов.
|
| |
| |
| Func | Дата: Пятница, 09.06.2017, 11:36 | Сообщение # 6 |
|
Группа: Администраторы
Сообщений: 187
Статус: Offline
| Цитата Func (  ) " Конечно же, при реализации такого подхода в агента придется вкладывать предустановленную онтологию (кучу априорных знаний), т.е. сделать то, чего я все время пытался избежать. Но судя по всему, без предустановленной онтологии (в виде декларативных либо процедуральных знаний) нельзя обойтись в принципе.
Утешением может послужить то обстоятельство, что при таком подходе (изменения имеющегося) объем вкладываемой онтологии будет на порядки меньше того, который пришлось бы вкладывать в агента способного строить стратегии "с нуля".
Тут следует иметь в виду следующее обстоятельство, которое многие разработчики онтологий упускают из вида.
Если мы будем пробовать создавать требуемую нам онтологию "в лоб", т.е. будем пытаться вкладывать в агента лишь те и только те знания, которые мы хотим вложить - в химически чистом виде, без всяких излишеств, подмостков, вспомогательных конструкций и приспособлений (т.е. наиболее коротким и простым путем) - у нас, скорее всего, ничего не получится.
Поскольку при таком подходе мы неизбежно столкнемся с целым рядом "вечных", "проклятых" проблем, над решением которых наиболее выдающиеся мыслители человечества, гении абстрагирования, обобщения и систематизации, бьются более двух тысяч лет. И с нашей стороны было бы вопиющей самонадеянностью (и просто глупостью) думать, что вот мы-то эти проблемы вдруг возьмем и решим.
Очень многие современные создатели онтологий почему-то думают, что вот до них все философы были дураками, а уж они-то запросто смогут предельно четко и строго формализовать все те очень трудно поддающиеся однозначной формализации понятия (напр., такие понятия как "время", "разум", "бесконечность", "изменение" и т.д.) , без явного задания которых сколь-нибудь полная онтология невозможна.
Но придя к выводу о том, что задача создания полноценной онтологии, по всей видимости, не может быть решена "в лоб" (как задача создания априорно-метафизической системы наиболее общих знания), то мы можем попробовать ее решить с помощью обходного маневра, с помощью той хитрости, которую использовала природа/эволюция при создании известных нам разумных существ.
|
| |
| |
| Func | Дата: Пятница, 09.06.2017, 14:33 | Сообщение # 7 |
|
Группа: Администраторы
Сообщений: 187
Статус: Offline
| Если мы попробуем приглядеться к активности разного рода объектов и субъектов (взаимодействие которых между собой и порождает все изменения в ткани действительности), то мы увидим, что все существующие объекты-субъекты используются Природой "втемную", без того, чтобы обеспечить своих подопечных необходимыми инструкциями и руководствами пользователя.
Почти все эти объекты и субъекты производят те или иные действия не потому, что они наделены знаниями предписывающими им совершение тех или иных действий, не потому, что Природой в них заложены все необходимые объяснения и пояснения. Природа действует по другому, более просто и в то же время более изощренно, она не наделяет объекты-субъекты знаниями, она наделяет материальные конструкции этих объектов-субъектов такими качествами и свойствами, наличие которых обуславливает их поведение.
Камень летит из точки A в точку B, по траектории предписываемой ему принципом Мопертюи, т.е. дающей минимум величины действия, вовсе не потому, что он владеет вариационным исчислением, а потому что, в его конструкцию заложены такие качества и свойства, наличие которых и обуславливает именно такое его поведение.
|
| |
| |
| Func | Дата: Пятница, 09.06.2017, 14:42 | Сообщение # 8 |
|
Группа: Администраторы
Сообщений: 187
Статус: Offline
| Это все верно не только по отношению к неживым объектам и простейшим живым объектам/субъектам(?), типа инфузории (которая движется по градиенту в капельке воды от участков с меньшей концентрацией углекислоты, не потому, что она наделена знанием, дающим ей понимание и объяснение необходимости такого движения - в участках с большей концентрацией углекислоты больше шансов встретить микроорганизмы служащие ей пищей - вовсе нет: весь ее тропизм "зашит" в саму ее конструкцию). Но также верно и по отношению к достаточно высокоразвитым существам.
|
| |
| |
