Автор: NO.
Если бы вы видели чего они с математикой делают, то так бы не говорили.
Примерно как сейчас на аикоме Траян написал формулу для теорвера, кто-нибудь может объяснять про что это вообще, я даже не знаю чего тут спросить можно, однако как ему и нужно в результате выходит 50%

По-моему вероятность это вероятность чего-то, а не просто так. И это же ещё надо было умудриться это ничто так просуммировать, чтобы получить 50%.

Автор: konat
А кто такой Траян? Ампиратор математики? По-моему, такое может делать только б-г.

Автор: NO.
Это как раз про априорные вероятности, он их понимает так, что событий ещё не было, а вероятности уже нужны. То есть что было до бытия, замысел так сказать, запланированная случайность.

Автор: kondrat
Это не очевидно из интеграла. Я вообще ничего не понял, признаться. Неужели это случайная величина, распределенная пропорционально на интервале 0,5; 1,5 ??? Просто, в остальных случаях это какая-то сверх или недовероятность получается. Т.е. зависимый или неполный набор исходов.
А если то, что я думаю, то 50% никак не получится.

Автор: NO.
Про неполный набор исходов у него дальше, берется два самых сильных аргумента за и против, остальное всё отбрасывается и получается некий биполярный метод

Автор: Траян
PS Только сейчас дошла шутка юмора kondrat-a. Траян - это ведь тот император, при котором Рим достиг вершины могущества и процветания.

Автор: Траян
Классика готайки. Ничего не знаю, но мнение имею.
На самом деле там используется очень старая и очень простая идея Байеса-Лапласа о равномерном распределении априорных вероятностей в условиях "абсолютно полного незнания".
Эта идея имеет очень долгую и необычную историю: с блестящим началом, долгим периодом дискредитации и забвения, появлением ростков надежды, проблесками интереса, началом возрождения и, наконец, неожиданным и своевременным хэппи эндом.

Хоть роман, блин, пиши.
Для любителей же вики приведу такое ее мнение относительной того, что эта идея долгое время была:

"... предметом философской дискуссии, которая разделила последователей байесовского подхода на две группы: «объективных» (которые верят, что такое априори существует во многих прикладных ситуациях) и «субъективных» (которые верят, что априорные распределения обычно представляют субъективные мнения и не могут быть строго обоснованы".

Автор: kondrat
Сорри. Перевозбужден был.
Тогда не совсем понятно, зачем функцию распределения интегрировать и получать 50% ? Убедится, что либо в одну половину попадет либо в другую с вероятностью 0,5?
Филососфия - это я люблю. Только совсем ничего, - это когда неизвестен и интервал тоже

Автор: Траян
Потому что именно так работает формула Байеса (на самом деле правильно произносится как Бейза). Итоговая апостериорная вероятность вычисляется как сумма (сумма произведений апостериорных вероятностей гипотез на вероятности предписываемые этими гипотезами).
Интеграл для равномерного распределения - это общий случай. В реальности в машинном обучении редко заморачиваются с такими интегралами - их обычно аппроксимируют суммами дискретных значений вероятностей.

Потому что природа так устроена. При выполнении условия "об абсолютном неведении" именно с такой вероятностью мы можем предсказать вероятность появления некоего события А, при проведении испытания Е. Если нам про вероятностные свойства ни этого события, ни условий испытания абсолютно ничего не известно. Известно лишь одно - то, что в результате проведения испытания событие А может осуществиться либо нет.
Нет. Речь тут о другом.
Смотря о каком интервале идет речь.

Автор: Сергей Гаврилов
А может хватит разговоров и пора код показать? Например хотя бы наивный Байс написанный собственными руками

Автор: Траян
Конечно хватит: "Чего тут думать - трясти надо!"
Детская болезнь многих кодеров (особенно начинающих). Симптом неофита либо профессиональная деформация - за деревьями леса не видят.

Вот интересно, если я, скажем, возьму из инета кусок кода - а в Сети можно найти образцы наивного Байеса на очень многих языках и ОС - подставлю в него свои обозначения/каменты и выдам за свой - это Вас в чем убедит?

Автор: NO.
Когда люди не знают что такое субъективность, делают ошибки и потом спорят, это ещё не философия. Для философии надо хотя бы знать смысл слов. В науке субъективное и объективное не противопоставляется, это просто разные вещи, а не противоположности. Такая же дискуссия может возникнуть когда одна группа найдет кошелек, а другая будет говорить, что он принадлежит Иванову. Они друг другу не противоречат. Просто у первой группы душа не принимает факт, что кошелек чужой. Никакой философии в этом нет.

Автор: Траян
на Готайке (известной на весь иишный Рунет своими бессмысленными срачами, перманентным троллингом и неизбывным флудом.)

Автор: kondrat
Я уже около пяти лет неровно дышу в сторону концепции рефлекса. Она очень естественно связана с теорвером. Рефлекс можно, в принципе, обозвать индикатором наличия закона (причинно-следственной связи), на вход которого поступает некоторое совместное распределение "случайных" величин. Рефлексирующая структура при достаточном количестве ресурсов стремится найти все законы.
Это очень удобная концепция. Например, описание элементарного рефлекса совпадает с описанием обобщенного. Конструкция не тривиальная, но большинство слов, которые мы тут употребляем, оказываются всего лишь описанием разных аспектов одного явления.
Ну, так вод... Несмотря на плотный тренинг в вопросах детерминированности и вероятности, я не очень понимаю, о чем Вы говорите и зачем вообще это нужно. Может быть, попробуем пофилософствовать, начиная с основ теорвера? Например, какую гипотезу мы считаем основополагающей? Предлагаю сразу перепрыгнуть через тривиальные вещи, типа "случаи случаются" или "всегда где-то что-то происходит".

Автор: kondrat
Я уже около пяти лет неровно дышу в сторону концепции рефлекса. Она очень естественно связана с теорвером.

Автор: kondrat Рефлекс можно, в принципе, обозвать индикатором наличия закона (причинно-следственной связи), на вход которого поступает некоторое совместное распределение "случайных" величин. Рефлексирующая структура при достаточном количестве ресурсов стремится найти все законы.

Автор: kondrat
Это очень удобная концепция. Например, описание элементарного рефлекса совпадает с описанием обобщенного. Конструкция не тривиальная, но большинство слов, которые мы тут употребляем, оказываются всего лишь описанием разных аспектов одного явления.
Ну, так вод... Несмотря на плотный тренинг в вопросах детерминированности и вероятности, я не очень понимаю, о чем Вы говорите и зачем вообще это нужно.

Автор: kondrat
Может быть, попробуем пофилософствовать, начиная с основ теорвера?

Автор: гость 31.211.0.*
На многообразии дискретных распределений это так. Равномерное дискретное распределение - распределение с максимальной энтропией. В непрерывном случае правильное априорное распределение -Гаусс.
А вообще лучшее правило: не знаешь с чего зайти - ходи с бубей.
http://gotai.net/forum/default.aspx?postid=125563#125563

Автор: гость 31.211.0.*
На многообразии дискретных распределений это так. Равномерное дискретное распределение - распределение с максимальной энтропией.

Автор: гость 31.211.0.*
Основные положения стр 55-58 изложены крайне не внятно. Путаница в обозначениях, не приведен используемый в рассуждениях вариант формулы Байеса в привязке к принятым обозначениям(путанным). Переход от формулы полной вероятности (12) к (13) очень мягко выражаясь сомнителен.
Рекомендую формульную часть скорректировать к общепринятым обозначениям.

Автор: гость 31.211.0.*Основные положения стр 55-58 изложены крайне не внятно. Путаница в обозначениях, не приведен используемый в рассуждениях вариант формулы Байеса в привязке к принятым обозначениям(путанным). Переход вот формулы полной вероятности (12) к (13) очень мягко выражаясь сомнителен.

Автор: гость 31.211.0.*
Понятно.
Детям надо запретить читать эту книжку. Могут принять на веру, что выиграть в казино можно с вероятностью 0,5.
Вообще интеграл 13 ни о чём. p(p)=p, or p=p integr{(pdp),0,1}=0.5
Применим подобную логику к задаче предсказания априорно неизвестной массы из интервала {0,1000}кг применительно к задаче, например, расчёта на прочность, получим: (1/2)*integr{(dm**2),0,1000}=500000 кг**2.
Явно не разумное априорное предположение. Если извлечь корень(?), чтобы размерность стреляла, получим 707 кг, маловато будет. В 30% случаев может с случиться писец.

Автор: гость 31.211.0.*
Детям надо запретить читать эту книжку. Могут принять на веру, что выиграть в казино можно с вероятностью 0,5.

Автор: гость 31.211.0.*
Вообще интеграл 13 ни о чём. p(p)=p, or p=p integr{(pdp),0,1}=0.5
Применим подобную логику к задаче предсказания априорно неизвестной массы из интервала {0,1000}кг применительно к задаче, например, расчёта на прочность, получим: (1/2)*integr{(dm**2),0,1000}=500000 кг**2.

Автор: Траян
Во-вторых, этот интеграл предназначен для подсчета не вероятности случайной величины, а вероятности элементарного бинарного события (например, состояния бинарного сенсора агента) в условиях "абсолютно полного незнания".

Автор: гость
Во вторых, этот интеграл, ничто иное, как мат. ожидание случайной равномерно распределённой величины на интервале (0,1)

Автор: Траян
Полезная штука, эта байесовская сумма, закрывающая главный недостаток частотной (статистической) интерпретации вероятности - невозможность ее применения при малом числе испытаний.

Автор: rrr3
Такое впечатление, что Вы застряли на полпути, споткнувшись на вероятностях... вычисление которых "при малом количестве испытаний" (а часто и не только) не имеет значения в решении "задачи создания СИИ".
(Не обращайте внимания, на мои слова... )

Автор: rrr3
Такое впечатление, что Вы застряли на полпути, споткнувшись на вероятностях...

Автор: rrr3 ... вычисление которых "при малом количестве испытаний" (а часто и не только) не имеет значения в решении "задачи создания СИИ".

Автор: rrr3
(Не обращайте внимания, на мои слова... )

Автор: Траян
Условные рефлексы - это первая ступенька к интеллекту.

Автор: гость
... интеллект способен работать в полностью не известной среде.

Автор: гость
Автомат не есть путь к интеллекту.

Автор: Траян
Условные рефлексы - это первая ступенька к интеллекту, его фундамент и питательная среда.
Уберите из человеческого младенца способность к выработке условных рефлексов - и вы никогда не сможете сделать из него разумное существо.

Автор: Траян
Когда требуется найти вероятность для исхода "нового", никогда ранее не проводившегося испытания, если известны исходы некоторых других, уже проведенных испытаний, отличных от предстоящего.

Автор: гость
Не думаю. У живых существ это просто слой автоматизма, для скорости. И всё. Иентеллект это качественно другое...

Автор: Траян
Опыт пробуждения интеллекта, искры разумности у слепоглухонемых детей из Загорского интерната, знаменитая история Хелен Келлер говорят о том, что без опоры на условные рефлексы интеллект не работает. Он не может висеть в пустом пространстве, это не сферический конь в вакууме.
Спорить тут не о чем, имхо. Это доказано экспериментально.

Автор: гость
и подчинённый автоматизм - когда интеллект может подавить автоматику или создать новую...

Автор: Траян
А на что опирается интеллект (от чего он отталкивается) при подавлении и/или создании нового? Что является его движущей силой?

Автор: гость
Интеллект (разум, сознание) выглядит артефактом. Он не выводим из усложнения автоматизма. Это странно, но так оно есть. Хотя... возможно интеллект это испорченный автомат...

Автор: гость
Да конечно. Они всегда очевидны и просты. Но вот реализация простоты оказалась весьма сложной задачей...

Автор: Траян
решение задачи создания СИИ - это, помимо всего прочего, решение проблемы организации процесса научного познания.

Автор: rrr3
Что же касаемо организации технологии(!) действительно научного(!) (без иронии) познания для отдельно взятого индивидуума(!), то она давным давно известна в различных интерпретациях, правда зашумлена описаниями разных онтологий и представлена... как ни странно... в практиках разных религий (вроде бы не совместимых и диаметрально противоположных научному познанию).

Автор: гость
Вы знаете... если эта задача и будет решена то талантливым одиночкой. Почти сумасшедшим. Потому что задача кажется не имеет решения в рациональной сфере...

Автор: гость
Берётесь логично обьяснить?

Автор: NO.
Задача на теорвер. Два человека играют в русскую рулетку. В револьвере 6 гнезд. В два соседних гнезда вставлены 2 патрона, остальные 4 гнезда пустые. Первый человек крутанул барабан, поднес к голове и нажал курок. Пистолет не выстрелил. Пистолет переходит к противнику. Вопрос: должен ли тот стрелять сразу или стоит ещё раз покрутить барабан?

Автор: гость
Во вторых, этот интеграл, ничто иное, как мат. ожидание случайной равномерно распределённой величины на интервале (0,1)
Правильно сделали, что вынесли обсуждение в отдельную тему.

Автор: kondrat
Нормировочный интеграл нужно брать вообще на интервале от минус до плюс бесконечности.

Автор: гость
Автомат не есть путь к интеллекту.

Автор: Траян
Почему? Интеграл дает вероятность появления не величины, а события.

Автор: kondrat
А почему не "Неужели это случайная величина, распределенная пропорционально на интервале 0,5; 1,5 ???"
Похожесть бывает всего-лишь имитацией.

Автор: kondrat
И еще раз кстати. Почему решили взять вероятность положительной и не превышающей единицу? (Колмогоров, кажется, аксиоматику сформулировал?)

Автор: гость 31.211.0.* Интересно, что МО равно этой полусумме как в дискретном, так и непрерывном случаях, а в дискретном её величина не зависит от того, что происходит внутри интервала (а,в).

Автор: Траян
Все верно.
Подозреваю, что Вы не поленились и вручную проверили, как все это обстоит на самом деле.

Автор: kondrat
А в чем заключается событие? Регистрация какой-то величины.

Автор: гость 31.211.0.*
Я просто это знал.

Автор: kondrat
Кстати, аналоговая логика аппроксимируется цифровой. Просто, без специальных мероприятий по упаковке, отдельных логических элементов будет ну оооооочень много.

Автор: kondrat
Ну, это стало проясняться уже после того, как я повелся на провокацию ))). Поэтому я там и заявил, что ничего не понимаю.

Автор: гость 31.211.0.*
Не надо на Колмогорова напраслину наводить.
https://ru.wikipedia.org/wiki....2%D0%B0

Автор: kondrat
И что не так?

Автор: kondrat
Для людей, не имеющих представления об условной вероятности можно сразу сказать, что пистолет не выстрелил без прокручивания уже 4 раза. Стоит ли крутнуть барабан, если хочется продолжить испытывать судьбу и после очередного нажатия крючка?
В некотором смысле, эквивалентная задача: на шестигранном кубике выпала тройка. Есть ли смысл бросать кубик еще, если нужна шестерка?

Автор: гость 31.211.0.*
Просто мне показалось, что по вашему мнению, эта аксиоматика допускает существование отрицательных вероятностей, а также вероятностей больше единицы.

Автор: NO.
Да, задачка простая. К тому же в ней есть последовательность и время, как раз под априори-апостериори. Можно и наоборот спросить - если барабан не крутили и во второй раз пистолет не выстрелил, то какова вероятность, что предыдущий игрок застрелился. Тут время идет в другую сторону, но вероятностые до- и после- те же самые.

Автор: NO.
Недавно читал "22 непреложных закона маркетинга". Там в разделе рынка есть тенденция, что у лидера 70%, у второго половина от этого и т.д. Тоже неплохое "вероятностное свойство мира".

Автор: гость
Дядя Гёдель говорит нам что всё вышесказанное существует.

Автор: гость 31.211.0.*
Вам, как племяннику, виднее.

Автор: гость
NO пришёл своим ходом к проблеме стрелы времени...

Автор: NO.
Тут надо Хмура или любителей выживания. Тема про изоэнтропийные процессы и дедлоки.
Планирование вообще обязательная часть ИИ, но на форумах почему-то никогда не обсуждается. Видимо это проблемы только центрального московского элитного начальства властьимущих авторитетов.

Автор: NO.
Недавно читал "22 непреложных закона маркетинга". Там в разделе рынка есть тенденция, что у лидера 70%, у второго половина от этого и т.д. Тоже неплохое "вероятностное свойство мира".

Автор: гость 31.211.0.*
Просто мне показалось, что по вашему мнению, эта аксиоматика допускает существование отрицательных вероятностей, а также вероятностей больше единицы.

Автор: NO.
Да, задачка простая. К тому же в ней есть последовательность и время, как раз под априори-апостериори. Можно и наоборот спросить - если барабан не крутили и во второй раз пистолет не выстрелил, то какова вероятность, что предыдущий игрок застрелился. Тут время идет в другую сторону, но вероятностые до- и после- те же самые.

Автор: гость
правильно ли можно понять, что 'еще один' подход к СИИ это идея байесового аппроксиматора?

Автор: rrr3
Мммда... вероятность - штука просто необходимая для "задачи создания СИИ"...

Автор: гость
правильно ли можно понять, что 'еще один' подход к СИИ это идея байесового аппроксиматора? но носитель 'вероятностного интеллекта' изначально оперирует оценками, причем неконсистентными, что погружает всю проблематику в теорию возможностей..

Автор: kondrat
Нет. Это был вопрос залу. Можно же обозвать вероятностью отношение числа благоприятных исходов к неблагоприятным. Оно может быть больше единицы. Но так, почему-то, не сделали. А ведь можно было бы и складывать вероятности.
И отрицательная вероятность обрела бы смысл в этом случае.

Автор: гость 31.211.0.*
Так обозвать никак нельзя, иначе пришлось бы делить на ноль в случае абсолютно достоверного события и ещё целая куча таких-же кривых стат. оценок вероятностей по кластеризованным выборкам ограниченной длины, например, десять орлов подряд в десяти испытаниях, оценка правильной вероятности орла - 1, а кривой 10\0.

Автор: Траян
В свете задачи построения СИИ, эта новая интерпретация интересна тем, что она позволяет находить вероятности "новых", никогда ранее не проводившихся испытаний, используя для этого данные о результатах проведения неких других, "старых" испытаний, отличных по своему набору условий от того, которое предстоит провести.

Автор: Victor G. Tsaregorodtsev
Вот новые (не виденные ранее) объекты/классы/категории - их существование предсказать можно. И описать каждую такую новую суЧность некоторым "средним по больнице" вектором-прототипом значений её свойств, и/или набором векторов-реализаций (относящихся к классу/категории).

Автор: Victor G. Tsaregorodtsev
Но это уже было, 20 лет назад (в середине 90ых). Правда, не на вероятностях (хоть и юзалось имитационное моделирование - но вероятности не считались, смотрелось только лишь на "попадания" - попадает в похожее на старые варианты или попадает в гипотетическое новое).

Автор: Victor G. Tsaregorodtsev Не найдёте новых вероятностей...вероятности не считались

Автор: гостьпо-моему, теорвер это достаточно 'жесткий' (поэтому не всегда адекватный) инструмент работы с неопределенностью.

Автор: гость
таки пошукайте теорию возможностей - вероятностная мера как лишь только частный случай..

Автор: гость
таки пошукайте теорию возможностей - вероятностная мера как лишь только частный случай..

Автор: Траян
Не могли бы Вы рассказать немного подробнее об этом или дать ссылку?

Автор: гость
вообще, как оценить вероятность выбора, если он чувствителен к переменному содержанию (степени развернутости и 'эффективной' осведомленности) обоснования предпочтения той или иной альтернативы?

Автор: гость
и вот тут то вопрос - а не слишком ли минималистичным будет минимальный базис сии а ля байес?

Автор: гость
может, думать о неких общего вида сетях доверия (к опыту), которые при необходимости (и оправданности) регуляризируются в байесовые сети доверия или просто в байесовые сети?

Автор: Victor G. Tsaregorodtsev
Там ищутся "пустые" (в которые не попадает никакой исходный обучающий вектор) аттракторы в нейросетке Хопфилда - и объявляются потенциально возможными классами.
В общем, там эксплуатируется присущий сетке Х феномен "ложной памяти".
Далее можно поиграться с введением полученных "гипотез" в нейросетку. Добавляем в число обучающих векторов новые, соответствующие найденным пустым аттракторам - и смотрим, как меняются бассейны притяжения у старых и новых аттракторов, т.е. как изменяется "взгляд" нейросетки на "мир" и на "похожести" (кластера) объектов в нём при введение в рассмотрение новых объектов с заданными числовыми характеристиками.

Автор: гость
по-моему, теорвер это достаточно 'жесткий' (поэтому не всегда адекватный) инструмент работы с неопределенностью. Ведь первичным явлением является неопределенность, а 'вероятностная структура среды/cитуации' это только более-менее рациональная модель работы/понимания неопределенности, обремененная соответсвующими допущениями (о пространстве элементарных событий, их независимости и проч.). Недаром же реальность подбрасывает не только 'канонические' гауссы, но и тяжелые хвосты..

Автор: гость 31.211.0.*
Да, тервер жёсткий и именно поэтому адекватный.

Автор: r
В заголовке темы упоминается "СИИ", но разговор только о статистическом прогнозе, не об аналитическом, а это ИИ, не СИИ.

Автор: гость 31.211.0.*
Да, тервер жёсткий и именно поэтому адекватный.

Автор: Траян
Именно поэтому нервные системы живых существ, заточенные на обеспечение их выживания в условиях реального мира работают с "весомыми, грубыми, зримыми" вероятностями, без всяких соплей и гуманитарных мерихлюндий.

Автор: Траян
Выполнить скучную, нудную, малозаметную и во многом неблагодарную работу по созданию того фундамента, на котором будет строиться все здание СИИ.

Автор: r
Фундамент СИИ это адекватный механизм построения модели мира, а не теорвер.

Автор: r
Фундамент СИИ это адекватный механизм построения модели мира, а не теорвер.

Автор: Траян
Как по Вашему, зачем вообще нужны модели мира? Как и для чего они используются агентами?

Автор: Траян
Насколько я могу судить - это обычный ad hoc метод. Он никак не обосновывается, возможность его применения и получения адекватных результатов из ничего не следует, и этот метод есть по большому счету то, что принято называть эвристиками.

Автор: гость
по мере набора опыта

Автор: Victor G. Tsaregorodtsev
Я поэтому и сказал 2 поста назад, что Вам не хватит только лишь вероятностей - нужно явно или неявно вводить/использовать какие-то гипотезы о сходстве или различии объектов, и/или какие-то меры/метрики близости.

Автор: гость
в конце концов все упирается в механику силы ассоциативных связей, их модулирования - ведь корень проблемы не в наличии рефлексов, а в процессе формирования рефлексов, когда рефлекс еще 'генерализован', Но уже проявляет себя в общей динамике ассоциаций..
может быть нужно понять, что самое интересное это не когда работает батарея хорошо сформированных рефлексов, а когда работает сеть полусформированных рефлексов (дикий процесс по кондрату) - дающая гибкую организацию поведения в вероятностно неопределенной (и переменной) среде..

Автор: Траян
Но дело в том, что я предлагаю использовать новую интерпретацию вероятности

Автор: гость
опять же, может имеющуюся в виду некую теоретико-концептуальную конструкцию просто не называть вероятностью во избежание путаницы?

Автор: гость
есть строгие теории вероятности, возможности, пусть будет замах на теорию.. мм.. потенциальности (или биполярности)..

Автор: гостьближе к телу, - так в чем cуть предложения?

Автор: гость во лбу гвоздь
Продолжаем двигаться в ту же сторону, если встретился зеленый. Меняем направление, если встретился красный. Это все инварианты, которые программа уловила, или есть еще?

Автор: гость
как бы интеллект 'cначала' обновляет веса узлов (и набор самих узлов) как-то типа 'по хопфильду' (примерно как говорит vgt) по мере набора опыта

Автор: гость во лбу гвоздь
Просто интересно какие еще зависимости программа тут смогла (могла бы) определить, ведь они наверняка есть.

Автор: Траян

В данной программе агент может находить лишь самые простые закономерности среды. По тому какие объекты его окружали в момент времени t он предсказывает появление объектов в момент времени (t+1). И все. (Этими предсказаниями он и руководствуется при выборе очередного действия).

Объясняется это тем, что данная программа была написана в свое время лишь с одной-единственной целью, а именно, для проверки работоспособности самой идеи БМП.
Что она блестяще и сделала.

Автор: гость
А где тема про "ИИ Френд?"

Автор: Траян
В данной программе агент может находить лишь самые простые закономерности среды. По тому какие объекты его окружали в момент времени t он предсказывает появление объектов в момент времени (t+1). И все. (Этими предсказаниями он и руководствуется при выборе очередного действия).

Автор: Траян
При малейшем усложнении среды реакции агента резко усложняются.

Автор: гость
Многослойный персептрон нельзя ДО-обучать, можно только ПЕРЕ-обучить заново

Автор: Victor G. Tsaregorodtsev
Можно дообучать.
Сейчас в любой сложной задаче MLP и подобные по структуре сетки (свёрточные, глубокие) корректируются именно после просмотра каждого обучающего паттерна. Т.е. на лету. Ну, или после просмотра двух-трёх десятков паттернов - на так называемых мини-батчах.
Никто не гоняет всю обучающую выборку (которая может и десятки, и сотни гигабайт тянуть) для того, чтобы в итоге сделать микрокоррекцию весов.
Т.е. обучение построено именно как постоянное дообучение чему-то новому, а не как работа с некоторой "средней по больнице" целью или таким же "средним" направлением коррекции.

А еще ходят легенды, что нейронную сеть можно просто … дообучить и не нужно будет ее заново переучивать на всем объеме данных. На самом деле — нельзя, но всем очень очень нужно и иногда… везет. Если данных достаточно мало и нужно постараться запомнить их как можно больше (не снижая ошибку на тестовом наборе данных, разумеется) – то просто так «дообучить» не «переучивая» без риска что-то важное забыть уже не получится. Нет никакой гарантии, что стохастический градиентный спуск (SGD) запомнив новое, не забудет важное старое ;-) А если данных много (миллионы фотографий например) и требований запомнить именно этот конкретный пример нет — сработает (но молебен не помешает).
source: https://habrahabr.ru/company/bitrix/blog/315484/

Автор: гость 31.211.0.*
Удивительно, никто до сих пор не спросил автора о построении оценки биполярной вероятности в многомерном случае, где и проявляются эффекты ограничивающие применение этой методы обучения.
Придется задать риторический вопрос. Как выглядит оценка в двумерном (n мерном) случае?

Автор: Траян
Хорошо.
Не думал, что это для кого-то так важно.

Автор: гость 31.211.0.*
Многомерный случай, когда признаков много, полагаю, что в этом случае искомая вероятность будет стремиться к нулю как 1\n, если я правильно понимаю как это будет работать в многомерном случае.

Автор: Траян

Спасибо за разъяснение.

Нет, когда признаков много искомая вероятность не будет стремиться к нулю. Суть биполярной вероятности в том, что в ней выявляются и учитываются лишь наиболее важные признаки, т.е. те факторы, влияние которых на вероятность исхода испытания наибольшее
Правило 1/n в ней вообще не работает, вероятности отдельных моделей испытаний вычисляются совершенно независимо друг от друга.

Автор: гость
Важно, нормально это примерно один плюсик на 10 страниц, если чаще то противоестественно, разве что ели хозяин темы не Лекун или Хинтон, на которых хотят быть похожи все ИИ-шники, особенно Виктор Царегорцев, но увы это не возможно для славянина с СССР.

Автор: гость 31.211.0.*
Хорошо. Допустим, важных признаков N, тогда получим N биполярных вероятностей, по одной для каждого признака, если признаки независимы, итоговая вероятность будет равна произведению N вероятностей, которая будет стремится к нулю как 1\N.

Автор: гость 31.211.0.*
итоговая вероятность будет равна произведению N вероятностей

Автор: Траян
Не как произведение, а как средняя по пространству моделей.

Автор: гость 31.211.0.*
Признаки бинарные. их пространство N-мерный единичный куб...
Если N велико и бинарные вероятности равномерно и независимо распределены распределены в результате усреднения опять получим 0,5.

Автор: гость
положим, агенту приделан хвост - имея опыт полученния вознаграждения при тестировании возможностей соотв. перемещений вверх-вниз, влево-вправо как агент может догадаться 'выпросить' поощерение вильнув хвостом (т.е. действием с новым параметром)? раз вильнул - не сработало, а вдруг сработает на тройное виляние (еще один параметр)? каковы правила индукции опыта?

Автор: гость
оценить нечто как возможное это же не вероятностная оценка..

Автор: гость
тут некоторое смешение (которое вы наверное реализовали, что очень неплохо) модальной и вероятностной логики.. вывод/перенос по аналогии или гипотетическое (возможностное) предположение (в рамках индуктивной логики) это же не вероятностный (cкажем, байесовский) вывод (даже не нечеткий)..

Автор: гость
ну вот, и стоило ли начинать с ниспровержения теории вероятностей..

Автор: гость даже РОМDР обычно реализуется в рамках ТВ..

Автор: гость
пока вы говорите загадками в тумане многозначительности, а как дойдет до тела, так под покровом окажутся давно знакомые виды, а не нечто дивно новое..

Автор: гость
пока вы говорите загадками в тумане многозначительности,

Автор: Траян
Как по Вашему, зачем вообще нужны модели мира? Как и для чего они используются агентами?

Автор: rКак, я не знаю, а для чего - для всего могут использоваться, например, для планирования своего поведения и прогнозирования чужого.

Автор: гость
дык жксперименты очевидны - раз вильнул хвостиком - ноль внимания, два - нет эффекта, три - пока игнор, четыре - обратили внимание.. типо так и поплыла оценка возможности ('вероятности') при наращивании усилий

Автор: гость
.. так все-таки, где первоисточник?

Автор: Траян
Но для осуществления выбора агент должен уметь прогнозировать последствия своих действий:

Автор: r
Понимаете, по вашим соображениям, когда ваш так называемый агент поднимет яблоко, то перед тем как его отпустить, он спрогнозирует падение яблока с определенной вероятностью только на основе предыдущих отпусканий.

Автор: r
Чего явно недостаточно. Кроме этого ведь есть еще и вероятность падения яблока на основе знаний о гравитации и о ее воздействии на объекты. При условии, что агент не в космосе, яблоко ничем другим не фиксируется и т. д. что тоже представляет собой дополнителное знание.

Автор: Траян
Для всего - это ни о чем.

Внутренние модели внешнего мира нужны для решения следующих трех взаимосвязанных и взаимообусловленных задач: выбора, прогнозирования и планирования.

Проблема выбора действия первична в том смысле, что создание СИИ в виде агента всегда упирается в задачу снабжения его механизмом выбора, позволяющим определиться ему с тем, какое действие следует совершить в той или иной ситуации.

Что не удивительно, поскольку:

"Согласно широко распространенному мнению, ра­зум – это нечто такое, что проявляет себя в проблемных си­туациях. Проблемная ситуация – это ситуа­ция, требую­щая осуществления выбора из множества возможных вари­антов на­личествующих возможностей. Отсюда следует, что интеллектуальными могут признаваться лишь те управлен­ческие решения агента, для нахождения которых ему при­ходилось совершать выбор, и чем труднее было сделать этот выбор пра­вильно, тем больше интеллектуальности проявил агент при его осуществлении. Нужно сказать, что аргументы, позволяющие связывать между собой способ­ность к осуществлению выбора в проблемной ситуации с понятием "разум", высказывались еще мыслителями антично­сти и средневековья (доста­точно вспомнить Бл. Августина, обратившего внимание на то, что слово intellego по латыни означает "выбираю между" [11]). Обоснованным же выбор некоего действия может считаться лишь в том случае, если этот выбор был произведен после сравнения данного дей­ствия со всеми остальными, доступными в данной ситуа­ции, после чего это действие было при­знано лучшим из всех."/14/

Автор: гость 31.211.0.*
Я бы воздержался от оперирования такой плохо обусловленной категорией как разум, интеллекта вполне достаточно, а так все очень близко к тому что имеет место быть на самом деле.
http://gotai.net/forum/default.aspx?postid=124733#124733

Автор: гость 31.211.0.*
"Так вот, интеллект включается только тогда, когда требуется сделать выбор в условиях неопределённости."
http://gotai.net/forum/default.aspx?postid=124733#124733

Автор: KOT

31.211.0.гость > интеллект включается только тогда, когда требуется сделать выбор в условиях неопределённости

Траян > Все верно. Зацепившись именно за эту деталь можно начать постепенно, шаг за шагом, распутывать всю конструкцию СИИ.

[объектов] выбора - НЕТ, выбирать - НЕ ИЗ ЧЕГО, и выход ТОЛЬКО ОДИН - ТВОРИТЬ.

Автор: Траян
И становится понятным, что является ключевой проблемой задачи создания СИИ - т.е. проблемой, нерешенность которой является причиной того, что его все еще не удалось построить.

Автор: Egg
И что же является ключевой проблемой в СИИ?

Автор: Траян
В конечном итоге - старая как мир проблема индуктивного вывода.

Автор: Egg
Да, это серьезная проблема, но, на мой вкус, не ключевая.

Автор: eto_ya
Ключевая проблема - как добиться чтобы прогнозный результат действия ИИ соответствовал фактическому результату этого же действия на 100% и с первой же попытки.

Автор: Egg

Нет, это вообще не так. Дело в том, что источником моделей является реальность, что влечет за собой две довольно значимых вещи: во-первых, "на самом деле" ничего нельзя предсказать "на 100%", то есть вообще ничего. Во-вторых, отношение между прогнозом и реальностью намного более тонкие, чем это может показаться.

Автор: eto_ya
Тут надо уточнить, "это вообще не так" только с твоей позиции.

Автор: Egg

Я всегда делаю так, говорю то, что думаю, в противном случае делаю тэг "quote" или уточняю, чья это цитата.

З.Ы. И материализм здесь не причем. Это очень наивно думать, что словами (моделями) можно что-то описать/спрогнозировать так, чтобы это чему соответствовало. Конечно, если для тебя мир - это поток данных, то есть уже текст, тогда многое кажется простым и понятным. Но к проблеме интеллекта это имеет не очень большое отношение.

Автор: eto_ya
Я живу миром образов Пытаться передать образы словами, все равно что пытаться передать фотографию спичками, выложенными на листе бумаги.

Автор: Траян
Если нет выбора - творить невозможно. Если нет выбора, то можно действовать лишь механически в рамках наперед заданной жесткой программы.

Автор: Egg
Это поэзия. То есть твое персональное заблуждение. Образ - это вообще не более, чем сопоставление объекта и среды, на которую происходит отражение. Жить образами - это примерно также как как жить интерфейсами или отверстиями.

Автор: eto_ya
приходится экономить ресурсы

Автор: eto_ya
но приходится экономить ресурсы, поэтому я просто выражаю одним словом "яблоко", когда это важно могу уточнить, что "кислое зеленое яблоко".

Автор: Egg
То есть, думая, что ты оперируешь образами, ты оперируешь словами.
Там такая схема: 1. Внешний мир существует как пространство образов явлений (выраженный механизмами памяти). 2. Мир "идей" существует как пространство образов понятий (выраженный механизмами обработки). 3. Существует слово (идентификатор, символ, знак...), через которое устанавливается отношением между образами явлений и образами понятий, N:1, 1:M. 4. Существуют правила организации слов в тексты - правила моделирования.
Вот так (грубо) выглядит то, что ты пытаешься сформулировать.

Автор: eto_ya
Ты пытаешься меня запутать?

Автор: Egg
Просто скопируй то, что я написал куда-нибудь, ну и когда у тебя возникнет чуть больше понимания в "том, чем ты оперируешь" подумай еще раз над тем, что я написал. Слова (если тебе так не нравится это понятие) замени на id, guid, sign, symbol. По вкусу.

Автор: Egg
Я всегда делаю так, говорю то, что думаю, в противном случае делаю тэг "quote" или уточняю, чья это цитата.

Автор: гость 31.211.0.*
идеальным источником данных об интересующих субъект феноменальных свойствах некоего домена реальности

Автор: Egg
Не бывает феноменальных свойств. Бывают феномены и свойства, которые мы им приписываем. Свойства имеют текстуальную природу и являются либо каким-то дискретным набором (с ключеванием, ибо в одном наборе не может быть повторяющихся свойств), либо являются метрикой. По другую сторону свойства стоит понятие.

Автор: eto_ya
Ключевая проблема - как добиться чтобы прогнозный результат действия ИИ соответствовал фактическому результату этого же действия на 100% и с первой же попытки. Сюда же включается и подпроблема полного перебора и т.п.

Автор: гость
Более развёрнуто:
http://gotai.net/forum/default.aspx?postid=125336#125336

Автор: Egg
Да, я знаком, с этой концепцией и, в целом, разделяю Ваши взгляды, точнее, нахожу их вполне рациональными и осмысленными. Но семиотическая архитектура мне кажется на порядки проще в реализации. Плюс, она точнее и красивее.
Что касается механизма "снятия неопределенности", да, это интересный механизм, он, безусловно, наличествует в "когнитивных функциях", но я не уверен, что он единственный и "центральный".

Автор: гость 31.211.0.*
На мой взгляд семиотический подход не является очевидно исчерпывающим, как раз в силу его недостаточной сложности для отражения сложности структуры которая породила его как предмет рассмотрения - человеческого мозга.

Автор: гость 31.211.0.*
Также представляется,что в этой области пока не выявлены какие-то важные фундаментальные результаты. С древних времён многое,что связано с тем, что сейчас относится к семиотической проблематике рассматривалось как бытие ЛОГОСА.