_catta_ ([info]catta) wrote,
2011-09-25 15:24:00
  • Previous
  • Memorize
  • Share
  • Next

тайное становится явным

Я понимаю, что сейчас там у физиков нейтрино полетели быстрее скорости света, но дело в том, что тут у мозговедов как раз тоже кое-что произошло. А именно - создана технология, позволяющая считывать образы которые видит человек напрямую с коры его мозга, причем неинвазивно (то есть, безо всякого вмешательства в его организм). В прошлый четверг Nishimoto, Naselaris, Benjamini и Gallant опубликовали этот результат (Reconstructing Visual Experiences from Brain Activity Evoked by Natural Movies. Current Biology, 2011)

Авторы использовали технику функционального магнитного резонанса (fMRI) для измерения активности в разных участках зрительной коры при просмотре человеком видеороликов в течение нескольких часов. Так нарабатывалась статистика соответствия изображения на экране и активности коры в это время (для каждого человека индивидуально. Затем на основе этих данных была создана компьютерная модель, которая предсказывает, каким будет паттерн активности для любого случайного изображения. И, наконец, человеку показывали новые видеоролики, которые он до этого не видел, снова регистрируя активность в коре, а модель реконструировала, что видит человек. Результат можно посмотреть тут (реконструкция показывается с небольшой задержкой, которая необходима для снятия активности с коры и ее анализа):

http://www.youtube.com/watch?NR=1&v=nsjDnYxJ0bo

Разумеется, результат пока достаточно грубый, но форма объектов уже угадывается вполне хорошо. Улучшение результата - это дело развития технологии, а оно может случиться достаточно быстро.

Эта работа крайне интересна даже чисто методологически, поскольку авторам удалось решить существенную для техники fMRI проблему временного разрешения. fMRI – это по сути регистрация изменений гемодинамики (локального кровотока и уровня кислорода в крови), принцип там такой, что сперва происходит какая-то работа в данном участке мозга, а уже потом, в результате потребления глюкозы при выполнении этой работы – изменения гемодинамики. То есть, метод медленный по самой своей природе, и потому обычно для получения данных нужно много-много раз показывать одно и то же, причем каждый раз достаточно долго. Так что приспособить fMRI для анализа восприятия видео – очень нетривиальная идея. Удалось это сделать через создание модели, которая анализирует видеоизображение так, как предположительно делают это нейроны (через так называемую motion-energy model). Изображение разбивалось на маленькие участки, каждый анализировали группы моделей нейронов. Затем результаты моделирования ставились в соответствие результатам fMRI. Сама возможность создания такой модели означает, что уровень понимания того как работает первичная зрительная кора уже довольно высок (в этой работе анализировалась активность в основном затылочной коры, где расположена первичная зрительная кора, с которой начинается у человека распознавание изображений). Будущее уточнение знаний о том что происходит в вышележащик областях коры, задействованной в обработке зрительной информации, вероятно, позволит существенно улучшить эту технологию.

Дальше возникает вопрос «зачем оно надо?». Ответ на него таков: существуют данные, что при мысленно работе с образами активируются области коры, как минимум частично пересекающиеся с теми, которые работают при восприятии реальных изображений. То есть, внутренний мир как бы делит пространство с внешним. Эти данные не окончательные, там может оказаться много важных различий. Но, если это так (а это очень большое «если»), то через некоторое время можно будет, например, записывать сны и просматривать их потом. Узнать, как видит маленький ребенок. Как выглядят для шизофреника его галлюцинации, насколько они для него реальны. Общаться с парализованными людьми, которые не могут говорить. Понять, в чем отличия картинки, которую показывают художнику от того, что видят все остальные. Записать образы, которыми ты думал и понять, каков был процесс возникновения какой-то мысли. Это будет нескоро, но появился шанс, что будет.

  • Post a new comment

    Error

    switch

    Your reply will be screened

    Your IP address will be recorded 

     
    Help
  • 94 comments
Previous
← Ctrl← Alt
  • 1
  • 2
Next
Ctrl →Alt →

[info]merienn

September 25 2011, 05:51:51 UTC 8 months ago

Хорошо бы это "если" было скорее да, чем нет.
И тут окажется, что ближе всего к разгадке были режиссеры с их новаторским киноязыком.

[info]catta

September 25 2011, 06:01:24 UTC 8 months ago

А чего там это режиссеры придумали?

[info]merienn

8 months ago

  • Loading...

[info]r_u_s_i_k_

7 months ago

  • Loading...

[info]matabuba

September 25 2011, 05:54:12 UTC 8 months ago

Любопытно, какой путь у экспериментаторов, чтобы снять комплекс видео/звук/запах/тактильное/вкус? Ведь человек не разделяет, воспринимая, ну, если конечно не инвалид. Точно так же скрытая от непосредственных измерений часть "я" проецирует на эту "белую простыню" законченные комплексы ощущений, силой воли или во время сна.

[info]catta

September 25 2011, 06:08:01 UTC 8 months ago

Никакой. В смысле, это пока слишком трудно.

[info]matabuba

8 months ago

  • Loading...

[info]racoonbear

8 months ago

  • Loading...

[info]matabuba

8 months ago

  • Loading...

[info]matabuba

8 months ago

  • Loading...

[info]sentiment_ru

September 25 2011, 05:59:30 UTC 8 months ago

Метод называется "нейронные сети", эти сети нужно обучать, и не факт, что обучение на одном человеке или на одном материале даст тот же результат, что и на другом материале и другом человеке.
Обучали сеть на изображениях людей в футболках, а показали жандарма - вот сеть и "не видит" униформу, которую видит человек.


Но если конкретному человеку показывать жандармов и обучать сеть, его сеть начнет видеть жандармов и там где они есть, и там где их нет. Короче, сеть строит не совсем наши образы.
Но отчасти и их.

[info]catta

September 25 2011, 06:07:02 UTC 8 months ago

Да, там нужно обучать индивидуально. Но это не проблема, в общем-то. Можно и индивидуально: один раз на одном человеке натренировал, дальше можно с этим человеком очень долго работать. Может даже всю жизнь.
А точность повысится за счет улучшения fMRI, роста компьютерных мощностей и построения моделей работы более "продвинутых" областей зрительной коры, где идет выделение экологически важных особенностей изображения, тех, котрые вниманием управляют, тех которые руководят движениями глаз и т.д.

[info]sentiment_ru

8 months ago

  • Loading...

[info]catta

8 months ago

  • Loading...

[info]vadhor

8 months ago

  • Loading...

Spammed comment

[info]sentiment_ru

7 months ago

  • Loading...

[info]zloradskij

September 25 2011, 06:15:05 UTC 8 months ago

Предсказываю революцию в порноиндустрии.

Можно будет генерировать прямо из мозга персонализированнoе видео с упором на личные эротические фантазии.
Кому круглые попки, кому треугольные, а кому ослики или там кактусы...

[info]pagan_old

September 25 2011, 06:28:19 UTC 8 months ago

Re: Предсказываю революцию в порноиндустрии.

Совершено с Вами согласен. Хотя все-таки первоначально будет использовано в политических интересах, а дальше конечно, как производное - порнография, реклама, ТВ.

[info]prokoudine

8 months ago

  • Loading...

[info]catta

8 months ago

  • Loading...

[info]alenk_a

September 25 2011, 06:36:07 UTC 8 months ago

интересно, что человеческие фигуры угадываются в картинке точно, а вот слон или самолёт узнать невозможно :)
насчёт возникновения идей - тут сложность в том, что образы не всегда визуальные. и вкус-запах ни при чём, просто если мысль достаточно абстрактная, в ней может не быть ни слов, ни картинок, только образ пространства (объёмного) и какие-нибудь схемы. и сны тоже сложно - у меня главная часть снов, например, это ощущения и мысли - визуальные образы дают половину или меньше сна (естественно, они важны, но окраска сна не только ими создаётся).

[info]catta

September 25 2011, 06:58:40 UTC 8 months ago

Да, но мне кажется, что самолет со слоном хуже распознаются в основном из-за того, что изображения мельче. То есть, это вопрос пространственного разрешения.

Что касается идей - само собой, пока имеется в виду только часть со зрительными образами. Впрочем, это потенциально тоже решаемо по мере роста объема знаний о других областях коры, не только зрительной.

[info]alenk_a

8 months ago

  • Loading...

[info]krech

8 months ago

  • Loading...

[info]kcmamu

8 months ago

  • Loading...

[info]alenk_a

8 months ago

  • Loading...

[info]krech

8 months ago

  • Loading...

[info]orbit123321

September 25 2011, 07:48:59 UTC 8 months ago

Меня как не специалиста очень впечатляет! Обычно когда пишут, что считали какую-либо активность мозга, то приводят различные абстрактные графики/картинки активности отделов мозга. А здесь видно что реально считали из мозга видео! Форма-то объектов достаточно близка к исходному клипу.

Да еще не инвазивная технология! Да в реальном времени! Обалдеть!

На первый взгляд все выглядит так, как будто нужно немного развить технологию и можно будет снимать видео с мозга. Вы сказали что практическое применение будет "не скоро", есть какие-то подводные камни?

[info]son_de_la_voix

September 26 2011, 15:43:45 UTC 8 months ago

Подводные камни очень простые:
1. Шум. В мозге помимо зрения протекает еще куча процессов. Как от всего отделить именно зрительную активность?
2. Изменчивость паттернов. Нам показали тенисный шарик. Мы его как-то восприняли. Нам его показли второй раз. Мы его воспримем иначе, потому что мы уже видели этот объект. Мы поиграли в теннис. Нам показали тенисный шарик в третий раз. Снова иная картинка восприятия его мозгом.

Уже этих двух проблем хватает чтобы сделать задачу реконструкции сигналов мозга невероятно сложной.

[info]komarov

7 months ago

  • Loading...

[info]pingback_bot

September 25 2011, 07:57:32 UTC 8 months ago

New vision

User [info]bydlorus referenced to your post from New vision saying: [...] технология, позволяющая считывать образы которые видит человек напрямую с коры его мозга via [...]

[info]ivanov_petrov

September 25 2011, 08:39:05 UTC 8 months ago

выше sentiment_ru сказал на интересующую меня тему. Можно различать то, что находится перед глазами человека и видит его глаз и то, что видит человек. Фотоаппарат с некоторыми искажениями может показать первое - в этом смысле он гораздо лучше этого метода. Тем самым намекается - что этот метод показывает внутреннее, что же видит человек. Так ли это? Если это картинка того, что видит глаз - то фотоаппарат несколько лучше. Если то, что видит человек - это было бы интересно, - скажем, видит ли он воспоминания и т.п. Если же это к такому внутреннему зрению никакого отношения не имеет - а я пока понял так, раз это затылочная кора, то это и в самом деле большой прогресс в деле изучения нейронов, но очень маленький прогресс в понимании того, что же видит человек

[info]catta

September 25 2011, 09:20:58 UTC 8 months ago

Эта картинка пока ближе к тому, что видит глаз (хотя и не равна ей). Для просмотра того что видит человек надо как минимум учитывать, на что он смотрит (то есть уметь читать данные с областей коры, которые управляют вниманием), а в идеале - каков его зрительный опыт (то есть, читать еще и память). То есть, например, когда человек подходит к захламленному столу в поисках ручки, он едва ли обращает внимание на контур стола, в то время как глаза и первичная зрительная кора хорошо видят стол; человек же переводит внимание с одного ручкообразного предмета на другой, пока не найдет ту самую ручку, за которой шел.

Сейчас подобная картинка может дать информацию об общей канве образов, которые проносятся в голове, в том числе о воспоминаниях (их зрительной составляющей), потому что работа с воображаемыми картинами вроде бы задействует те же области коры, что и с реальными. Но при этом нельзя будет понять, что именно вспоминает человек, представляя себе какой-то объект - сам объект или какую-то его деталь, или этот объект вообще является фоном для чего-то другого.

[info]vadhor

8 months ago

  • Loading...

[info]lyuden

September 25 2011, 09:34:50 UTC 8 months ago

Intel со своими обещаниями сделать коммерчески доступный brain computer interface к 2020 после этого выглядят как будто живут вчерашним днем :)

Класс конечно.

[info]fregimus

September 26 2011, 03:41:24 UTC 8 months ago

Вы видели fMRI машину живьем? Она занимает несколько комнат, весит несколько тонн, стоит несколько миллионов, и в ней надо лежать засунутым в узкую трубу с затычками в ушах, чтоб не оглохнуть. Тут как раз ключевое слово «коммерчески доступный».

[info]ljalt

8 months ago

  • Loading...

[info]fregimus

8 months ago

  • Loading...

[info]ljalt

8 months ago

  • Loading...

[info]misha_makferson

7 months ago

  • Loading...

[info]fregimus

7 months ago

  • Loading...

[info]lyuden

8 months ago

  • Loading...

[info]funny_smile

September 25 2011, 09:44:05 UTC 8 months ago

Аффигеть. Побежала мужу показывать.

[info]pingback_bot

September 25 2011, 09:44:09 UTC 8 months ago

Реконструкция изображения которое видит человек по ак

User [info]lyuden referenced to your post from Реконструкция изображения которое видит человек по активности мозга. saying: [...]  рассказывает [...]

[info]fandaal

September 25 2011, 09:54:21 UTC 8 months ago

сами картинки не очень пока что, но очень интересное направление...
мне когда то давно попадалось исследование, где реконструировали зрительные образы в кошачьем мозгу, вживив в оптический нерв электроды.
если не путаю.
годов 70х статья.

[info]catta

September 25 2011, 09:58:41 UTC 8 months ago

Ну, с вживлением-то проще. С вживлением вон уже есть опытные образцы протезов для людей с поврежденной сетчаткой (пусть и фиговые пока).

[info]uss_auriga

September 25 2011, 10:13:38 UTC 8 months ago

А каково может быть практическое применение такого открытия? выражаясь старинными терминами - для народного хозяйства?

[info]kcmamu

September 25 2011, 10:32:16 UTC 8 months ago

Граждан на благонадежность проверять. "А ну-ка представь себе господина начальника, а мы посмотрим, как ты его уважаешь".

[info]uss_auriga

8 months ago

  • Loading...

[info]alexandermarkov

7 months ago

  • Loading...

[info]uss_auriga

7 months ago

  • Loading...

[info]alexandermarkov

7 months ago

  • Loading...

[info]pingback_bot

September 25 2011, 11:40:26 UTC 8 months ago

Новости нашего городка

User [info]r_e_s_arcana referenced to your post from Новости нашего городка saying: [...] дние пару дней об этом не говорит только ленивый: http://catta.livejournal.com/117886.html [...]

[info]thinker8086

September 25 2011, 12:59:52 UTC 8 months ago

За кадром осталось самое (на мой взгляд) интересное - насколько сильно у разных людей различается локализация откликов на одни и те же кадры.

Если сильно - то без предварительного индивидуального "обучения" считывать образы из мозга не получится.

Если не очень сильно - то тотальный контроль получается не за горами.

Ну и, конечно, интересно, насколько сильно меняется качество "распознавания" со временем, истекшим после показа "обучательных" образов у того же испытуемого.

[info]catta

September 25 2011, 22:11:55 UTC 8 months ago

В статье использовалась только активность первичных зон, там межиндивидуальные различия топографии сравнительно невелики.Ну,то есть, взависимости от размера и формы головы у каждого извилины пролегают немного по-разному, площадь зон коры чуть другая, свой magnification factor, но это ситуация типа "у Васи пальцы подлиннее, у Пети покороче, но в принципе у каждого их пять".

Тем не менее, без индивидуального обучения все равно не получится.
Что же касается опасностей тотального контроля - обучение принципиально должно быть добровольным, т.к. точность сканирования очень легко испортить такими простыми вещами как движения головы и глаз, расфокусировка зрения. Если просто собрать глазки в кучку, то результата не будет совсем.

[info]fregimus

8 months ago

  • Loading...

[info]catta

8 months ago

  • Loading...

[info]fregimus

8 months ago

  • Loading...

[info]mithrilian

September 25 2011, 13:02:58 UTC 8 months ago

(мрачно) А я вот про допросы думаю...

[info]catta

September 25 2011, 22:12:25 UTC 8 months ago

По поводу допросов см. мой ответ на комментарий выше.

[info]mithrilian

8 months ago

  • Loading...

[info]pingback_bot

September 25 2011, 13:43:47 UTC 8 months ago

О тайне мысли

User [info]mysh_belaya referenced to your post from О тайне мысли saying: [...] http://catta.livejournal.com/117886.html [...]

[info]ingumsky

September 25 2011, 16:02:14 UTC 8 months ago

Как интересно... Большое спасибо!

[info]pingback_bot

September 25 2011, 16:15:47 UTC 8 months ago

тайное становится явным

User [info]ingumsky referenced to your post from тайное становится явным saying: [...] Оригинал взят у в тайное становится явным [...]

[info]pingback_bot

September 25 2011, 19:14:00 UTC 8 months ago

день ссылок типа )

User [info]whatcoloristhis referenced to your post from день ссылок типа ) saying: [...] вот такие изображения. Ссылка на пост, в посте ролик. http://catta.livejournal.com/117886.html [...]

[info]adlov

September 25 2011, 19:35:52 UTC 8 months ago

Как только метод разовьется до бесконтактного применения, его начнет широко применять Большой брат.
Как только машинки начнут работать не только на прием, а и на передачу, мир Матрицы станет ближе.

[info]catta

September 25 2011, 22:13:56 UTC 8 months ago

Этот конкретный метод бесконтактным быть не может. А ктому времени, как возникнет что-то бесконтактное (если возникнет), уже может не быть Большого Брата как такового.

[info]d1f

7 months ago

  • Loading...

[info]pingback_bot

September 25 2011, 19:36:27 UTC 8 months ago

No title

User [info]adlov referenced to your post from No title saying: [...] на прием, а и на передачу, мир Матрицы станет ближе. Оригинал взят у в тайное становится явным [...]

[info]costes

September 26 2011, 02:47:01 UTC 8 months ago

Тысяча чертей. это фантастика.

[info]fregimus

September 26 2011, 04:20:34 UTC 8 months ago

Я читал статью, было бы интересно Ваше мнение. Идея меня, конечно, очень порадовала. Как понимаю, новизна здесь, в том числе, и в мат. модели фильтров, та самая motion energy model, которую они использовали? Интересно, насколько важна именно такая модель. Ведь фактически они тренирую байесову сеть на определение наиболее вероятных фрагментов видео, которые вызывали такой же отклик в предыдущих экспериментах. Известно, что модель в байесовой сети имеет не самое большое значение: можно натренировать разные модели, одни будут подгоняться легче, другие дольше. Что Вы об этом думаете — я что-то упускаю? Она действительно (физиологически) более-менее оптимальна?

Было бы интересно разобратсья в модели. Ссылки они дают на две статьи, но я их еще не разбирал:

10. Adelson, E.H., and Bergen, J.R. (1985). Spatiotemporal energy models for the perception of motion. J. Opt. Soc. Am. A 2, 284–299.
11. Watson, A.B., and Ahumada, A.J., Jr. (1985). Model of human visual motion sensing. J. Opt. Soc. Am. A 2, 322–341.

[info]catta

September 26 2011, 04:26:43 UTC 8 months ago

Как я понимаю, модель важна концептуально - это текущая модель нейронов, которые занимаются детекцией движения. То есть, авторы статьи попытались заставить свою систему не просто видеть как-то, а сходным с нейронами образом.

[info]fregimus

8 months ago

  • Loading...

[info]catta

8 months ago

  • Loading...

[info]fregimus

8 months ago

  • Loading...

[info]pingback_bot

September 26 2011, 06:39:54 UTC 8 months ago

Реконструкция изображения которое видит человек по ак

User [info]rockseer referenced to your post from Реконструкция изображения которое видит человек по активности мозга. saying: [...] ;рассказывает [...]
Previous
← Ctrl← Alt
  • 1
  • 2
Next
Ctrl →Alt →
Create an Account
Forgot your login or password?
Facebook Twitter More login options
English • Español • Deutsch • Русский…