АО «ИД «Комсомольская правда». ИНН: 7714037217 ОГРН: 1027739295781 127015, Москва, Новодмитровская д. 2Б, Тел. +7 (495) 777-02-82.

Исключительные права на материалы, размещённые на интернет-сайте www.kp.ru, в соответствии с законодательством Российской Федерации об охране результатов интеллектуальной деятельности принадлежат АО «Издательский дом «Комсомольская правда», и не подлежат использованию другими лицами в какой бы то ни было форме без письменного разрешения правообладателя.

Приобретение авторских прав и связь с редакцией: [email protected]

«Маша и медведь» Delo v Shlyape (TV Episode 2013)

S2.E15

Все эпизоды

All

• Эпизод.

  ВАША ОЦЕНКА

  AnimationShortAdventure

  Медведь отчаянно борется с жадной молью, которая появилась в его доме. Пытаясь спасти свою волшебную шкатулку, он ставит ее на крыльцо, а Маша находит волшебную шляпу, которая может заставить его… Читать всеМедведь отчаянно борется с жадной молью, которая появилась в его доме. Пытаясь спасти свою волшебную шкатулку, он ставит ее на крыльцо, а Маша находит волшебную шляпу, которая делает ее невидимой. Медведь отчаянно борется с жадной молью, которая появилась в его доме. Пытаясь спасти свою волшебную шкатулку, он ставит ее на крыльцо, а Маша находит волшебную шляпу, которая может сделать ее невидимой.

  IMDb RATING

  6.8/10

  11

  YOUR RATING

  • • Andrey Belyaev
  • • Oleg Kuzovkov
  • • Alina Kukushkina(voice)
    • Boris Kutnevich(voice)
    • Angelica Keamy (английская версия)
  • • Andrey Belyaev
  • • Oleg Kuzovkov
  • • Alina Kukushkin0010
    • Boris Kutnevich(voice)
    • Angelica Keamy(English version)
• See production, box office & company info
• See more at IMDbPro

Photos

Top cast

Alina Kukushkina

• Masha
• (голос)

Борис Кутневич

• Медведь
• (голос)

Анжелика Кими

• Маша
• (английская версия) 0)00ice 90910
• (английская версия)0010
• • Andrey Belyaev
• • Oleg Kuzovkov
• All Cast & Crew
• Производство, Box Costmit & More At IMDBPRO

Estiveline

. Обзора 9008 4008 4008 4008 4008 4008.

Детали

• Дата выхода
  • 2013 (США)
• Компании-производители
  • Анимационная студия Animaccord
  • Art & Science Productions
  • Art & Science Productions
• См. Больше кредитов компании по адресу IMDBPRO

Технические спецификации

• 7 минут

Связанные новости

. Поместите на эту страницу

Еще для изучения

Недавно просмотренные

У вас нет недавно просмотренных страниц

Фреймовый подход к мультимодальному распознаванию эмоций в вызове OMG – arXiv Vanity

Григорий Стерлинг Андрей Беляев Максим Рябов ООО «Нейродата Лаб», США

Abstract

В этом отчете мы описали, что наш подход достигает 53% невзвешенной точности по 7 эмоциям и 0,05 и 0,09 среднеквадратических ошибок для возбуждения и валентности в задаче распознавания эмоций OMG.

1 Введение

OMG предлагает классифицировать заданные видеофрагменты в одну из 7 дискретных категорий эмоций и распознавать 2-х мерные параметры эмоций: возбуждение и валентность. Описание набора данных OMG Emotion Behavior можно найти в [1] . Он состоит из 178 длинных видеороликов, разделенных на 2725 коротких фраз разной продолжительности от 0,5 до 30,6 секунд. Он уже был разделен на наборы для обучения, проверки и тестирования.

Этот набор данных несбалансирован: наименее частая метка эмоции — удивление, всего 26 примеров в наборе поездов. Поэтому, чтобы получить прогнозы в предлагаемом наборе данных, мы решили настроить некоторые базовые модели, предварительно обученные на других наборах данных. Но перед этим нам нужно правильно предварительно обработать данные.

2 Предварительная обработка данных

Мы сосредоточились на наиболее информативных модальностях в задаче распознавания эмоций: лице, голосе (исключая текстовую информацию) и движениях тела.

Сначала мы использовали Caffe-реализацию Faster RCNN [2] , чтобы вырезать фейсбоксы из кадров во всех видео. После уменьшения до 112×112 пикселей мы выровняли его по точкам губ и носа, а также затемнили фон.

Чуть более интересную предварительную обработку мы проделали с аудиоканалом. Нашей целью было представить аудиопоток в виде последовательности кадров, наподобие видео. Из необработанного сигнала wav мы оценили спектрограмму с окном 20 мс, перекрытием 10 мс и верхней границей частоты 4000 Гц. Затем мы разделили спектрограммы на 50% перекрывающихся кадров длиной 0,4 с. Конечный кадр x представляет собой конкатенацию трех матриц, рассматриваемых как каналы RGB: [log(x),norm(log(x)),equalized_hist(log(x))], где log — натуральный логарифм, norm(x)= x-minxmaxx-minx — это функция нормализации, а выравнивание гистограммы — это преобразование контраста, позволяющее сделать интенсивность пикселей одинаковой на данном изображении. Таким образом, каждый звуковой фрагмент был представлен в виде последовательности изображений 3х40х40 с частотой, равной 5,9.0003

В дополнение к информации о голосе и лице мы использовали ключевые точки тела в качестве третьего источника данных, но он кажется менее информативным.

Чтобы прогнозировать высказывания, мы разделили их на 2-секундные интервалы и обучили модели прогнозировать эмоции на этих интервалах.

3 Модель лица

Поскольку обучающая выборка относительно невелика, мы решили предварительно обучить модель на другой эмоциональной выборке. Мы выбрали базу данных AffectNet [3] . Основные преимущества этого корпуса в том, что изображения эмоциональных лиц были собраны в дикой природе и имеют множество примеров в каждом классе. Мы обучили нейронную сеть ResNet-50 и добились на ней точности 64% на 7 занятиях. Затем мы использовали эту модель в качестве базовой оценки общих функций в задаче. Затем мы обрабатываем последовательность кадров в каждом 2-секундном интервале с помощью рекуррентной нейронной сети с длинными ячейками кратковременной памяти. Итак, наша модель лица предсказывает один класс из 7 эмоций для короткого видеофрагмента. Если мы усредним прогнозы для всего высказывания, мы достигнем 51% невзвешенной точности по 7 эмоциям в тестовом наборе.

Мы также попытались обучить эту модель с помощью функции потерь Connectionist Temporal Classification (CTC) [4, 5] , но это не увеличило итоговую оценку вместо аудио модели.

4 Временная классификация коннекционистов

Эмоциональность не наполняет ни одно высказывание равномерно. Другими словами, некоторые части эмоциональной речи более эмоциональны, чем другие. Один из возможных способов справиться с этим — функция потери CTC.

Пусть y — матрица TxN выходных данных RNN, где T — количество кадров в последовательности, а N — количество классов: yi,t представляет вероятность того, что t-й кадр имеет i-ю метку. Таким образом, вероятность наблюдать последовательность меток π для входной последовательности признаков x равна:

Пусть c — последовательность меток, а B(c,T) — множество всех возможных меток длины T, которое можно сократить до c после удаления пустых и повторяющихся символов. Например, B(A,2)={−A,A−,AA}, B(AB,3)={−AB,AAB,AB−,ABB,A−B}. Далее мы можем обозначить условную вероятность того, что входной объект x будет иметь метку L:

И последний шаг — максимизировать P(L∗,x), где L∗ — истинная нумерация x. На этапе предсказания у нас нет истинной метки L∗, но мы можем оценить наиболее вероятный путь π∗=argmaxπP(π,x), который будем использовать в качестве предсказания. Алгоритм получения этого argmax описан в [4] .

Принимая во внимание нашу задачу по распознаванию эмоций, подход CTC становится более конкретным. В этом случае возможные метки эмоций L могут быть одного из следующих шаблонов: E, -E, E- и -E-, где E — метка эмоции, такая как гнев, счастье и т. д.

5-голосовая модель

Для речевого канала пошли так же, как и для видео. Во-первых, нам нужно оценить функции высокого уровня по цветным изображениям, представляющим собой короткие спектрограммы. Мы обнаружили, что функции из модели проверки говорящего более полезны, чем любые другие. Для данного кадра спектрограммы 0,4 с эта модель пытается распознать, кто является его автором. По данным Ted Talks [6] , мы достигли 72% точности классификации топ-1 и 91% топ-5 для 1032 спикеров. После очистки звуковых дорожек от шума мы получили около 1000 кадров на динамик для обучения и проверки.

Затем мы обучаем LSTM RNN на последовательности высокоуровневых функций, оцениваемых для кадров в высказываниях OMG. После усреднения прогноза на уровне 2-секундных интервалов наш подход дал точность 49%, используя только аудиоданные.

6 Мультимодальный подход

Окончательная модель использует три канала данных в качестве входных данных и обрабатывает их с помощью соответствующих предварительно обученных моделей. Последовательности функций высокого уровня вводятся в повторяющиеся части нашей модели, чтобы получить векторные представления с интервалом 2s. На уровне принятия решения мы объединили его в один вектор и обработали полносвязным слоем с функцией активации softmax. Результирующая метка представляет собой простой argmax усредненных прогнозов по всему высказыванию.

7 Результаты и заключение

Наш подход достиг 53% невзвешенной точности (соответствующая средняя оценка F1 составляет 0,5) в задаче классификации эмоций и ошибки 0,04 и 0,09 MSE для возбуждения и валентности.

Мы получили эти результаты с помощью глубокой нейронной сети, которая оценивает особенности предварительно обработанных изображений с помощью сверточных слоев, и они передаются в повторяющиеся слои для обработки их эволюции во времени. Для каждой модальности мы обучили разные модели и объединили их на уровне принятия решений.

Каталожные номера

• [1] Пабло Баррос и др., Набор данных о поведении эмоций OMG . Публикация Arxiv, https://arxiv.org/abs/1803.05434, 2018 г.
• [2] Шаоцин Рен и др., Faster R-CNN: на пути к обнаружению объектов в реальном времени с помощью региональных сетей , CoRR, http://arxiv.