Автор: 
Американские учёные использовали новый метод машинного обучения, чтобы научить робота обнаруживать человека по звуках движения тела в пространстве. Данный метод разработан на основе 14-ти часов высококачественных четырёхканальных аудиозаписей в сочетании с видеозаписью с камеры 360 RGB. Результаты исследования представлены в статье, опубликованной на arXiv.
Учёных заинтересовало, сможет ли робот находить человека без посторонних шумов (разговора или хлопанья в ладоши) и могут ли случайные звуки, издаваемые людьми при движении, быть сигналом для робота о местонахождении человека. На видеозаписи, которую делали для обучения модели, люди двигались вокруг робота с разным уровнем скрытности (ходили, топали или шли медленно и тихо). Модель машинного обучения воспринимала звук в виде спектрограмм и на основе полученных данных прогнозировала наличие человека поблизости и его местоположение относительно робота.
В процессе обучения новая модель научилась абстрагироваться от посторонних шумов, воспроизводимых вентиляцией, кондиционерами и системой отопления, а также не реагировать на звуки, которые производит сам робот при движении. Разработанный метод машинного обучения позволяет роботам сосредотачиваться исключительно на звуках, издаваемых человеком во время движения, игнорируя при этом намеренно издаваемые человеком шумы. Новая технология локализации человека сможет повысить безопасность роботов, которые взаимодействуют непосредственно рядом с людьми, а также поможет обнаруживать стоящих на месте людей, используя только звук.
