«Яндекс» создал поисковый алгоритм для обработки запросов по смыслу

Интернет-компания «Яндекс» запустила новый поисковый алгоритм «Палех» на основе нейронных сетей, который более эффективно находит веб-страницы по смыслу, а не по ключевым словам.

Новый алгоритм был разработан для улучшения поиска по редким, так называемым низкочастотным, запросам, сообщается в блоге компании. По данным «Яндекса», таких в систему ежедневно поступает около ста миллионов.

Нейронные сети функционируют в этом механизме схожим образом с поиском по изображениям. Разработчики обучили алгоритм распознавать смысл содержания запроса и сопоставлять его с заголовком веб-страницы.

График распределения запросов компания представляет в виде птицы, клюв которой – это небольшой список очень часто вводимых простых запросов, таких как «вконтакте», «рефераты», «погода». «Туловищем» являются поисковые фразы средней частоты. «Низкочастотные запросы по отдельности встречаются чрезвычайно редко, но вместе составляют существенную часть поискового потока и поэтому складываются в “длинный хвост”», – объяснили в «Яндексе». В компании обратили внимание, что такой график похож на Жар-птицу, часто появляющуюся на палехских миниатюрах, поэтому система и получила название «Палех».

Именно на работу с многочисленными и крайне разнообразными запросами из «хвоста» ориентирован новый алгоритм. В качестве примера таких формулировок в компании привели запросы от детей, обращающихся к компьютеру как к живому собеседнику, а также запросы с описанием отрывков фильмов.

Изображение: yandex.ru/blog