Нейронные сети помогли Яндексу лучше отвечать на необычные запросы

Яндекс запустил новый поисковый алгоритм «Палех», в основе которого лежат нейронные сети. Благодаря «Палеху» Яндекс стал лучше подбирать ответы на редкие и уникальные поисковые запросы. Такие запросы редко повторяются, но в совокупности их очень много - около ста миллионов в день.

 

Как сообщили Псковской Ленте Новостей в компании, при подборе ответов на запросы поисковые системы используют ключевые слова. Если слова из запроса есть на веб-странице, то она, вероятно, будет интересна пользователю. Но только на слова опираться нельзя: один и тот же смысл можно выразить совершенно по-разному. Тогда на помощь приходят дополнительные данные, например обезличенная статистика: на какие страницы перешли пользователи, задавшие такой же запрос. В случае с уникальными запросами статистики мало или нет вовсе - а значит, поиску труднее понять, какие страницы хорошо отвечают на запрос, а какие нет.

 

Поисковая модель на нейронных сетях, которую использует «Палех», умеет устанавливать смысловые соответствия между поисковым запросом и заголовками веб-страниц. С ее помощью можно выявить, что в запросе и на странице говорится об одном и том же, даже если у них нет общих ключевых слов. Так, поиск поймет, что в запросе [фильм про человека который выращивал картошку на другой планете] речь идет о «Марсианине», хотя релевантные страницы могут и не содержать слов «картошка» или «планета».

 

Редкие и уникальные запросы составляют почти треть всего потока поисковых запросов, поэтому иногда их называют «длинным хвостом» поиска. Новому алгоритму решили дать название «Палех» в честь Жар-птицы - сказочной птицы с длинным хвостом, которая часто появляется в сюжетах палехской миниатюры. Рассказ об алгоритме «Палех» и особенностях поисковых запросов из «длинного хвоста» опубликован в блоге Яндекса. О том, как разработчики поиска обучали нейронную сеть обрабатывать редкие и уникальные запросы, можно узнать в статье на «Хабрахабре».

 

Искусственные нейронные сети - один из методов машинного обучения. Он показывает отличные результаты в анализе естественной информации: изображений, звука, текста. В Яндексе нейронные сети задействованы в поиске по картинкам и смежных задачах - например, модерации рекламных объявлений и фильтрации взрослого контента. На их основе также построены модели, отвечающие за распознавание речи.