Reddit блокирует большинство поисковых систем

Reddit — одно из лучших мест для дискуссий в Интернете, и это важный оплот интернет-культуры. Это также причина, по которой он часто появляется в верхней части результатов поиска. Теперь, однако, похоже, что Google — единственная поисковая система, которая может правильно выводить результаты поиска Reddit.

Reddit, по-видимому, ограничил доступ к своему контенту, фактически сделав Google единственной поисковой системой, способной отображать результаты Reddit. Альтернативные поисковые системы, такие как Bing, DuckDuckGo и другие, теперь не могут должным образом сканировать Reddit и отображать новый контент. Некоторые из этих поисковых систем могут показывать некоторые неописуемые результаты поиска Reddit, в то время как другие не показывают ничего вообще. Хотя ни Reddit, ни Google официально не прокомментировали этот вопрос, это может быть связано с многомиллионным соглашением Reddit с Google о сборе данных Reddit для целей обучения ИИ.

Это решение вызвало критику со стороны небольших поставщиков поисковых систем. Колин Хейхерст, генеральный директор поисковой компании Mojeek, сказал 404 Медиа“Они [Reddit] убивая все, что касается поиска, кроме Google». Microsoft (владеющая Bing), DuckDuckGo и другие компании, занимающиеся поисковыми системами, пока не вмешались.

Действия Reddit происходят на фоне более широкой тенденции, когда веб-сайты блокируют ботов, используемых компаниями ИИ для сбора данных. Недавно платформа обновила свой файл robots.txt, набор инструкций для веб-сканеров, чтобы строго запретить любой автоматизированный доступ. Текущий файл robots.txt настроен на запрет любого веб-сканирования, включая обычные поисковые системы (архивная версия от 23 июля этого не делает). Google, владеющая самой популярной поисковой системой, находится в уникальном положении для обучения своего генеративного ИИ на результатах поиска и на других данных, которые она обнаруживает. Мы не можем вспомнить ни одного разработчика генеративного ИИ, который обучал бы свои модели «этичным» образом, но Google, возможно, готов пойти гораздо ниже, чем другие.

Источник: 404 Медиа