Конечно писать свой поисковик идиотская идея, но я об этом недавно задумался.

Переехав в не очень большой город с отсталой интернетизацией и занявшись ремонтом дома столкнулся с проблемой поиска магазинов. Сайты есть наверно у редкого магазина, а ассортимент и цены посмотреть так это вообще не у кого нет. Единственное что есть несколько десятков форумов но и они забиваются крупными рекламными порталами и найти в поисковиках их нереально, разве что на сотой странице выдачи результатов.

Пол дела решил используя customsearch на Yandex, но туда надо как-то добавлять сайты, не вручную-же. Нужен бот в который будут добавлены специфичные для города ключи (названия улиц, рынков, магазинов, районов и так далее) и он будет эти ключи перебирать в поисковике, черный список также нужен для блокировки рекламных сайтов на которых написано что это есть, а когда разберешься оказывается это очень далеко, чуть-ли не доставка из Сибири. А это не нужно, есть куча хороших интернет магазинов, если уж покупать с доставкой.

Реализация.

Индексацией и поиском будет заниматься крупный поисковик например yandex.

Подключение бота к поисковику тоже не очень сложно, правда бесплатное search api позволяет малое количество запросов на единицу времени.

Доступ бота к странице изменения настроек customsearch тоже не думаю что будет сложен, тем более там надо будет реализовать только добавление/удаление/просмотр сайтов в белом и чёрном списке.

Думаю самым сложным будет логика бота, как он будет оценивать сайты, какие ключи использовать для поиска сайтов, как он будет искать ссылки на дружественные ресурсы.

Радует что абсолютно корректное поведение бота не нужно, так как бот будет только рекомендовать модератору поисковика какие-либо ресурсы, а добавлять или нет это будет решать уже человек.

Нужен человек который напишет логику работы бота, на бумажке со стрелочками, что ищет как оценивает и так далее, ибо в теории я не силен.