а как прописать для бинга? У меня нет кнопки как на скрине
какая не структурированная. ты че. берешь страницу просто подставдляешь в циклеhttps://labrc.name/forums/trip-reporty.178/page-* открываешь через пюппитр. пармсишь ссылкки на темы. - парсишь в цикле странички с темами
ты работал с парсингом объемов данных? а там более с поисковиков... тебя ждет немало сюрпризов, когда система поймет что ты ботом это делаешь. даже в ручную слишком много запросов - дают блок на время и как заметил MrDewitt приходится менять ip
открой первую страницу, она обновлялась за время. там скрины, где кнопка кеша в бинге
я про общую архитктуру кеша. позже уточнил, что на примере конкретной папки - да, можно работать. но тут ряд ограничений придется обходить(прокси запас как минимум надо иметь, а еще бы вычислить тайминги блоков, чтобы снизить расходы)
Точно не помню как звучит.
вообщек то по законаим физитки все стремится к энтропии.
Теоретически.
по теме, стянул с помощью wayback-machine-downloader все до чего дотянулся с web.archive.org. Ничего интересного. В кеше гугл/бинг гораздо лучше искать
дай ключевые слова, может помогу найти
да, там только структура полезна по сути. наводки на ключевые ссылки для поиска в кеше гугл/бинг
Так а какие могут быть слова. Трип-репорт, соль, шишки, ешки, фен бро
Название, если помнишь. Ок будет время гляну. Но там без картинок
просто трип и вещество так себе ключевые, ибо юзер мог комментить кучу всего и это вылазит мешая искать. а вот если к этому добавить никнейм селлера или назание магазина то результаты гораздо меньше воды имеют
в ЛС кину парочку
а есть апи на получение бесплатных проксиков?)
Спасибо бро за заботу, а то тяжело быть трохи деревянным)
Премного благодарен тебе за помощь! Сам бы не разобрался. Дремучий лес..
я не трипыч хочу воссатновить. А культурное наследие - творчество сектантов. там именно и цель в том, чтобы обойти все)
их много в сети, вопрос тока прочекать рабочие. но я тебе заранее говорю - тема с слишком большой вероятностью не стоит труда бро... просто представь себе, что новые репорты заходили с начала и смещались по страницам при появлении новых. поисковики такой контент не любят, он слишком динамичен чтобы его кешировать. Прикинь, что на первой странице скока смен репортов - ты думашь они бы стали это все кешировать?... задумайся над архитектурой такого поиска
