Стандартно можно сделать средствами ASP. Если хочешь, пришлю кусок кода, который это делает, в ПМ.

Если хочешь... Конечно, хочешь!

Послано!

Здрасте на вас... Какими средствами ASP это можно сделать?? Только дополнительным компонентом... В Win2k идет стандартно компонент, который называется MSXMLHTTP, с его помощью, можно выдрать страницы с других сайтов. Но он, собака, все русские буквы превращаем в вопросительные знаки! Думал, что это баг 2-ой версии, поставил 4-ую... Тоже самое:-((

Я его и имел в виду. Стандартный в том смысле, что обычно стоит на серваке.
Баг этот я знаю как обойти, собственно, именно это и послано Пластуну.

Вася, угу... Время редактирования, я умышленно не забираю, оно не столь важно. Аттачи - ну ладно, предположим. А насчет возможности доступа... Ну, давай предположим, что мы собираемся выкачивать в данный момент тред хоббитолюбок... Я без понятия, сколько там людей участвуют в обсуждении, но, скажем, 30, плюс, предположим, что каждое 5-ое сообщение идет с аттачем. Сейчас там ~18600 сообщений. Т.е. для того, что бы это дело выкачать полностью, нам надо будет устроить около 22351 хитов на сервер Imladris. Да тут любой сервер загнется! А если у него все последние патчи, так он нас просто забанит, посчитав за ping of death атаку, при том забанит он нас уже на первой сотне сообщений.

Да, пожалуй, ты прав.
Выходит, придется писать парсер HTML->vB.
Ладно, думаю, это не так уж сложно.
Кстати, та же проблема возникает при разборке треда. Как нетрудно посчитать, при просмотре всего форума по тредам придется сделать 105000/30=3500 заходов. Частично проблему можно решить, выставив perpage в querystring побольше.

Вася, я получил твой скрипт. Путь пока полежит.

Сейчас сделал парсер главной страницы форума. Генерится список урлов, чтобы заходить в треды и скачивать их по 100 штук на странице. У меня получилось на сегодня 648 заходов только чтоб скачать сами треды.

Сделал парсер страниц с тредами. Вытянул id треда, автора, первую дату, последнюю дату, урл аттача. Ничего не забыл?

Теперь делаю парсер страницы профайла. Вы, ребята, говорите, много заходов получается? Что, не писать пока?

Да, я забыл, что дальше. Дальше будем скачивать страницы профайлов, парсить их. Это нетрудно.

А вот насчет заходов в EDIT, не знаю. Во-первых паролей всёрно нет, а во-вторых, много заходов будет. И дело даже не в аттачах, а в общем количестве постов.

Ладно HTML -> vB я завтра напишу.

Ну, если за 648 не забанили - пока нормально. Профайлы погоды не сделают. <img src="images/smilies/smile.gif" border="0" alt="">
Скинешь мне парсер - проверю, сравнив с реальными vB-кодами своих постов, да и просто погляжу, ок?

И мне тоже тогда копию, пожалуйста.
Насчет разбития на страницы, то это можно убрать поставив perpage равный где-то 20000... Кстати, Пластун, я бы сделал немного по другому. По моему, лучше написать программку, которая будет у тебя запрашивать URL ветви, во-первых, возможно не все ветви нужно будет качать (я бы лично не все качал бы, но дай мне волю и из всего этого форума только 10-15 ветвей переедет:-))))) А во-вторых, тогда каждую ветвь можно будет качать отдельно, т.е. для выдирания ветви нужно будет сделать всего 1+(кол-во новых пользователей)+кол-во аттачментов заходов, а это уже не так много... Могут даже и не заметить... Ну а URL ветвей можно и ручками скачать...

Качать надо все, включая аттачи - такова воля Mrs.Underhill.
URLы тредов ручками качать облом, их у нас 573, к тому же, как я понял, Пластун уже записал их все в базу.

Все, так все, только давайте по одному за раз будем качать, а то на самом деле сервер может завопить (правда, обычно патчи ставятся против ping и tracert, а не против HTTP запроса, но все же...). На счет предложения Миссис Аксман о том, что бы просто оставить все аттачменты тут и изменить ссылки... Боюсь, что это не пройдет... Кто знает когда админам Imladrisa взбредет в голову посмотреть access logs и обнаружить что этот форум переехал? Если бы я это обнаружил, то я бы стер сразу же всю ветку Хеннет-Аннун...
Вася, а обход бага веселый. Сам придумал, или вычитал где? А кроме того, я пару раз сталкивался с такой проблемой... XMLHTTP, похоже, не работает по стандартному HTTP протоколу, потому что у меня было несколько раз такое, что он страницу не до конца закачивал...

Нашел в Нете, на одном немецком сайте. У них тоже со всякими умляутами проблемы.
А недокачивает он до конца именно в этом случае. А именно, в responseText пишутся вопросы вместо кириллицы, при этом еще поблизости отъедаются куски с нормальной латиницей.
С обходным манёвром, тьфу-тьфу, вроде все докачивается до конца.

Отлично, тогда этот способ вполне подходящий! Спасибо за обходные манёвры:-))) Кстати, там в 4 MSXML есть еще один какой-то ServXMLHTTP (или что то типо), который вроде бы быстрее все это дело выкачивает, хотя документацию к нему я читал справо на лево...

Я качаю FlashGet-ом. Ссылки в базу закачал, но их все равно надо будет заново закачивать.
Парсеры вышлю завтра. Или сегодня поздно ночью.

Что-то я не найду, как приаттачить файл к ПМ. Может пришлете мне мыло на <a href="mailto:plastun@ledzeppelin.ru">plastun@ledzeppelin.ru</a>. Хочу дать вам черновой вариант двух парсеров.

Можно с <a href="http://plastun.narod.ru/Imladris.rar" target="_blank">http://plastun.narod.ru/Imladris.rar</a>

Скачал. У меня не работает. Все в вопросительных знаках, но это ладно. Когда нажимаю на 1 - allthreads.htm, говорит "text exceeds memo capacity". На работе у меня всего 128Мб, попробую дома, там у меня Гиг стоит...
<HR>
О! Заработало, только, почему то только с файлами меньше 50Кб. Работает отлично! Только хорошо бы еще вытаскивать сам текст сообщения, хотя бы в HTMLе пока.
Честно признаюсь, я такие парсеры, такими темпами писать не умею!:-)) Не люблю я в VB работать со строками, мало там функций для меня, да и неудобные они.

С текстами сообщений надо малость попыхтеть. Возможно все же удастся продвинуть идею Васи. Тогда это будет дело десяти минут.

ЗЫ. Спасибо за бета-тестирование. Очень помогаешь. Кстати, это не скрипт. Это Delphi.

Да я не против, просто для этого Лэймару нужен будет свой сервер, на котором идут ASP.
Я могу положить скрипт на какой-нибудь бесплатный сервер, но они обычно ограничены по месту на диске и все посты туда не влезут. Собственно, я и не хотел заполучить пароль Лэймара, он мог бы на тот случай поменять его, дать мне, а после этого поменять обратно. Ладно, я буду думать, как закачать на бесплатный сервер в несколько приемов.

Угу, я уже потом понял что это Delphi, по иконке:-))) А вообще, я еще из дома попробую все это дело, посмотрим как там это будет работать... А с Edit, можно попробовать, тем более, что в QueryString есть параметр s который держит номер сессии, т.е. если в начале зайти как админ на форум, а потом в программку закинуть номер сессии, то она должна лазить по форуму с админскими привилегиями, без пароля и logina.

Тест
 

А редактировать их можно?

ЗЫ. А почему собственно нет?