Просмотр отдельного сообщения
Старый 03.09.2002, 16:11   #2
Пластун
Модератор
 
Аватар для Пластун
 
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
Вот цитата с последней сохранившейся у меня страницы посвященной переезду. Полностью страницу я положил тут: http://plastun.narod.ru/pereezd.htm
Цитата:
Программа для бегства с Имладриса
Привет. Вот первый отчет.

Я выложил на http://plastun.narod.ru/Imparse.rar демо-версию парсеров для кочевания с Имладриса. Если интересно, посмотрите.

Принцип работы следующий.

1. При помощи урла http://www.imladris.net/forums/forum...0&pagenumber=1 получаем страницу, на которой видны все треды форума. Эту страницу сохраняем как ALLTHREADS.HTM и обрабатываем с помощью парсера "Forum" на вкладке "A - Forum". Результатом будут ссылки на сами треды.

2. Список ссылок на треды можно использовать в какой-нибудь программе для скачивания. Например FlashGet. Если на предыдущем шаге установить число постов на странице равным 200, то скачанных файлов будет около 350-400 (по состоянию на август 2002). Их нужно поместить в папку THREADS и обработать с помощью парсера "Threads" вкладки B - Threads. Имена файлов назначаются скачивающей программой и не имеют значения.

Результатом работы является заполнение базы данных. Создаются юзеры (id, ник, статус, дата регистрации, location) и посты (id, заголовок, тело сообщения в формате HTML, дата создания, дата редактирования (если есть), название файла аттача).

Аватар, аттач и некоторые другие детали выкачиваются отдельно с использованием id юзера.

3. Я думал, нужно ли заходить на страницу с профайлом юзера. Теоретически это возможно, но пока не представляется необходимым. На шаге 2 мы получили почти все, что было нужно. А пользователям все равно придется зайти на свою страницу хотя бы раз, чтобы изменить пароль, который мы им вышлем. Этот шаг не проработан.

4. Вытянуть vB-code можно с помощью парсера "Posts" на вкладке D - Posts. Но, во-первых, для этого нужно скачать все страницы редактирования сообщений. (Их урлы генерируются с использованием id постов, которые будут известны после 2-го шага.) А их столько же, сколько постов. Если не ошибаюсь, 108 тысяч. Во-вторых, нужен пароль модератора. Либо я передаю программу и ее описание Лэймару и он использует ее на своем оборудовании, учитывая вероятность блокировки такой атаки сервером.

Итог:

Программа писалась как парсер для уже скачанных страниц, поэтому не работает полностью самомстоятельно, т.е. выкачивать она сама не умеет.

Если есть возможность, прошу желающих потестировать ее путем подсовывания в указанные папки страниц с Имладриса. Это будет весьма полезно.

Процедура сохранения в базу данных в демо-версии заблокирована.

Вот и все. Я уезжаю на 2 недели. Буду в сети 2 сентября. Счастливо!
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
Пластун вне форума   Ответить с цитированием