03.09.2002, 16:11
|
#2
|
|
Модератор
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
|
Вот цитата с последней сохранившейся у меня страницы посвященной переезду. Полностью страницу я положил тут: http://plastun.narod.ru/pereezd.htm
Цитата:
Программа для бегства с Имладриса
Привет. Вот первый отчет.
Я выложил на http://plastun.narod.ru/Imparse.rar демо-версию парсеров для кочевания с Имладриса. Если интересно, посмотрите.
Принцип работы следующий.
1. При помощи урла http://www.imladris.net/forums/forum...0&pagenumber=1 получаем страницу, на которой видны все треды форума. Эту страницу сохраняем как ALLTHREADS.HTM и обрабатываем с помощью парсера "Forum" на вкладке "A - Forum". Результатом будут ссылки на сами треды.
2. Список ссылок на треды можно использовать в какой-нибудь программе для скачивания. Например FlashGet. Если на предыдущем шаге установить число постов на странице равным 200, то скачанных файлов будет около 350-400 (по состоянию на август 2002). Их нужно поместить в папку THREADS и обработать с помощью парсера "Threads" вкладки B - Threads. Имена файлов назначаются скачивающей программой и не имеют значения.
Результатом работы является заполнение базы данных. Создаются юзеры (id, ник, статус, дата регистрации, location) и посты (id, заголовок, тело сообщения в формате HTML, дата создания, дата редактирования (если есть), название файла аттача).
Аватар, аттач и некоторые другие детали выкачиваются отдельно с использованием id юзера.
3. Я думал, нужно ли заходить на страницу с профайлом юзера. Теоретически это возможно, но пока не представляется необходимым. На шаге 2 мы получили почти все, что было нужно. А пользователям все равно придется зайти на свою страницу хотя бы раз, чтобы изменить пароль, который мы им вышлем. Этот шаг не проработан.
4. Вытянуть vB-code можно с помощью парсера "Posts" на вкладке D - Posts. Но, во-первых, для этого нужно скачать все страницы редактирования сообщений. (Их урлы генерируются с использованием id постов, которые будут известны после 2-го шага.) А их столько же, сколько постов. Если не ошибаюсь, 108 тысяч. Во-вторых, нужен пароль модератора. Либо я передаю программу и ее описание Лэймару и он использует ее на своем оборудовании, учитывая вероятность блокировки такой атаки сервером.
Итог:
Программа писалась как парсер для уже скачанных страниц, поэтому не работает полностью самомстоятельно, т.е. выкачивать она сама не умеет.
Если есть возможность, прошу желающих потестировать ее путем подсовывания в указанные папки страниц с Имладриса. Это будет весьма полезно.
Процедура сохранения в базу данных в демо-версии заблокирована.
Вот и все. Я уезжаю на 2 недели. Буду в сети 2 сентября. Счастливо!
|
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
|
|
|