Обсуждение проблемы переезда

[ATAMAH]

Давайте все проблемы, связанные с переездом и вытаскиванием наших сообщений с Имладриса обсуждать здесь.

[Пластун]

Вот цитата с последней сохранившейся у меня страницы посвященной переезду. Полностью страницу я положил тут: http://plastun.narod.ru/pereezd.htm

Программа для бегства с Имладриса
Привет. Вот первый отчет.

Я выложил на http://plastun.narod.ru/Imparse.rar демо-версию парсеров для кочевания с Имладриса. Если интересно, посмотрите.

Принцип работы следующий.

1. При помощи урла http://www.imladris.net/forums/forum...0&pagenumber=1 получаем страницу, на которой видны все треды форума. Эту страницу сохраняем как ALLTHREADS.HTM и обрабатываем с помощью парсера "Forum" на вкладке "A - Forum". Результатом будут ссылки на сами треды.

2. Список ссылок на треды можно использовать в какой-нибудь программе для скачивания. Например FlashGet. Если на предыдущем шаге установить число постов на странице равным 200, то скачанных файлов будет около 350-400 (по состоянию на август 2002). Их нужно поместить в папку THREADS и обработать с помощью парсера "Threads" вкладки B - Threads. Имена файлов назначаются скачивающей программой и не имеют значения.

Результатом работы является заполнение базы данных. Создаются юзеры (id, ник, статус, дата регистрации, location) и посты (id, заголовок, тело сообщения в формате HTML, дата создания, дата редактирования (если есть), название файла аттача).

Аватар, аттач и некоторые другие детали выкачиваются отдельно с использованием id юзера.

3. Я думал, нужно ли заходить на страницу с профайлом юзера. Теоретически это возможно, но пока не представляется необходимым. На шаге 2 мы получили почти все, что было нужно. А пользователям все равно придется зайти на свою страницу хотя бы раз, чтобы изменить пароль, который мы им вышлем. Этот шаг не проработан.

4. Вытянуть vB-code можно с помощью парсера "Posts" на вкладке D - Posts. Но, во-первых, для этого нужно скачать все страницы редактирования сообщений. (Их урлы генерируются с использованием id постов, которые будут известны после 2-го шага.) А их столько же, сколько постов. Если не ошибаюсь, 108 тысяч. Во-вторых, нужен пароль модератора. Либо я передаю программу и ее описание Лэймару и он использует ее на своем оборудовании, учитывая вероятность блокировки такой атаки сервером.

Итог:

Программа писалась как парсер для уже скачанных страниц, поэтому не работает полностью самомстоятельно, т.е. выкачивать она сама не умеет.

Если есть возможность, прошу желающих потестировать ее путем подсовывания в указанные папки страниц с Имладриса. Это будет весьма полезно.

Процедура сохранения в базу данных в демо-версии заблокирована.

Вот и все. Я уезжаю на 2 недели. Буду в сети 2 сентября. Счастливо!

[ATAMAH]

Хорошо, скинь мне пожалуйста пример результата. Я посмотрю как он выглядит. Возможно мне придется написать еще один парсерок, чтобы он привел к виду MySQL, Но я надеюсь, что и так все заработает.

[ATAMAH]

Хотя все равно придется, к структуре и существующим постам и пользователям надо подгонять. Тем более присылай.

[ATAMAH]

Попробуй пропарсить это

[Пластун]

Если ты еще не смотрел мою прогу, то я тебе сейчас в двух слвах расскажу. Та версия, что я выложил, просто выводит в поле мемо все, что он напарсил. В базу сохранение у меня только дома. И оно гонит все в SQL Server через ADO. Как ты будешь смотреть результаты?

Пластун, у меня не получилось скачать последний вариант парсера. Ссылка была битая, о чем я громко орал на Имладрисе, но уже после того, как ты уехал. Выложи его еще раз пожалуйста и если можно не на народе, он из US практически не работает, то есть работает, но даже у меня с работы (выделенная t1, на которой вешу я и один сервер) у меня пару килобайт скачать занимает полчаса! И если можно, ту версию, что у тебя дома, с MSSQL Server. У меня он и на работе и дома стоит.

[Пластун]

Атаман. К сожалению страница ПТСТ не парсится. Что-то в ней есть такое нестандартное. Буду смотреть, а ты перешли мне по мылу, какие еще страницы у тебя есть. Чтоб уж отладить получше.

Кстати же, у кого есть страницы. Отправляйте их мне тоже.

[ATAMAH]

У меня больше ничего нету

[Пластун]

Готово дело. Вот парсер. Размер файла 454Кб. Не обессудьте.
http://www.sci.pfu.edu.ru/~esambou/impars_exe.zip

Там внутри sql скрипт для таблиц базы данных. Только надо будет создать базу данных с названием imladris. Парсер сохраняет все в SQL Server 2000 через ADO.

АТАМАН, я просто не в курсе. Наверное в MySQL тоже можно через ADO работать. Может там в строке соединения параметр для Database provider-а поменять и все пройдет?

Вот мое мыло: plastun@ledzeppelin.ru. Такая связь ИМХО быстрее.

[Пластун]

Атаман, а где тред "Кто какие треды сохранял..." ? Не могу его найти.

Всем!
Мне все еще нужны сохраненные страницы. Народ, ну загляните в свою историю, там скачанных страниц ужас сколько должно остаться. Даже если вы ничего не сохраняли.

[Пластун]

О, нашел. Надо же как все изменилось. И в лучшую сторону! Вот что значит свой админ

Правда то, что я искал, лежит не в том, а в этом треде, оказывается.

[kondor]

автор оригинала Пластун
Парсер сохраняет все в SQL Server 2000 через ADO.

А в MS Access можно?

АТАМАН, я просто не в курсе. Наверное в MySQL тоже можно через ADO работать. Может там в строке соединения параметр для Database provider-а поменять и все пройдет?

Я сам поменять строку подключения смогу? С АDO я то справлюсь, а вот до нее я добраться смогу?

Скачал и понял - не смогу. Ну и скрипт создания таблиц придется сильно покорежить, чтобы его Access понял (хотя может ХР и поймет???).

[Пластун]

Надежда есть!

(Копия в треде Кто какие треды сохранял...)

Значит так. Все дружно лезут в свои временные папки. Лучше всего сделать так: Заходим в Пуск - Найти - Файлы и папки. Ищем на диске С: файлы showthread без расширения. Конечно, он выдаст также и треды с этого форума, но их можно различить по дате создания.

Берете все эти файлы и копируете. Потом сжимаете каким-нибудь архиватором и присылаете мне. Разбираться, что у них внутри, не обязательно. Картинки не нужны.

Адреса: esambou@mail.ru, esambou@sci.pfu.edu.ru, plastun@ledzeppelin.ru

Посылать на все сразу не надо. Выберите какой-нибудь один

[Пластун]

Хочешь сам править строку соединения? Могу ее вытянуть, но вряд ли это поможет. Потому что я использую хранимые процедуры. А они у меня в SQL Servere.

Я вот сделал файлы csv. Они и в Access прекрасно экспортируются. И даже в Excel. Собственно это и выслано АТАМАНу. Может быть даже не мучиться с БД, а сразу писать csv прямо из парсера.

[ATAMAH]

Конечно, мне все равно придется переделывать. Но этим я займусь на следующей неделе.

[Varrah]

Это скорее идея для Натали и Миссис Аксман
Имхо, коль уж мы собрались уходить с имладриса, следует сменить ссылку на Хеннет-Аннун, так чтобы новые пользователи шли не на имладрис, а сюда (а когда сменим хостинг на большой и толстый, то туда), да и всем остальным будет удобнее - прочитал новости, нажал на ссылку внизу страницы и быленько все обсудил на форуме, вместо того, чтобы вспоминать адрес или перерывать фэйворитсы...

[Пластун]

Атаман! Я правильно понял, что ты раздобыл откуда-то и внедрил в форум старую страницу про MTV? Как тебе удалось?

Может ты мне дашь формат, в который я мог бы переводить базу, которая у меня получается. Чтобы тебе было проще.

[Пластун]

Я пропарсил следующие темы:

Стихи о фильме
Спросите персонажей
Крябу с Днем рождения!
Полезные ссылки
Фан-клуб Фродо Бэггинса
Offt: Фан-клуб Ромы
Во что вы верите
Война гнева
Вопросы по Толкиену.
ТАМПЛЬ - кто идет?
По ту сторону рассвета
Серьёзные стихи о книге
Просьба программистам - помогите Хеннет-Аннуну!
Оффтоповый битломанский тред™
Быт и нравы эльфов первой эпохи
Откуда есть пошел ваш ник?* (убедительная просьба прочесть первый пост)
Проект N - первые результаты
Проект номер N или Опять о переводе
Стихи: критикуйте на здоровье:-)
Черновые (неопубликованные) редакции ВК. Желаете больше узнать о любимой книге?

Это те названия, которые были у тредов на момент их сохранения. Оч. может быть (даже наверняка), что они сохранены не полностью. Напоминаю поэтому, что сбор сохраненных страниц продолжается.

Некоторые файлы не получилось распаковать обычным WinRAR-ом. Если есть возможность, присылайте SFX-архивы. В частности Mike Kondratuk.