![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
dolboedВ связи с известными событиями последних дней в ЖЖ многие озаботились бэкапом своих журналов, не дожидаясь их удаления в соответствии с новой редакцией Пользовательского соглашения. Два самых ходовых инструмента для этих целей на сегодняшний день — ljsm и DreamWidth.
Сервис DreamWidth позволяет полностью выкачать весь ЖЖ с комментариями на стороннюю площадку, до которой ни админам Рамблеренки, ни коллегам Шалтая не дотянуться. Там есть специальная страница с функцией импорта записей из ЖЖ. К сожалению, в связи со всё теми же событиями, нагрузка на этот сервис сейчас огромная, и заявки на импорт могут стоять в очереди по 20 часов кряду. Но лучше через 20 часов, чем никогда. Вот, например, бэкап этого журнала на DreamWidth.
LJSM — это такая утилита, которая позволяет выкачать весь ЖЖ, вместе с записями и комментариями, себе на жёсткий диск в виде файлов. Она работает и под Windows, и под MacOS. Потребуются незначительные танцы с бубном, но при чётком следовании пошаговой инструкции результат очень достойный. Архив воссоздаётся локально в виде дерева HTML-файлов, которые можно затем переложить на сторонний хостинг, раздавать архивом, или как-нибудь ещё использовать во благо ноосферы.
Благодаря повышенному интересу к этой утилите в последние дни, в ней был обнаружен существенный баг, из-за которого многие посты, созданные до 2007 года, скачивались некорректно. Так что людям, успевшим таким способом забэкапить свой ЖЖ до понедельника 10 апреля, предлагается повторить операцию с первой цифры. Вот пошаговая инструкция от Романа Иванова:
Что нужно сделать, чтобы повторно забэкапить ЖЖ локально с помощью LJSM?
1. скачать новую версию с https://github.com/ati/ljsm
2. восстановить ЖЖ, если он удален
3. запустить утилиту, согласно инструкции на https://github.com/ati/ljsm
NB: комментарии сохраняются локально целиком только если к посту было менее 50 комментариев. Иначе, к сожалению, они становятся в виде тредов, которые ljsm не умеет разворачивать.
Пожалуйста, поделитесь этой информацией с теми вашими друзьями, кто мог сохранять свой ЖЖ, это правда важно.
Лично от себя могу добавить, что я хорошо понимаю людей, удаляющих сейчас свои журналы с сервера ЖЖ (как сделал, например, [Bad username or site: samoleg title= @ livejournal.com]). Но я никому не советую так поступать. Буквы и изображения, хранящиеся по привычным адресам на сервере LiveJournal.com, ни в чём не виноваты. Пусть они лежат там дальше, даже если вы перестали обновлять свои записи. Незачем множить мировую энтропию и число битых ссылок в базе Гугляндекса. Это ваши тексты, вы их создавали, вы отвечаете за свои слова — так оставьте эти слова в доступности.
Впрочем, если Вы являетесь гражданином или жителем Российской Федерации, и имеете серьёзные основания полагать, что задним числом какие-то Ваши записи, или комментарии к ним, подпали под экстремистские и террористические статьи УК РФ или КоАП — тогда предосторожность весьма уместна. Никакому суду в России вы не докажете, что за текст, написанный в 2001 году, и нарушающий законы 2014 года, не должна наступать ответственность в году 2017-м. Существует довольно большое число примеров того, как людей в России привлекали к ответственности за деяния, совершённые до их криминализации. Например, дело на псковского рокера Романа Неумоева, упомянутое в недавней моей заметке, заведено за репост «экстремистского» материала, который на момент репоста ещё не фигурировал в Федеральном списке. По логике обвинения (а в 99,7% судебных разбирательств в РФ она становится логикой приговора), сохранение в Вашем журнале текста, признанного экстремистским в каком бы то ни было году — это длящееся преступление по текущим законам. Может быть, по уголовной статье Вас за него и не привлекут, но по той административной статье 20.29 КоАП РФ — запросто. А там арест до 15 суток для физлиц и штраф до миллиона для юрлиц, с приостановлением деятельности на срок до 90 дней.
Так что если Вы свой ЖЖ решили удалить не по зову сердца, а из опасений за юридические последствия его дальнейшего присутствия на сервере — эту предосторожность я вынужден признать разумной и обоснованной.
Свой легендарный пост «Стереть Сирию с лица Земли» я не удалял, и удалять не собираюсь, потому что ни одним судом на свете он не был признан экстремистским. Поочерёдно три судебных инстанции — Пресня, Мосгорсуд и ВС РФ — отказались ответить мне на вопрос, в каких конкретно моих словах им померещился экстремизм. В настоящий момент я истребую с них это объяснение через ЕСПЧ в городе Страсбурге.
Сервис DreamWidth позволяет полностью выкачать весь ЖЖ с комментариями на стороннюю площадку, до которой ни админам Рамблеренки, ни коллегам Шалтая не дотянуться. Там есть специальная страница с функцией импорта записей из ЖЖ. К сожалению, в связи со всё теми же событиями, нагрузка на этот сервис сейчас огромная, и заявки на импорт могут стоять в очереди по 20 часов кряду. Но лучше через 20 часов, чем никогда. Вот, например, бэкап этого журнала на DreamWidth.
LJSM — это такая утилита, которая позволяет выкачать весь ЖЖ, вместе с записями и комментариями, себе на жёсткий диск в виде файлов. Она работает и под Windows, и под MacOS. Потребуются незначительные танцы с бубном, но при чётком следовании пошаговой инструкции результат очень достойный. Архив воссоздаётся локально в виде дерева HTML-файлов, которые можно затем переложить на сторонний хостинг, раздавать архивом, или как-нибудь ещё использовать во благо ноосферы.
Благодаря повышенному интересу к этой утилите в последние дни, в ней был обнаружен существенный баг, из-за которого многие посты, созданные до 2007 года, скачивались некорректно. Так что людям, успевшим таким способом забэкапить свой ЖЖ до понедельника 10 апреля, предлагается повторить операцию с первой цифры. Вот пошаговая инструкция от Романа Иванова:
Что нужно сделать, чтобы повторно забэкапить ЖЖ локально с помощью LJSM?
1. скачать новую версию с https://github.com/ati/ljsm
2. восстановить ЖЖ, если он удален
3. запустить утилиту, согласно инструкции на https://github.com/ati/ljsm
NB: комментарии сохраняются локально целиком только если к посту было менее 50 комментариев. Иначе, к сожалению, они становятся в виде тредов, которые ljsm не умеет разворачивать.
Пожалуйста, поделитесь этой информацией с теми вашими друзьями, кто мог сохранять свой ЖЖ, это правда важно.
Лично от себя могу добавить, что я хорошо понимаю людей, удаляющих сейчас свои журналы с сервера ЖЖ (как сделал, например, [Bad username or site: samoleg title= @ livejournal.com]). Но я никому не советую так поступать. Буквы и изображения, хранящиеся по привычным адресам на сервере LiveJournal.com, ни в чём не виноваты. Пусть они лежат там дальше, даже если вы перестали обновлять свои записи. Незачем множить мировую энтропию и число битых ссылок в базе Гугляндекса. Это ваши тексты, вы их создавали, вы отвечаете за свои слова — так оставьте эти слова в доступности.
Впрочем, если Вы являетесь гражданином или жителем Российской Федерации, и имеете серьёзные основания полагать, что задним числом какие-то Ваши записи, или комментарии к ним, подпали под экстремистские и террористические статьи УК РФ или КоАП — тогда предосторожность весьма уместна. Никакому суду в России вы не докажете, что за текст, написанный в 2001 году, и нарушающий законы 2014 года, не должна наступать ответственность в году 2017-м. Существует довольно большое число примеров того, как людей в России привлекали к ответственности за деяния, совершённые до их криминализации. Например, дело на псковского рокера Романа Неумоева, упомянутое в недавней моей заметке, заведено за репост «экстремистского» материала, который на момент репоста ещё не фигурировал в Федеральном списке. По логике обвинения (а в 99,7% судебных разбирательств в РФ она становится логикой приговора), сохранение в Вашем журнале текста, признанного экстремистским в каком бы то ни было году — это длящееся преступление по текущим законам. Может быть, по уголовной статье Вас за него и не привлекут, но по той административной статье 20.29 КоАП РФ — запросто. А там арест до 15 суток для физлиц и штраф до миллиона для юрлиц, с приостановлением деятельности на срок до 90 дней.
Так что если Вы свой ЖЖ решили удалить не по зову сердца, а из опасений за юридические последствия его дальнейшего присутствия на сервере — эту предосторожность я вынужден признать разумной и обоснованной.
Свой легендарный пост «Стереть Сирию с лица Земли» я не удалял, и удалять не собираюсь, потому что ни одним судом на свете он не был признан экстремистским. Поочерёдно три судебных инстанции — Пресня, Мосгорсуд и ВС РФ — отказались ответить мне на вопрос, в каких конкретно моих словах им померещился экстремизм. В настоящий момент я истребую с них это объяснение через ЕСПЧ в городе Страсбурге.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2017-04-11 03:39 pm (UTC)no subject
Date: 2017-04-11 03:55 pm (UTC)В новом сглашении есть пункт "9.2. Пользователю запрещено:
9.2.6. использовать без специального разрешения Администрации автоматические скрипты (боты, краулеры и т. п.) для сбора информации Сервиса и/или взаимодействия с Сервисом; ", который означает, что ljsm, импорт на дрим, различные программы клиенты и тому подобное могут запретить в любую минуту. Так что не надо затягивать.
no subject
Date: 2017-04-11 03:59 pm (UTC)no subject
Date: 2017-04-11 04:20 pm (UTC)no subject
Date: 2017-04-11 05:14 pm (UTC)no subject
Date: 2017-04-11 05:23 pm (UTC)Наверное, прикроют скоро.
no subject
Date: 2017-04-11 11:20 pm (UTC)no subject
Date: 2017-04-11 05:01 pm (UTC)Доступ к блокчейн "голос" также не может быть перекрыт полностью одной лишь блокировкой golos.io. С данным блокчейн работает уже несколько различных клиентов от разных разработчиков. Например, если заблокируют доступ через веб клиент golos.io, то данную блог-платформу можно открыть через приложение Esteem на смартфоне.
И еще - блокчейн не может быть "перегружен". Блокчейн "голос" уже сейчас базируется на сотнях независимых серверов по всему миру.
no subject
Date: 2017-04-11 07:55 pm (UTC)Цетаты отседа: https://golos.io/ru--golos/@primus/astrologi-obyavili-o-novom-polzovatelskom-soglashenii-v-zhzh-kolichestvo-polzovatelei-golosa-dolzhno-udvoitsya
- Я как раз предлагаю сделать акцент не на выплатах, а на том, что есть масса ЖЖ-авторов, недовольных новым пользовательским соглашением. Если абстрагироваться от системы выплат за контент, у Голоса есть и другие преимущества. Сейчас как раз удобный момент использовать эти преимущества, абстрагируясь от выплат.
- Многие интересные блогеры свалили с Голоса только из-за того, что весь их доход зависит от лайков. Да и сравнивать Голос с ЖЖ, несколько неуместно. Там свободно можно открывать политический или любой иной блог и писать в свое удовольствие, параллельно продавая ссылки. Тут, шаг в право, шаг влево = расстрел.
итп итд.
в общем, ваш голос - сомнительная контора ботоводов. :)
no subject
Date: 2017-04-12 08:18 am (UTC)Данные голоса за сутки принесли мне 1600 руб (и это не считая прибыли с рекламы).
Можно постить голых женщин, политику и материться, но метить все это специальным ТЕГом. Я читал там несколько постов про Навального, например. Никто не голосовал против.
Даже если кто-то и проголосует против, но пост объективно интересен, то голоса "за" перевесят и пост принесет автору доход.
no subject
Date: 2017-04-11 05:05 pm (UTC)no subject
Date: 2017-04-11 05:12 pm (UTC)no subject
Date: 2017-04-12 02:16 pm (UTC)no subject
Date: 2017-04-12 05:28 pm (UTC)no subject
Date: 2017-04-11 05:17 pm (UTC)а картинки остаются ссылками из ЖЖшного поста
так что их наличие определяется сохранностью сервиса, на котором они хостились
и если этот сервис - ЖЖ, то они могут и не сохраниться
и, как обычно, описанное не работает так, как описано :)
забавно, как всегда
разработчики ljsm на чём запускали своё детище?
нету в Wынь7 пункта меню "Открыть окно команд"
no subject
Date: 2017-04-11 07:57 pm (UTC)no subject
Date: 2017-04-11 07:59 pm (UTC)но расхождение с инструкцией доставляет
no subject
Date: 2017-04-11 05:18 pm (UTC)Я поговорю с автором на предмет скрестить этот парсер с ljsm.
no subject
Date: 2017-04-12 02:16 pm (UTC)no subject
Date: 2017-04-11 05:52 pm (UTC)https://github.com/dreamwidth/dw-free/blob/develop/src/jbackup/jbackup.pl
no subject
Date: 2017-04-11 06:12 pm (UTC)no subject
Date: 2017-04-11 06:22 pm (UTC)no subject
Date: 2017-04-11 08:33 pm (UTC)Превратил всё в EPUB, а затем и в PDF.
Всё это можно проделать и с произвольным ЖЖ.
Если кому интересно - подробности в моём ЖЖ, а все Perl-скрипты - на github.com/adamenkov/lj2ebook
no subject
Date: 2017-04-11 09:40 pm (UTC)Ещё распечатай в цвете на плотной глянцевой А3
no subject
Date: 2017-04-12 04:41 am (UTC)no subject
Date: 2017-04-12 09:10 am (UTC)no subject
Date: 2017-04-12 02:12 pm (UTC)get_page_list.pl - получить список всех постов
get_posts.pl - скачать все посты из этого списка
get_image_list.pl - получить список всех картинок (на основе скачанных постов)
get_images.pl - скачать картинки
no subject
Date: 2017-04-12 03:26 pm (UTC)no subject
Date: 2017-04-12 03:41 pm (UTC)no subject
Date: 2017-04-12 03:56 pm (UTC)no subject
Date: 2017-04-12 04:07 pm (UTC)Лучше обратиться к другу-программисту.
no subject
Date: 2017-04-12 04:19 pm (UTC)no subject
Date: 2017-04-12 04:24 pm (UTC)У вас просто набор тяжёлых файлов веб страниц, может быть даже с выкачанными картинками (если повезёт) или даже комментариями (если очень повезёт, но это вряд ли).
Ни распечатать по-человечески, ни тем более сделать книгу для потомков.
no subject
Date: 2017-04-12 05:08 pm (UTC)no subject
Date: 2017-04-12 05:13 pm (UTC)И программа спрашивала у вас username и пароль, так?
Сразу скажу - я-то могу выкачать вообще любой журнал, с картинками, с видео, с комментариями - без всяких паролей и ненужных элементов типа внешнего вида конкретного ЖЖ.
no subject
Date: 2017-04-12 05:21 pm (UTC)no subject
Date: 2017-04-21 11:07 am (UTC)"обладая базовыми знаниями Perl " - Я полный профан в программировании, т.е. на нуле. Начал читать веб-учебник, сплошь незнакомые слова. Как быть? С чего начать? Мотивация велика, так что трудиться я готов, но все-таки - каков кратчайший путь?
И еще, вдруг вы знаете. Когда-то мне давали средство поиска комментов юзера Х в жж всех, кого он комментировал за такой-то период. Потерял. Не знаете, как это делается?
no subject
Date: 2017-04-21 02:28 pm (UTC)Для начала нужен букварь по Perl и, главное, возможность экспериментировать с Perl.
Средство поиска комментов - нет знаю.
no subject
Date: 2017-04-21 02:54 pm (UTC)no subject
Date: 2017-04-21 03:02 pm (UTC)Если вы хотите понять, как работают мои скрипты, вам потребуются базовые знания Perl, LWP, GitHub, EPUB, calibre. Всего лишь базовые, но без них никак.
Для начала вам нужно полностью понять, как работает вот этот скрипт (Go through all months in 2004-2015 and extract the LiveJournal post titles and HTTP addresses, put the result in the file page_list.txt. It should be run only once.):
https://github.com/adamenkov/lj2ebook/blob/master/lj_raw/get_page_list.pl
no subject
Date: 2017-04-21 03:22 pm (UTC)Возможно, придется еще что-нибудь спросить, но злоупотреблять не буду.
no subject
Date: 2017-04-11 08:33 pm (UTC)no subject
Date: 2017-04-11 08:53 pm (UTC)no subject
Date: 2017-04-12 02:18 pm (UTC)Валить я буду только на standalone, и в идеале хотел бы, чтобы он соответствовал движку ЖЖ по функционалу.
no subject
Date: 2017-04-14 07:51 pm (UTC)no subject
Date: 2017-04-11 10:37 pm (UTC)no subject
Date: 2017-04-12 05:10 am (UTC)no subject
Date: 2017-04-12 11:05 am (UTC)Запустил вчера для крупного сообщества с 2003 по 2017 год. Докачал до 2011 года, и тут из-за атмосферных колебаний у меня порвался вайфай. 5 попыток с паузой 3 сек, в итоге jlsm остановилась, индексный файл, который мне собственно и был нужен, не был создан. Ок, запустил повторно, и она получает getting posts links for ... [ 2017/04 - 2017/04 ] -- то есть только за апрель. Докачивать на стала. В такой ситуации я могу только удалить и запустить процесс с нуля, который также будет иметь мало шансов на завершение.
Поэтому имею вопросы, возможно
1. Есть ли ключик, чтобы игнорировать сетевые ошибки, и делать не пять попыток, а столько, сколько нужно? Интернет не кабельный, может быть нестабилен.
2. Есть ли ключик, позволяющий задать докачку уже созданных архивов? (кстати файл ljsm.log пуст, там нет инфы на каком месте остановилось и проч)
3. Может надо качать частями? Есть ли ключик, чтобы качать диапазон дат и создавать для каждого по отдельному индексному файлу, а не один общий?
4. Есть ли ключик, чтобы создать только индексный файл? Без постов.
Иначе, на данный момент, утилита неработоспособна. Спасибо!
no subject
Date: 2017-04-12 04:49 pm (UTC)