dolboed: (0kozel_animated)
[personal profile] dolboed
В связи с известными событиями последних дней в ЖЖ многие озаботились бэкапом своих журналов, не дожидаясь их удаления в соответствии с новой редакцией Пользовательского соглашения. Два самых ходовых инструмента для этих целей на сегодняшний день — ljsm и DreamWidth.

Сервис DreamWidth позволяет полностью выкачать весь ЖЖ с комментариями на стороннюю площадку, до которой ни админам Рамблеренки, ни коллегам Шалтая не дотянуться. Там есть специальная страница с функцией импорта записей из ЖЖ. К сожалению, в связи со всё теми же событиями, нагрузка на этот сервис сейчас огромная, и заявки на импорт могут стоять в очереди по 20 часов кряду. Но лучше через 20 часов, чем никогда. Вот, например, бэкап этого журнала на DreamWidth.

LJSM — это такая утилита, которая позволяет выкачать весь ЖЖ, вместе с записями и комментариями, себе на жёсткий диск в виде файлов. Она работает и под Windows, и под MacOS. Потребуются незначительные танцы с бубном, но при чётком следовании пошаговой инструкции результат очень достойный. Архив воссоздаётся локально в виде дерева HTML-файлов, которые можно затем переложить на сторонний хостинг, раздавать архивом, или как-нибудь ещё использовать во благо ноосферы.

Благодаря повышенному интересу к этой утилите в последние дни, в ней был обнаружен существенный баг, из-за которого многие посты, созданные до 2007 года, скачивались некорректно. Так что людям, успевшим таким способом забэкапить свой ЖЖ до понедельника 10 апреля, предлагается повторить операцию с первой цифры. Вот пошаговая инструкция от Романа Иванова:

Что нужно сделать, чтобы повторно забэкапить ЖЖ локально с помощью LJSM?

1. скачать новую версию с https://github.com/ati/ljsm
2. восстановить ЖЖ, если он удален

3. запустить утилиту, согласно инструкции на https://github.com/ati/ljsm
NB: комментарии сохраняются локально целиком только если к посту было менее 50 комментариев. Иначе, к сожалению, они становятся в виде тредов, которые ljsm не умеет разворачивать.

Пожалуйста, поделитесь этой информацией с теми вашими друзьями, кто мог сохранять свой ЖЖ, это правда важно.


Лично от себя могу добавить, что я хорошо понимаю людей, удаляющих сейчас свои журналы с сервера ЖЖ (как сделал, например, [Bad username or site: samoleg title= @ livejournal.com]). Но я никому не советую так поступать. Буквы и изображения, хранящиеся по привычным адресам на сервере LiveJournal.com, ни в чём не виноваты. Пусть они лежат там дальше, даже если вы перестали обновлять свои записи. Незачем множить мировую энтропию и число битых ссылок в базе Гугляндекса. Это ваши тексты, вы их создавали, вы отвечаете за свои слова — так оставьте эти слова в доступности.

Впрочем, если Вы являетесь гражданином или жителем Российской Федерации, и имеете серьёзные основания полагать, что задним числом какие-то Ваши записи, или комментарии к ним, подпали под экстремистские и террористические статьи УК РФ или КоАП — тогда предосторожность весьма уместна. Никакому суду в России вы не докажете, что за текст, написанный в 2001 году, и нарушающий законы 2014 года, не должна наступать ответственность в году 2017-м. Существует довольно большое число примеров того, как людей в России привлекали к ответственности за деяния, совершённые до их криминализации. Например, дело на псковского рокера Романа Неумоева, упомянутое в недавней моей заметке, заведено за репост «экстремистского» материала, который на момент репоста ещё не фигурировал в Федеральном списке. По логике обвинения (а в 99,7% судебных разбирательств в РФ она становится логикой приговора), сохранение в Вашем журнале текста, признанного экстремистским в каком бы то ни было году — это длящееся преступление по текущим законам. Может быть, по уголовной статье Вас за него и не привлекут, но по той административной статье 20.29 КоАП РФ — запросто. А там арест до 15 суток для физлиц и штраф до миллиона для юрлиц, с приостановлением деятельности на срок до 90 дней.

Так что если Вы свой ЖЖ решили удалить не по зову сердца, а из опасений за юридические последствия его дальнейшего присутствия на сервере — эту предосторожность я вынужден признать разумной и обоснованной.

Свой легендарный пост «Стереть Сирию с лица Земли» я не удалял, и удалять не собираюсь, потому что ни одним судом на свете он не был признан экстремистским. Поочерёдно три судебных инстанции — Пресня, Мосгорсуд и ВС РФ — отказались ответить мне на вопрос, в каких конкретно моих словах им померещился экстремизм. В настоящий момент я истребую с них это объяснение через ЕСПЧ в городе Страсбурге.

Date: 2017-04-11 03:39 pm (UTC)
From: [identity profile] jmyshanya.livejournal.com
странно, что в новом соглашении не запретили копировать свои дневники и, вообще, публиковать что-то из них на посторонних ресурсах...

Date: 2017-04-11 03:55 pm (UTC)
20_00: (Default)
From: [personal profile] 20_00
Таки запретили.

В новом сглашении есть пункт "9.2. Пользователю запрещено:
9.2.6. использовать без специального разрешения Администрации автоматические скрипты (боты, краулеры и т. п.) для сбора информации Сервиса и/или взаимодействия с Сервисом; ", который означает, что ljsm, импорт на дрим, различные программы клиенты и тому подобное могут запретить в любую минуту. Так что не надо затягивать.

Date: 2017-04-11 03:59 pm (UTC)
20_00: (Default)
From: [personal profile] 20_00
Удаление бложика с комментами в других журналах действительно целесообразно, и российским пользователям затягивать с этим не нужно. Хотя товарищ майор может запросить бекапы напрямую в супе, вы уже не контролируете загруженный контент. Но хотя бы его не будет в паблике, что затруднит работу разнообразным программам по поиску крамолы.

Date: 2017-04-11 04:20 pm (UTC)
From: [identity profile] edwardahirsch.livejournal.com
Не принявшие нового ToS ЖЖ не могут скопироваться на dreamwidth (выдаёт соответствующую ошибку). Это слегка удивительно и могло бы быть изменено внутри dreamwidth, но сейчас уж как есть.

Date: 2017-04-11 05:14 pm (UTC)
From: [identity profile] lx-photos.livejournal.com
там это изменено быть не может, так как доступ к записям даёт ЖЖ по ник-пароль

Date: 2017-04-11 05:23 pm (UTC)
From: [identity profile] edwardahirsch.livejournal.com
Да, но можно заходить в ЖЖ, не принимая новый ToS. Даже комментировать, как видите.

Наверное, прикроют скоро.

Date: 2017-04-11 11:20 pm (UTC)
From: [identity profile] agentcooper.livejournal.com
если вдруг поможет - экстеншен для Хрома, скрывающий TOS попап https://chrome.google.com/webstore/detail/livejournal-tos-popup-rem/onhfpcnpbngcpihngedgmfpjejnhnlil

Date: 2017-04-11 05:01 pm (UTC)
From: [identity profile] glagolas.livejournal.com
А я постепенно копирую свой избранный контент на golos.io. Это блог-клиент на блокчейне, из которого информация технически не может быть удалена, а любой отдельный блог не может быть заблокирован. Скоро весь интернет будет таким. ФСБ нервно курит в сторонке.

Доступ к блокчейн "голос" также не может быть перекрыт полностью одной лишь блокировкой golos.io. С данным блокчейн работает уже несколько различных клиентов от разных разработчиков. Например, если заблокируют доступ через веб клиент golos.io, то данную блог-платформу можно открыть через приложение Esteem на смартфоне.

И еще - блокчейн не может быть "перегружен". Блокчейн "голос" уже сейчас базируется на сотнях независимых серверов по всему миру.
Edited Date: 2017-04-11 05:15 pm (UTC)

Date: 2017-04-11 07:55 pm (UTC)
From: [identity profile] ico.livejournal.com
это тот самый голос-ио, в котором обитатели потирают свои потные ручки в надежде привлечь еще народа для своей монетизации? :)

Цетаты отседа: https://golos.io/ru--golos/@primus/astrologi-obyavili-o-novom-polzovatelskom-soglashenii-v-zhzh-kolichestvo-polzovatelei-golosa-dolzhno-udvoitsya

- Я как раз предлагаю сделать акцент не на выплатах, а на том, что есть масса ЖЖ-авторов, недовольных новым пользовательским соглашением. Если абстрагироваться от системы выплат за контент, у Голоса есть и другие преимущества. Сейчас как раз удобный момент использовать эти преимущества, абстрагируясь от выплат.

- Многие интересные блогеры свалили с Голоса только из-за того, что весь их доход зависит от лайков. Да и сравнивать Голос с ЖЖ, несколько неуместно. Там свободно можно открывать политический или любой иной блог и писать в свое удовольствие, параллельно продавая ссылки. Тут, шаг в право, шаг влево = расстрел.

итп итд.

в общем, ваш голос - сомнительная контора ботоводов. :)

Date: 2017-04-12 08:18 am (UTC)
From: [identity profile] glagolas.livejournal.com
Никаких ограничений там нет. Вот, например, мой рекламный пост, который собрал 120 голосов "за" и ни дного голоса "против": https://golos.io/ru--mediczina/@stepanov/kakie-bolezni-pakhnut-izo-rta

Данные голоса за сутки принесли мне 1600 руб (и это не считая прибыли с рекламы).

Можно постить голых женщин, политику и материться, но метить все это специальным ТЕГом. Я читал там несколько постов про Навального, например. Никто не голосовал против.

Даже если кто-то и проголосует против, но пост объективно интересен, то голоса "за" перевесят и пост принесет автору доход.

Date: 2017-04-11 05:05 pm (UTC)
From: [identity profile] ografomanka.livejournal.com
А где вы теперь постить будете? В телеграме?

Date: 2017-04-11 05:12 pm (UTC)
From: [identity profile] glagolas.livejournal.com
Телеграм - это не блог-платформа. Для этого есть Телеграф.

Date: 2017-04-12 02:16 pm (UTC)
From: [identity profile] dolboeb.livejournal.com
Каналы Телеграма — вполне себе блог-платформа.

Date: 2017-04-12 05:28 pm (UTC)
From: [identity profile] glagolas.livejournal.com
Но тогда блог-платформой можно назвать любой мессенджер с чатами, в которых можно настроить, чтобы только один человек мог создавать сообщения. На своем канале в Телеграм я лишь даю ссылки на свои посты из ЖЖ или Телеграф, так как полноценный пост там создать невозможно. Как каналы, так и Телеграф обладают недостатком - отсуствие обратной связи с аудиторией. Для меня это существенный минус.

Date: 2017-04-11 05:17 pm (UTC)
From: [identity profile] lx-photos.livejournal.com
стоит заметить, что DW выкачивает только тексты
а картинки остаются ссылками из ЖЖшного поста
так что их наличие определяется сохранностью сервиса, на котором они хостились
и если этот сервис - ЖЖ, то они могут и не сохраниться

и, как обычно, описанное не работает так, как описано :)
забавно, как всегда
разработчики ljsm на чём запускали своё детище?
нету в Wынь7 пункта меню "Открыть окно команд"
Edited Date: 2017-04-11 05:23 pm (UTC)

Date: 2017-04-11 07:57 pm (UTC)
From: [identity profile] ico.livejournal.com
найти программу "cmd" и запустить :)

Date: 2017-04-11 07:59 pm (UTC)
From: [identity profile] lx-photos.livejournal.com
я запустил
но расхождение с инструкцией доставляет

Date: 2017-04-11 05:18 pm (UTC)
From: [identity profile] henic.livejournal.com
Касательно ljsm, мы делали поисковик для израильских журналов, в нем был реализован парсер тредов и вообще всех форматов комментариев, существующих на момент полгода назад.
Я поговорю с автором на предмет скрестить этот парсер с ljsm.

Date: 2017-04-12 02:16 pm (UTC)
From: [identity profile] dolboeb.livejournal.com
Спасибо!

Date: 2017-04-11 05:52 pm (UTC)
From: [identity profile] mrdamian.livejournal.com
Собственно вот здесь лежит сама утилита
https://github.com/dreamwidth/dw-free/blob/develop/src/jbackup/jbackup.pl

Date: 2017-04-11 06:12 pm (UTC)
From: [identity profile] michaelm1234.livejournal.com
Еще есть ljmigrate https://github.com/ceejbot/ljmigrate скрипт на пайтоне который сохраняет текст в правильной кодировке и с текстом под "катом". Проверил, работает.

Date: 2017-04-11 06:22 pm (UTC)
From: [identity profile] katin-andrey.livejournal.com
Курс эмиграции из РФ дополнился курсом эмиграции из ЖЖ.

Date: 2017-04-11 08:33 pm (UTC)
From: [identity profile] android7hell.livejournal.com
А я ещё полтора года назад самостоятельно выкачал весь alexandrov-g.livejournal.com со всеми картинками, видео, и комментариями (никакая LJSM - вообще никто - этого не позволит).

Превратил всё в EPUB, а затем и в PDF.

Всё это можно проделать и с произвольным ЖЖ.

Если кому интересно - подробности в моём ЖЖ, а все Perl-скрипты - на github.com/adamenkov/lj2ebook
Edited Date: 2017-04-11 08:50 pm (UTC)

Date: 2017-04-11 09:40 pm (UTC)
From: [identity profile] ngs-govno.livejournal.com
> Превратил всё в EPUB, а затем и в PDF

Ещё распечатай в цвете на плотной глянцевой А3

Date: 2017-04-12 04:41 am (UTC)
From: [identity profile] android7hell.livejournal.com
Дорого - 1200 страниц уже в версии без авторских комментариев. С комментариями - заборет "Войну и мир".
Edited Date: 2017-04-12 04:43 am (UTC)

Date: 2017-04-12 09:10 am (UTC)
From: [identity profile] gignomai.livejournal.com
А где у вас там инструкция для скачивания? С инструкцией Носика у меня ничего не получилось.

Date: 2017-04-12 02:12 pm (UTC)
From: [identity profile] android7hell.livejournal.com
К сожалению моё решение не коробочное, но обладая базовыми знаниями Perl его можно использовать.

get_page_list.pl - получить список всех постов
get_posts.pl - скачать все посты из этого списка
get_image_list.pl - получить список всех картинок (на основе скачанных постов)
get_images.pl - скачать картинки

Date: 2017-04-12 03:26 pm (UTC)
From: [identity profile] gignomai.livejournal.com
Увы, базовыми знаниями не обладаю...

Date: 2017-04-12 03:41 pm (UTC)
From: [identity profile] android7hell.livejournal.com
Я тоже не обладал сначала. Но потом выяснилось, что нормальных сохраняльщиков ЖЖ в мире просто не существует - от слова "вообще" (по крайней мере, в открытом доступе). Вот и пришлось освоить немного Perl написать всё самому.

Date: 2017-04-12 03:56 pm (UTC)
From: [identity profile] gignomai.livejournal.com
Не программист в состоянии освоить?

Date: 2017-04-12 04:07 pm (UTC)
From: [identity profile] android7hell.livejournal.com
Вряд ли - нужен кто-то, кто может установить Perl (если не установлен) и запускать Perl-скрипты.

Лучше обратиться к другу-программисту.

Date: 2017-04-12 04:19 pm (UTC)
From: [identity profile] gignomai.livejournal.com
А я сделал это с помощью ljarchive без труда!

Date: 2017-04-12 04:24 pm (UTC)
From: [identity profile] android7hell.livejournal.com
И что вы дальше сможете с этим сделать?

У вас просто набор тяжёлых файлов веб страниц, может быть даже с выкачанными картинками (если повезёт) или даже комментариями (если очень повезёт, но это вряд ли).

Ни распечатать по-человечески, ни тем более сделать книгу для потомков.

Date: 2017-04-12 05:08 pm (UTC)
From: [identity profile] gignomai.livejournal.com
С комментариями - это для меня важно. И, проверил, с картинками. И есть опция Print, можно 1 стр., можно Все. Распечатал 1.

Date: 2017-04-12 05:13 pm (UTC)
From: [identity profile] android7hell.livejournal.com
А, вы наверно говорите только про ваш собственный журнал, да?

И программа спрашивала у вас username и пароль, так?

Сразу скажу - я-то могу выкачать вообще любой журнал, с картинками, с видео, с комментариями - без всяких паролей и ненужных элементов типа внешнего вида конкретного ЖЖ.

Date: 2017-04-12 05:21 pm (UTC)
From: [identity profile] gignomai.livejournal.com
А, понятно... Ну, мне важно было именно свой - я в нем несколько лет обсуждаю важное для меня.

Date: 2017-04-21 11:07 am (UTC)
From: [identity profile] gignomai.livejournal.com
Вернулся к вам, чтобы доспросить: мне понадобилось скачать не только свой жж, но и журнал недавно умершего друга.
"обладая базовыми знаниями Perl " - Я полный профан в программировании, т.е. на нуле. Начал читать веб-учебник, сплошь незнакомые слова. Как быть? С чего начать? Мотивация велика, так что трудиться я готов, но все-таки - каков кратчайший путь?

И еще, вдруг вы знаете. Когда-то мне давали средство поиска комментов юзера Х в жж всех, кого он комментировал за такой-то период. Потерял. Не знаете, как это делается?

Date: 2017-04-21 02:28 pm (UTC)
From: [identity profile] android7hell.livejournal.com
Кратчайший путь - это знакомый программист, готовый объяснить, как работают мои скрипты, и как их запускать.

Для начала нужен букварь по Perl и, главное, возможность экспериментировать с Perl.

Средство поиска комментов - нет знаю.

Date: 2017-04-21 02:54 pm (UTC)
From: [identity profile] gignomai.livejournal.com
Спасибо. А что такое возможность экспериментировать с Perl? Что для этого конкретно нужно - кроме букваря, который я разыщу в Сети?

Date: 2017-04-21 03:02 pm (UTC)
From: [identity profile] android7hell.livejournal.com
Возможность проверить то, о чём пишут в букварях. Например, пишут print("Привет"); напечатает "Привет". Вы вводите это у себя на компьютере и действительно получаете на выходе "Привет" - не обманули!

Если вы хотите понять, как работают мои скрипты, вам потребуются базовые знания Perl, LWP, GitHub, EPUB, calibre. Всего лишь базовые, но без них никак.

Для начала вам нужно полностью понять, как работает вот этот скрипт (Go through all months in 2004-2015 and extract the LiveJournal post titles and HTTP addresses, put the result in the file page_list.txt. It should be run only once.):

https://github.com/adamenkov/lj2ebook/blob/master/lj_raw/get_page_list.pl

Date: 2017-04-21 03:22 pm (UTC)
From: [identity profile] gignomai.livejournal.com
Спасибо! В субботу приступаю.
Возможно, придется еще что-нибудь спросить, но злоупотреблять не буду.

Date: 2017-04-11 08:33 pm (UTC)
From: [identity profile] ico.livejournal.com
Интересная имитация wget :)

Date: 2017-04-11 08:53 pm (UTC)
From: [identity profile] areal.livejournal.com
Антон, ты для себя принял решение валить на DreamWidth или оставаться в режиме кроспостинга?

Date: 2017-04-12 02:18 pm (UTC)
From: [identity profile] dolboeb.livejournal.com
Конечно, я не собираюсь валить на DreamWidth, это очень старая и ущербная версия ЖЖ.

Валить я буду только на standalone, и в идеале хотел бы, чтобы он соответствовал движку ЖЖ по функционалу.

Date: 2017-04-14 07:51 pm (UTC)
From: [identity profile] qord.livejournal.com
А чего конкретно не хватает в Dreamwidth из того, что есть в ЖЖ?

Date: 2017-04-11 10:37 pm (UTC)
From: [identity profile] restoran.livejournal.com
я пользуюсь древним ljarchive еще 2006 года, но на бэкапе старых журналов почему-то выдается ошибка, хотя вроде все бэкапится успешно.

Date: 2017-04-12 05:10 am (UTC)
From: [identity profile] ushkuinik13.livejournal.com
Жалко, загубят множество интересных постов из-за ерундовых и особо ненужных формальностей. Контролировать проще, чем создавать.

Date: 2017-04-12 11:05 am (UTC)
20_00: (Default)
From: [personal profile] 20_00
По LJSM.

Запустил вчера для крупного сообщества с 2003 по 2017 год. Докачал до 2011 года, и тут из-за атмосферных колебаний у меня порвался вайфай. 5 попыток с паузой 3 сек, в итоге jlsm остановилась, индексный файл, который мне собственно и был нужен, не был создан. Ок, запустил повторно, и она получает getting posts links for ... [ 2017/04 - 2017/04 ] -- то есть только за апрель. Докачивать на стала. В такой ситуации я могу только удалить и запустить процесс с нуля, который также будет иметь мало шансов на завершение.

Поэтому имею вопросы, возможно [livejournal.com profile] kukutz сможет на них ответить.
1. Есть ли ключик, чтобы игнорировать сетевые ошибки, и делать не пять попыток, а столько, сколько нужно? Интернет не кабельный, может быть нестабилен.
2. Есть ли ключик, позволяющий задать докачку уже созданных архивов? (кстати файл ljsm.log пуст, там нет инфы на каком месте остановилось и проч)
3. Может надо качать частями? Есть ли ключик, чтобы качать диапазон дат и создавать для каждого по отдельному индексному файлу, а не один общий?
4. Есть ли ключик, чтобы создать только индексный файл? Без постов.

Иначе, на данный момент, утилита неработоспособна. Спасибо!
Edited Date: 2017-04-12 11:07 am (UTC)

Date: 2017-04-12 04:49 pm (UTC)
From: [identity profile] nuladno.livejournal.com
Антон! а нет ли какого скриптика для перетаскивания картинок, хранящихся в ЖЖ-images, на соотв. места в дриме?

Profile

dolboed: (Default)
Anton Nossik

April 2017

S M T W T F S
       1
23 45678
9 10 11 12 13 14 15
16 17 18 19 202122
23 24 25 26 27 2829
30      

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Sep. 26th, 2017 09:04 am
Powered by Dreamwidth Studios