Как сделать собственное облачное хранилище
Персональное облако
Облачное хранилище позволяет не только хранить данные, но и обеспечивать совместную работу с ними в NAS.
Возможные решения
Существует несколько вариантов облачных сервисов: NextCloud, Seafile, Pydio и т.д…
Ниже рассмотрена часть из них.
OwnCloud
Реализован на PHP/Javascript.
NextCloud
Форк OwnCloud. Реализован на PHP/Javascript.
SparkleShare
Seafile
Реализован на C/Javascript.
Pydio
Реализован на PHP/Javascript.
ProjectSend
Реализован на PHP/Javascript.
SpiderOak
Закрытая проприетарная система.
С учётом того, что данное ПО платное и частично закрытое, его использование исключается.
Установка NextCloud
Изначально было желание использовать Seafile: серверная часть реализована на C, он эффективен и стабилен. Но выяснилось, что в бесплатной версии есть далеко не всё.
Потому, я попробовал Nextcloud и остался доволен. Он предоставляет больше возможностей и полностью бесплатен.
Посмотреть, как он работает в демо-режиме вы можете здесь.
Вот общие точки сопряжения между облачным хранилищем и системой:
Т.к. конфигурация NextCloud достаточно объёмна и состоит из нескольких файлов, я не буду приводить их здесь.
Всё, что нужно вы найдёте в репозитории на Github.
Там же доступна конфигурация для SeaFile.
Сначала установите и запустите NextCloud.
Для этого надо скопировать конфигурацию в каталог /tank0/docker/services/nextcloud и выполнить:
Кардинальных отличий или сильного улучшения производительности я не заметил.
Ниже я считаю, что вы используете версию 13+.
Далее, зайдите в NextCloud и выбрав в меню справа вверху «Приложения», выполните установку необходимых плагинов.
Замечу, что если вы установите версию 13+, но потом решите обновиться на версию 15, это и многое другое вы сможете сделать с помощью утилиты occ.
Настройка LDAP не тривиальна, потому я расскажу подробнее.
Нажимайте кнопку «Проверить конфигурацию DN» и, если индикатор проверки зелёный, кнопку «Далее».
Фильтр будет выглядеть так:
Нажимайте «Проверить базу настроек и пересчитать пользователей», и если всё корректно, должно быть выведено количество пользователей. Нажимайте «Далее».
На следующей странице будет настроен фильтр пользователей, по которому NextCloud их будет искать.
На этой странице надо ввести логин какого-либо пользователя и нажать «Проверить настройки».
Последний раз «Далее».
Итоговый фильтр здесь такой:
OnlyOffice
OnlyOffice — это прекрасный кроссплатформенный офисный пакет, который поддерживает работу с документами MS Office. Он бесплатный и открытый, также как и LibreOffice и также способен работать, как сервер.
Но при этом, поддержка оригинального формата у него реализована гораздо лучше, почти как в оригинальном офисе от MS, он более стабилен, имеет более продуманный интерфейс.
Кстати, есть и Desktop версия OnlyOffice, в том числе под Linux. В общем, намучавшись с тяжёлой и нестабильной Collabora (это LibreOffice), я выбрал OnlyOffice и пока вполне доволен.
Конфигурация OnlyOffice доступна на Github и ниже, под спойлером.
Поясню некоторые моменты:
Теперь надо поднять офис:
И, если всё работает, по адресу office.NAS.cloudns.cc будет следующая страница:
Затем, в настройках NextCloud требуется выбрать Пункт «Администрирование->ONLYOFFICE» и прописать в первых двух полях адрес сервера документов: https://office.NAS.cloudns.cc/ и ваш JWT token.
В третьем поле надо прописать адрес облака.
JWT токен возможно сгенерировать, например здесь.
Выводы
Облачное хранилище является центральным звеном для взаимодействия пользователей между собой и другими сервисами.
В этой роли NextCloud весьма удобен и обладает широким функционалом.
У него есть свои в процессе обновления между версиями, но в целом, это хранилище возможно рекомендовать.
Облако бесплатно. Как создать дома помойку файлов и пользоваться везде
Apple давно свернула подразделение и прекратила выпуск AirPort и Time Capsule. Довольно полезные девайсы еще распродаются в магазинах электроники, но с каждым годом они лишь устаревают.
В то же время появляются решения от других производителей, да и самому собрать средство для бекапов под силу каждому. Сейчас выберем подходящий вариант.
Самый доступный вариант
У большинства из вас уже есть роутер с USB-разъемом. Если он поддерживает подключение внешнего накопителя (иногда USB выделяют для перепрошивки или настройки принт-сервера), то половина системы уже готова.
Некоторые маршрутизаторы придется перепрошить для создания сетевого файлового хранилища. Подробно о таких манипуляциях мы уже рассказывали.
Останется лишь найти емкий внешний накопитель, флешку или даже обычный жесткий диск с «карманом» для подключения по USB.
Общая схема настройки следующая:
1. Форматируем внешний диск или флешку в APFS (Apple File System), Mac OS Extended (HFS+) для систем старее macOS High Sierra либо exFAT. С NTFS заморачиваться не советуем, получите нестабильную работу и низкую скорость передачи данных из macOS.
2. Берем роутер с поддержкой внешних накопителей и подключаем к нему отформатированный диск. Маршрутизатор может не поддерживать APFS или HFS+ разделы. Иногда это решается при помощи прошивки, а иногда придется использовать файловую систему exFAT.
3. Подключаем сетевой диск к macOS.
4. Перенастраиваем место сохранения резервных копий в настройках Mac или через терминальную утилиту.
Преимущества:
Недостатки:
Самый простой вариант
Чтобы не заморачиваться с настройками роутера, не настраивать всевозможные сервисы и службы, можно приобрести так называемый NAS (Network Attached Storage).
Домашнее сетевое хранилище имеет множество возможностей, одна из которых – быстрый и удобный бекап Time Machine.
Большинство современных NAS прямо из коробки поддерживают такую возможность, нужно лишь активировать соответствующую опцию.
Общая схема настройки выглядит следующим образом:
1. Настраиваем NAS для работы в домашней сети.
2. Подключаемся к хранилищу через приложение или веб-интерфейс.
3. Выделяем часть накопителя для хранения резервных копий Time Machine.
4. Форматируем раздел или весь накопитель в подходящую файловую систему.
5. Подключаем сетевой диск в macOS.
6. Перенастраиваем сохранение резервных копий в Time Machine на созданный сетевой диск.
Минимум телодвижений – максимум эффективности, нужно лишь заплатить.
Преимущества:
Недостатки:
Система обладает и другим недостатком вроде увеличенной нагрузки на сеть. Однако, в домашних условиях это не так критично, как в небольшом офисе. Кроме того, любой аналог в виде системы роутер+флешка будет обладать аналогичным недостатком.
Самый облачный вариант
Есть возможность и вовсе хранить бекапы в облаке. Так надежность системы возрастает многократно, ведь сервера Dropbox, Яндекс.Диск или Облака Mail.ru имеют больше степеней защиты данных, чем NAS.
Другое дело, что простого и изящного решения для переноса бекапов в сторонние облака нет, придется пользоваться так называемыми костылями.
Нам нужно сохранить бекап на накопитель или даже на отдельный раздел компьютера, а потом сгрузить его в облако.
При использовании внешнего диска его придется постоянно подключать к компьютеру для обновления бекапа, а при хранении копии на Mac, под неё потребуется дополнительное пространство.
Тут каждый выберет более удобный вариант самостоятельно. Есть большой HDD – оставляем копию на Mac, есть объемная флешка или внешний диск – подключаем их регулярно для создания копий.
Общий алгоритм настройки выглядит так:
1. Определяемся с местом хранения резервной копии и настраиваем Time Machine.
2. Выбираем подходящий облачный сервис и устанавливаем его клиент на Mac.
3. Настраиваем синхронизацию с облаком для раздела (папки) с хранящимися резервными копиями.
Теперь все созданные бекапы будут улетать в облако.
Для тех, кто переживает за сохранность данных в сторонних сервисах, предлагаем настроить свое облако и действовать по приведенному выше алгоритму.
Преимущества:
Недостатки:
Вот так можно сделать подходящий аналог Time Capsule и хранить резервные копии в доступном и удобном для использования месте.
Как сделать своё облачное хранилище файлов. И не платить за него
Месяц назад я рассказывал о препарировании старенького Mac mini 2007 года. Моя цель — сделать собственный сервер и отказаться от облачных хранилищ, вроде iCloud, Google Drive, Dropbox и прочих.
После пропайки нового разъема с резистором нагрузки Mac mini исправно работает. За последний месяц он ни разу не выключался, выполняя роль домашнего FTP-сервера с внешним доступом.
В этой статье я расскажу, как поднять аналогичное хранилище у себя дома. В качестве компьютера не обязательно останавливаться на Mac mini.
Подойдет любой старенький системник, уставший ноутбук или неттоп. Можно заморочиться и с одноплатным Raspberry, но там немного другая специфика настройки и, скорее тема отдельного материала.
Что ж, приступим к созданию собственного сервера.
Предварительная подготовка
Накатываем Linux
Так случилось, что мой Mac mini был с нерабочим DVD-Rom. После безуспешных попыток запустить систему и часов, потраченных на форматирование загрузочных флешек, мне удалось выяснить кое-что интересное.
Не все Mac mini и старые Mac поддерживают установку с флешки.
У меня как раз такой случай.
Установить DVD-Rom от старенького ноутбука HP не удалось — разъемы не совпадают. Искать донора или аналогичный привод не было желания.
Решение было следующим. Я достал 2,5» винт Mac mini, установил его в ноутбук на базе Windows. Загрузил дистрибутив Linux Debian (можно сделать это вот здесь), развернул образ на флешку и установил на HDD от Mac mini.
Потом HDD с уже накатанной Linux поставил обратно в Mac mini, включил и все заработало.
Linux неприхотлива к железу. Wi-Fi, Ethernet, графика — все заработало после первого запуска.
Все, теперь у Mac mini есть работающая операционка и можно приступать к дальнейшей настройке.
Покупаем «белый» IP
Без этого никак. Вам понадобится так называемый «белый» IP-адрес. То есть такой айпишник, который будет закреплен конкретно за вашим роутером.
Чтобы его получить, звоним провайдеру и просим активировать «белый статический IP-адрес». Обычно стоимость месяца такого IP не более 100 – 150 рублей.
Увы, бесплатно держать свой сервер не выйдет. Зато вы можете наращивать емкость собственного хранилища, но при этом не платить заоблачные цены за гигабайты в облаке.
Время активации зависит от провайдера. У меня был белый IP уже через 30 минут после звонка провайдеру.
Пробрасываем порты
Для того, чтобы вы могли получить доступ к вашему серверу из любой точки мира, необходимо выполнить так называемый проброс портов. Суть его вот в чем.
Вы находитесь далеко от дома, пользуетесь, например интернетом от оператора сотовой связи.
Указываете домашний IP-адрес. На него поступает запрос, а дальше он должен связаться с вашим домашним сервером, «постучав» на конкретный сетевой порт.
Данная настройка зависит конкретно от вашей модели роутера. Логичнее будет почитать про проброс портов конкретно на ваш роутер отдельно. У меня этот пункт настроек выглядит так:
Я просто активировал DMZ (доступ к общедоступным сервисами) и прописал IP-адрес Mac mini в локальной сети.
Его, к слову, можно посмотреть как в сетевых настройках Linux, либо в веб-интерфейсе роутера в разделе подключенных устройств.
Настраиваем сервер на базе Nextcloud
Поскольку я изначально поставил перед собой цель сделать полноценную замену популярным облачным сервисам, ограничиваться банальным FTP не буду.
Хочется получить нормальный мобильный клиент, автоматическую синхронизацию и красивую оболочку.
Лучший вариант для всего этого — решением от Nextcloud.
Nextcloud — это как раз-таки специально разработанный комплекс для создания серверов с регулируемыми уровнями доступа для разных клиентов в рамках корпоративной сети. Но он позиционируется и как удобный инструмент для создания домашнего сервера.
Что ж, приступим к установке Nextcloud на наш Mac mini.
Шаг 1. Запускаем терминал в Linux Debian на Mac mini. Можно вводить все команды как на самом будущем сервере, так и воспользовавшись SSH из Терминала вашего MacBook или другого рабочего компьютера.
Для подключения по SSH необходимо ввести следующую строчку:
Затем указать пароль администратора в системе Linux (на нашем сервер).
Вводим следующую команду:
Затем устанавливаем сервер MariaDB:
Дожидаемся загрузки и установки всех пакетов.
Теперь проверим статус установленного сервера:
sudo systemctl status mariadb
Видим статус active, значит все в порядке.
Чтобы выйти нажимаем Q. Продолжаем настройку.
Шаг 2. Проверяем версию MySQL, указав следующую команду:
Теперь настроим систему управления базами данных MySQL под работу сервера Nextcloud. Вводим:
На запрос пароля введите либо ваш пароль администратора, либо просто нажмите Enter.
Шаг 3. Теперь нам предстоит прописать серию команд для создания базы данных под Nextcloud. Вводим:
CREATE DATABASE nextcloud CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
Нажимаем Enter и получаем ответ: Query OK, 1 row affected (0.00 sec). Продолжаем ввод команд:
GRANT ALL ON nextcloud.* TO ‘nextclouduser’@’localhost’ IDENTIFIED BY ‘ПРИДУМАТЬ_ПАРОЛЬ’;
Готово. База данных MySQL создана.
Шаг 4. Время установить PHP. Вводим следующую команду.
su apt install software-properties-common жмем еnter
su add-apt-repository ppa:ondrej/php
Жмем еще раз Enter после выполнения последней команды. Дожидаемся окончания установки.
Ставим Apache. Вводим такую строчку:
su apt install apache2 php7.1 php7.1-gd php7.1-json php7.1-mysql php7.1-curl php7.1-mbstring php7.1-intl php7.1-mcrypt php7.1-imagick php7.1-xml php7.1-zip libapache2-mod-php7.1
Подтверждаем действие, нажав Y и Enter. Дожидаемся установки всех пакетов.
Настроим Firewall. Вводим:
Теперь приступаем к загрузке Nextcloud. Меняем директорию:
Жмем Enter. Ждем окончания загрузки. Вводим:
Раскрываем список файлов:
Перемещаем Nextcloud в «правильную» папку:
Все, Nexctloud перемещен в корневую директорию нашего HTTP-сервера. Вводим еще одну команду:
И редактируем файл конфига Apache:
su nan /etc/apache2/conf-available/nextcloud.conf
Содержимое данного фала должно быть следующим:
Alias /nextcloud «/var/www/nexctloud/»
Options +FollowSymlinks
AllowOverride All
SetEnv HOME /var/www/nexctloud
SetEnv HTTP_HOME /var/www/nextcloud
Если подобного текста нет — копируем и вставляем его в файл конфига и нажимаем CTRL + O для сохранения. Жмем Enter.
Остается включить несколько конфигурационных файлов. Ниже серия команд, которые следует вводить поочередно. Нажимаем Enter после каждой команды и дожидаемся выполнения.
su a2enconf rewrite
su systemctl reload apache2 (вводим пароль)
su a2enmod rewrite
su a2enmod headers
su a2enmod env
su a2enmod dir
su a2enmod mime
su systemctl reload apache2
Готово. Настройка Nextcloud окончена.
Краткая настройка Nexctloud
Открываем браузер и вводим адрес нашего белого IP, дописав /nextcloud. То есть во так:
80.23.23.223/nextcloud указываете ваш IP вместо предложенного
И видим окно, показанное на скриншоте выше.
Задаем пароль для пользователя Admin. Попадаем в веб-интерфейс нашего сервера.
Рассказать о всех тонкостях настройки серверного решения Nextcloud в одном материале невозможно. Главное, что следует сделать — скачать мобильный клиент для Android или iOS.
Авторизоваться в нем можно, указав ваш IP-адрес сервера и добавив /nextcloud. Вводите созданное имя пользователя и пароль.
А дальше останется выбрать папки, которые вы хотите автоматически синхронизировать с вашим облачным сервером, установить настройки синхронизации, создать учетные записи для всех членов семьи.
Nexctloud позволяет полностью отказаться от облачных решений вроде Dropbox и iCloud. И главное, вы знаете, что ваши файлы всегда доступны только вам и вашим близким.
Владимир Кузин
DIY-техноман. Уверен, что все можно сделать своими руками. Коллайдер не в счет.
Экономим до 60% на продуктах и алкоголе перед Новым годом
Москва приятная, предновогодняя
Sony выпустила второй трейлер фильма Uncharted по одноименной игре
Полиция США рассказала о двух случаях слежки за людьми с помощью AirTag
Компания Luxshare построит в Китае гигантский завод по производству iPhone, чтобы составить конкуренцию Foxconn
Что такое Yappy (Яппи)? Новая российская соцсеть, о которой рассказали Путину
Как найти любимые песни в Apple Music за весь 2021 год
Как на iPhone использовать менеджер паролей Google вместо Связки ключей iCloud
Как создать резервную копию iPhone в iCloud, если в облаке нет свободного места
🙈 Комментарии 72
Заголовок статьи не правда
Частное облако для видео и фотографий за полчаса «на коленке»
Многие пользуются функцией синхронизации с облаком от крупных компаний, таких как Apple или Google, кто-то предпочитает Yandex, mail.ru и тому подобное. Мне эти варианты не приглянулись, предпочитаю свои данные хранить самостоятельно. Потому, однажды, решил сделать себе простенькое «облако».
Задача: синхронизировать устройства и дать возможность получить отснятый материал через web-браузер, авторизировавшись по паролю. Пароль этот раздать родным и близким.
Зачем это все нужно? Дело в том, что развелось, без меры, всевозможных «уполномоченных» и лиц, считающих себя таковыми. Это может быть сотрудник полиции, не особенно желающий следовать не то, что духу, но и букве закона, всевозможные сотрудники ЧОПов «Рога и Копыта», которым знание законов, да и вообще мозг, заменяет указ начальства, безумные вахтеры с одноименным синдромом, казаки, разноплановые активисты — перечислять можно ну очень долго.
Вся эта почтенная публика очень не любит, когда их художества снимают на видео. Во время съемки можно услышать «здесь снимать запрещено», «я должностное лицо», «убери камеру, да я тебя!», а то и вовсе поучаствовать в игре «не дай разбить свой гаджет и не получи кулаком в лицо».
Замечал, что когда звучит фраза «ведется прямая трансляция», пыл вышеперечисленных персонажей несколько угасает, тянущиеся к раздражающему устройству ручки опадают, а «ты» резко меняется на «вы». Облагораживает, в общем, волшебная фраза.
Из материальных средств у меня был под рукой смартфон под управлением Android, домашний сервер под управлением Debian GNU/Linux, и пара ноутбуков. Было решено, что хранить все яйца в одной корзинке не стоит, потому приобрел еще одно устройство и разместил его там, где до него точно не дотянутся загребущие ручки разнообразных полномочных.
Подготовка
Домашний сервер был готов изначально, система там стоит на LUKS, поэтому никаких дополнительных действий, кроме установки Syncthing, не потребовалось.
На втором сервере система работает с карты памяти, потому подключаю LUN с хранилки и доустанавливаю пакеты для поддержки MPIO:
Отлично. Ставим ПО для работы с LUKS, зашифруем устройство, создадим файловую систему и смонтируем:
В /etc/crypttab запишем:
Пояснение: я создал отдельного пользователя, из-под которого на данном сервере будет работать syncthing.
Доустановил nginx и утилиты апача для работы с htpasswd:
Настройке nginx и получению сетрификатов с letsencrypt посвящено не мало статей, поэтому просто покажу конфиг /etc/nginx/sites-available/default:
Соответственно, файлы с паролями будут находиться в /etc/nginx/passwd. Создаем файлы, задаем учетки:
Чтобы nginx мог читать пользовательские файлы, добавим его в группу:
Создадим пользовательские каталоги, смонтируем и перечитаем конфиг nginx:
И добавим точки монтирования в /etc/fstab:
Установка Syncthing на компьютеры
Здесь все весьма тривиально. На серверах под управление Debian, я добавил репозитарии и установил приложение, воспользовавшись инструкцией с сайта.
На Void Linux, под которым работают ноутбуки, просто установил из репозитария:
Для автозапуска приложения, дописал в /etc/rc.local:
Мобильное приложение
Здесь тоже все просто. Тем или иным путем, нам нужно установить Syncthing на свой смартфон. Я это сделал через F-Droid:
Папки лучше расшарить через web-интерфейс, явно указав пути:
Связываем устройства
Действия предельно простые. Заходим браузером по адресу http://localhost:8384/
Для доступа к безголовым машинам, можно пробросить порт. Я это делаю средствами ssh:
В итоге, на время активности ssh-сессии, веб-интерфейс сервера будет доступен по ссылке http://localhost:38384/
Далее, меню «Действия» → «Показать ID», после чего сканируем QR-код из Syncthing на смартфоне.
Можно добавить, на одном из компьютеров все остальные, напрямую введя ID и указать это устройство в качестве «рекомендателя», после чего добавить его на смартфоне. Все остальные устройства подтянутся автоматом.
В настройках доступа расшаренной папки можно указать, какие из устройств будут иметь доступ. Вдруг нужно будет какое-то исключить из списка.
Также крайне рекомендую активировать хотя бы простую версионность, на случай, если файл будет удален с одного из устройств, скажем, под чутким руководством сотрудника полиции.
Вот так, из подручных материалов, собрали, по сути, отказоустойчивое «облако» для хранения и отдачи отснятого материала. При желании, можно добавить еще пару узлов, например компьютер на работе, или Raspberry Pi с шифрованным USB-HDD в гараже, главное, чтоб был доступ к Сети.
Если есть какие-либо дополнения и замечания, буду рад прочесть их в комментариях.
PS: на смартфоне в Syncthing крайне рекомендую выставить опцию «запускать с высоким приоритетом», чтобы система не прибила.