Перенос ветки для демо1 из док-ии Vega
This commit is contained in:
Elena Rechkina
@@ -0,0 +1,86 @@
|
||||
# S3cmd
|
||||
|
||||
S3cmd — это консольный клиент (Linux, Mac) для работы с Amazon S3-совместимыми хранилищами.
|
||||
|
||||
Подробности о работе c s3cmd см. [в документации s3cmd](https://s3tools.org/s3cmd-howto).
|
||||
|
||||
## Подготовительные шаги
|
||||
|
||||
- [Создайте аккаунт S3 и ключ доступа](../storage-s3.md#создать-аккаунт). Сохраните ключ **secret**.
|
||||
- Установите [S3cmd](https://s3tools.org/download).
|
||||
|
||||
## Настроить подключение
|
||||
|
||||
Перед настройкой подключения [создайте аккаунт и ключ доступа](../storage-s3.md#создать-аккаунт).
|
||||
|
||||
Настроить подключение к хранилищу можно одним из способов:
|
||||
- **1 способ**: установить значения переменных и подключиться к хранилищу;
|
||||
- **2 способ**: настроить подключение с помощью стандартной команды s3cmd `s3cmd --configure`.
|
||||
|
||||
::: tabs
|
||||
|
||||
== 1 способ
|
||||
1. Установите значения переменных:
|
||||
|
||||
```sh
|
||||
S3_ACCESS_KEY=...
|
||||
S3_SECRET_KEY=...
|
||||
S3_URL=...
|
||||
```
|
||||
где:
|
||||
- `S3_ACCESS_KEY`: введите *Access key*, полученный при [создании хранилища в консоли управления](../storage-s3.md#создать-аккаунт).
|
||||
- `S3_SECRET_KEY`: введите ключ *secret*, полученный при [создании хранилища в консоли управления](../storage-s3.md#создать-аккаунт).
|
||||
- `S3_URL`: имя хоста для подключения соответствует [региону](../../storage-overview.md#регионы-и-зоны-доступности).
|
||||
|
||||
2. Подключите хранилище:
|
||||
|
||||
```sh
|
||||
s3cmd --ssl --access_key="${S3_ACCESS_KEY}" --secret_key="${S3_SECRET_KEY}" --host="${S3_URL}" --region=US --no-progress --host-bucket="%(bucket)" --dump-config > ~/.s3cfg
|
||||
```
|
||||
|
||||
== 2 способ
|
||||
1. Выполните команду в терминале:
|
||||
|
||||
```sh
|
||||
s3cmd --configure
|
||||
```
|
||||
2. Укажите значения для следующих параметров:
|
||||
- `Access Key`: введите *Access key*, полученный при [создании хранилища в консоли управления](../storage-s3.md#создать-аккаунт).
|
||||
- `Secret Key`: введите ключ *secret*, полученный при [создании хранилища в консоли управления](../storage-s3.md#создать-аккаунт)
|
||||
- .
|
||||
- `S3 Endpoint`: имя хоста для подключения соответствует [региону](../../storage-overview.md#регионы-и-зоны-доступности).
|
||||
- `DNS-style bucket+hostname:port template for accessing a bucket`: введите `%(bucket)`.
|
||||
- `Use HTTPS protocol`: введите `Y`.
|
||||
3. Остальные настройки оставьте без изменений.
|
||||
4. Устанавливается соединение. В случае успеха, отобразится `Success. Your access key and secret key worked fine :-)`.
|
||||
5. Сохраните конфигурацию: `Save settings? [y/N]`: введите `Y`
|
||||
|
||||
:::
|
||||
|
||||
S3cmd сохранит настройки в файле `~/.s3cfg`, его можно изменить вручную.
|
||||
|
||||
::: warning Важно
|
||||
Если при установке соединения с хранилищем возникла ошибка валидности SSL-сертификатов, то выполните команду в терминале для добавления корневого сертификата:
|
||||
|
||||
```sh
|
||||
echo 'alias s3cmd="s3cmd --ca-certs /etc/ssl/certs/ca-certificates.crt"' >> ~/.profile
|
||||
```
|
||||
Выполните настройку подключения к хранилищу снова.
|
||||
:::
|
||||
|
||||
## Проверить подключение к хранилищу
|
||||
|
||||
Выполните команду в терминале:
|
||||
|
||||
```sh
|
||||
s3cmd ls
|
||||
```
|
||||
В выводе должен отобразиться список доступных бакетов. Список может быть пустым, если в хранилище не создано ни одного бакета.
|
||||
|
||||
## Примеры команд
|
||||
|
||||
- `s3cmd --help` - справка.
|
||||
- `s3cmd mb s3://<имя_бакета>` - создание бакета.
|
||||
- `s3cmd ls s3://<имя_бакета>` - получение списка бакетов.
|
||||
|
||||
Подробности о работе c s3cmd см. [в документации s3cmd](https://s3tools.org/usage).
|
||||
@@ -0,0 +1,44 @@
|
||||
# WinSCP
|
||||
|
||||
WinSCP — это графический клиент, поддерживающий работу с различными типами хранилищ, в том числе с [Amazon S3](https://aws.amazon.com/ru/s3/) совместимыми хранилищами. Доступен для Windows.
|
||||
|
||||
## Настроить подключение
|
||||
|
||||
1. [Создайте аккаунт и ключ доступа](../storage-s3.md#создать-аккаунт).
|
||||
2. Скачайте WinSCP с [официального сайта](https://winscp.net/eng/download.php).
|
||||
3. Откройте WinSCP.
|
||||
4. Cоздайте новое подключение:
|
||||
- **Протокол передачи**: выберите из списка *Amazon S3*.
|
||||
- **Имя хоста**: соответствует [региону](../../storage-overview.md#регионы-и-зоны-доступности).
|
||||
- **Порт**: введите *443*.
|
||||
- **Идентификатор ключа доступа**: введите *Access key*, полученный при создании аккаунта в консоли управления.
|
||||
- **Секретный ключ доступа**: введите ключ *Secret*, полученный при создании аккаунта в консоли управления.
|
||||
5. Нажмите **Еще**.
|
||||
6. В окне **Расширенные настройки соединения** выберите **Среда → S3 → Стиль по умолчанию URL** значение *Путь*.
|
||||
7. Нажмите **OK**.
|
||||
8. Нажмите **Войти**, потребуется еще раз ввести секретный ключ доступа.
|
||||
|
||||
В результате успешного подключения на вкладке справа отобразятся бакеты. Список может быть пустым, если в хранилище не создано ни одного объекта.
|
||||
|
||||
Подробности о работе WinSCP с S3-совместимыми хранилищами см. [в документации WinSCP](https://winscp.net/eng/docs/guide_amazon_s3#buckets).
|
||||
|
||||
## Проверить доступность хранилища
|
||||
|
||||
Для проверки доступности хранилища создайте файл в хранилище и попробуйте его скачать.
|
||||
|
||||
1. Войдите в S3 хранилище.
|
||||
2. В меню **Файлы** выберите **Новый → Каталог**;
|
||||
- введите название каталога по [правилам](../../storage-overview.md#правила-именования);
|
||||
3. Создайте файл в каталоге из п. 2:
|
||||
- в меню **Файлы** выберите **Новый → Файл**;
|
||||
- введите название файла по [правилам](../../storage-overview.md#правила-именования);
|
||||
- сохраните файл.
|
||||
4. Выдайте права на действия с файлом:
|
||||
- правой кнопкой мыши нажмите на имя файла и выберите **Свойства**;
|
||||
- в ACL установите права **R** для всех;
|
||||
- нажмите **OK**.
|
||||
5. Проверьте сетевую доступность файла, созданного на шаге 3:
|
||||
- правой кнопкой мыши нажмите на имя файла и выберите **Файловые пользовательские команды → Сгенерировать URL для протокола HTTP**;
|
||||
- в открывшемся окне нажмите **Копировать**;
|
||||
- вставьте скопированную ссылку в браузер, заменив `http://` на `https://`;
|
||||
- начнется скачивание файла.
|
||||
@@ -0,0 +1,136 @@
|
||||
# Управление хранилищем
|
||||
|
||||
## Создать аккаунт
|
||||
|
||||
При добавлении хранилища выполняется создание аккаунта S3 и ключей доступа.
|
||||
|
||||
::: tip Информация
|
||||
В момент создания нового хранилища сохраните ключи и секреты (токены) доступа. Данная информация не хранится на серверах Vega. В случае утери ключей доступа все данные хранилища будут недоступны.
|
||||
:::
|
||||
|
||||
1. Перейдите в консоль управления.
|
||||
2. Откройте **Объектное хранилище**.
|
||||
3. Нажмите **Добавить хранилище**.
|
||||
4. Заполните параметры хранилища:
|
||||
- **Регион**: выбрать из списка.
|
||||
- **Название аккаунта**: введите название аккаунта. <!--Есть правила нейминга?-->
|
||||
- **Размер хранилища**: введите значение в Гбайтах, размер хранилища ограничен квотой.
|
||||
5. Нажмите **Создать**.
|
||||
6. В открывшемся окне скопируйте ключи и сохраните их в надежном месте.
|
||||
7. Нажмите **Закрыть**.
|
||||
|
||||
Аккаунт S3 будет добавлен в разделе **Объектное хранилище**. Далее необходимо [подключиться к хранилищу c помощью утилиты S3cmd](../storage-instructions/s3-connect/s3cmd.md) или [WinSCP](../storage-instructions/s3-connect/winscp.md).
|
||||
|
||||
## Удалить аккаунт
|
||||
|
||||
::: warning Важно
|
||||
Перед удалением аккаунта удалите бакеты вручную.
|
||||
:::
|
||||
|
||||
1. Перейдите в консоль управления.
|
||||
2. Откройте **Объектное хранилище**.
|
||||
3. Найдите нужное хранилище.
|
||||
5. Нажмите ⠇ и выберите **Удалить**.
|
||||
6. В открывшемся окне подтвердите операцию:
|
||||
- Скопируйте предложенный текст.
|
||||
- Нажмите **Удалить**.
|
||||
|
||||
## Управление жизненным циклом объектов в бакете
|
||||
|
||||
Управление жизненным циклом объектов позволяет настроить автоматическое удаление отдельных объектов или групп объектов по заданным условиям и расписанию.
|
||||
|
||||
Для управления жизненными циклами с помощью S3cmd используется [конфигурация в формате XML](https://docs.aws.amazon.com/AmazonS3/latest/userguide/lifecycle-configuration-examples.html).
|
||||
|
||||
::: tabs
|
||||
|
||||
== Загрузить политику
|
||||
|
||||
```sh
|
||||
s3cmd setlifecycle bucket-lifecycle.xml s3://bucket
|
||||
```
|
||||
|
||||
== Получить политику
|
||||
|
||||
```sh
|
||||
s3cmd getlifecycle s3://bucket
|
||||
```
|
||||
|
||||
== Удалить политику
|
||||
|
||||
```sh
|
||||
s3cmd dellifecycle s3://bucket
|
||||
```
|
||||
:::
|
||||
|
||||
## Управление доступом (ACL)
|
||||
|
||||
Access Control List (ACL) — список управления доступом, который определяет, список пользователей для доступа к файлам или бакету и список допустимых или запрещенных операции.
|
||||
|
||||
Для управления доступом в S3 хранилище можно использовать команды из [документации S3cmd](https://s3tools.org/s3cmd).
|
||||
|
||||
## Монтирование бакета
|
||||
|
||||
Монтирование бакета позволит управлять содержимым S3-хранилища через интерфейс файловой системы. Бакет объектного хранилища монтируется через [FUSE](https://ru.wikipedia.org/wiki/FUSE_(%D0%BC%D0%BE%D0%B4%D1%83%D0%BB%D1%8C_%D1%8F%D0%B4%D1%80%D0%B0)).
|
||||
|
||||
В инструкции рассмотрено разовое монтирование контейнера. В этом случае при каждой перезагрузке системы контейнер будет размонтирован. Потребуется выполнить монтирование контейнера вручную после перезагрузки системы.
|
||||
|
||||
::: tabs
|
||||
== GeeseFS
|
||||
1. Установите клиент GeeseFS.
|
||||
2. Сделайте файл geesefs исполняемым и поместите его в директорию `/bin`:
|
||||
|
||||
```sh
|
||||
chmod 700 geesefs-linux-amd64
|
||||
mv geesefs-linux-amd64 /bin/geesefs
|
||||
```
|
||||
|
||||
3. [Используйте ключ доступа, полученный при создании аккаунта](#создать-аккаунт), и поместите его в директорию `~/.aws/credentials`:
|
||||
|
||||
```
|
||||
[default]
|
||||
aws_access_key_id = <Access key>
|
||||
aws_secret_access_key = <secret>
|
||||
```
|
||||
4. Создайте директорию, в которой будет отображаться содержимое бакета. Например, `/mnt/s3`.
|
||||
5. Для монтирования бакета выполните команду:
|
||||
|
||||
```sh
|
||||
/bin/geesefs --endpoint <endpoint s3> <имя бакета> /mnt/s3/
|
||||
```
|
||||
== S3fs
|
||||
1. Установите клиент S3fs:
|
||||
|
||||
```sh
|
||||
apt install s3fs
|
||||
```
|
||||
2. Cохраните [ключ доступа и секретный ключ, полученные при создании аккаунта](#создать-аккаунт) в файле `~/.passwd-s3fs`:
|
||||
|
||||
```sh
|
||||
echo <идентификатор_ключа>:<секретный_ключ> > ~/.passwd-s3fs
|
||||
```
|
||||
3. Ограничьте доступ к файлу `~/.passwd-s3fs`:
|
||||
|
||||
```sh
|
||||
chmod 600 ~/.passwd-s3fs
|
||||
```
|
||||
4. Для монтирования бакета выполните команду:
|
||||
|
||||
```sh
|
||||
s3fs <имя_бакета> <путь_к_директории> -o passwd_file=~/.passwd-s3fs -o url=<адрес_endpoint> -o use_path_request_style
|
||||
```
|
||||
|
||||
:::
|
||||
|
||||
Для проверки монтирования бакета выполните команду:
|
||||
|
||||
```sh
|
||||
df-h
|
||||
```
|
||||
|
||||
### Размонтировать бакет
|
||||
|
||||
Для размонтирования бакета выполните команду:
|
||||
|
||||
```sh
|
||||
umount <путь_к_директории>
|
||||
```
|
||||
@@ -0,0 +1,3 @@
|
||||
# Квоты и лимиты
|
||||
|
||||
Для сервиса действует квота по умолчанию, определяемая при инициализация проекта, в размере 100 Гбайт.
|
||||
@@ -0,0 +1,17 @@
|
||||
# Уровень обслуживания
|
||||
|
||||
Настоящий документ определяет уровень обслуживания (SLA) сервиса «Объектное хранилище».
|
||||
|
||||
|
||||
## Описание предоставляемых услуг
|
||||
|
||||
В таблице рассмотрены услуги, предоставляемые в рамках SLA сервиса «Объектное хранилище».
|
||||
|
||||
| Наименование услуги | Краткое описание | Ценность для потребителя | Целевая аудитория |
|
||||
|---|---|---|---|
|
||||
| Доступ к S3 хранилищу | Web-доступ к эластичному хранилищу данных | Возможность очень быстрого подключения дискового пространства в приложение, сервер, ВРС и т. п. | DevOps<br> Администраторы |
|
||||
|
||||
|
||||
## Доступность услуги
|
||||
|
||||
Доступ к S3 хранилищу 99,5 %.
|
||||
@@ -0,0 +1,26 @@
|
||||
# Обзор сервиса
|
||||
|
||||
Сервис «Объектное хранилище» предназначен для хранения и извлечения данных. Доступ к объектам осуществляется из любых периметров по протоколу https.
|
||||
|
||||
## Регионы и зоны доступности
|
||||
|
||||
| Регион | Хранилище | Адрес |
|
||||
| -------------------------------- | --------- | ---------------------------------------- |
|
||||
| s3-cloud-dfcloud-ru | Ceph | https://s3.cloud.dfcloud.ru |
|
||||
|
||||
|
||||
## Модели адресации в S3
|
||||
|
||||
Сервис поддерживает модель адресации для доступа к объектному хранилищу S3:
|
||||
|
||||
- `Path-style` — модель, при которой название бакета указывается в части пути до объекта, например: https://s3.cloud.dfcloud.ru/bucket/file.txt
|
||||
|
||||
## Правила именования
|
||||
|
||||
Правила именования бакетов:
|
||||
- имя бакета в корневом каталоге должно быть уникальным для всего хранилища S3, на каталоги 2-го и последующих уровней это правило не распространяется;
|
||||
- может содержать строчные буквы латинского алфавита, цифры, дефис и подчеркивания;
|
||||
- подчеркивание недопустимо для имени бакета в корневом каталоге.
|
||||
|
||||
Правила именования файлов в бакете:
|
||||
- может содержать строчные буквы латинского алфавита, цифры, дефис и подчеркивания.
|
||||
Reference in New Issue
Block a user