Как да

Настройте AWS Elasticsearch Cluster с Kibana

Настройте AWS Elasticsearch Cluster с Kibana

Тази статия предоставя насоки за настройване на клъстер Elasticsearch с Kibana на облачна платформа AWS (Amazon Web Services) с помощта на CloudFormation. Също така, той предоставя на потребителя инструкции как да получи достъп до клъстера и крайните точки на Kibana.

Необходимост от случаи на търсене и употреба на AWS Elastic:

Elasticsearch е управлявана услуга AWS (Amazon Web Services) за анализ и управление на журнали. Често използван случай е Мониторинг на инфраструктурата или изпълнение на приложенията и съдействие при диагностициране на откази. Впоследствие може да улавя и събития за проактивен мониторинг на заплахите за сигурността. Още примери за използване на Elasticsearch включват:

Можем да предаваме данни към еластичен клъстер за търсене от различни източници. Някои източници включват S3 кофи, CloudWatch регистрационни групи, Dynamo DB или, AWS IoT.

Предварителни условия за настройка:

Преди да настрои, потребителят трябва да се увери, че има следните изисквания:

Настройка на AWS Elasticsearch и Kibana:

Клъстерът на Elasticsearch може да има или интернет, или VPC крайна точка.

Като начало достъпът до клъстер на интернет крайни точки се постига чрез aws-es-kibana прокси. За VPC клъстер на крайна точка потребителят трябва да въведе URL адреса на Kibana или клъстера в браузър в рамките на настройка на хост на бастион на Windows в същия VPC като клъстера.

Използвайте шаблона по-долу CloudFormation, за да създадете клъстер за интернет крайна точка. Потребителят може да персонализира шаблона според своите специфични нужди. Задайте правилния ARN за MasterUserARN и стойност за ресурс.

AWSTemplateFormatVersion: "2010-09-09" Описание: "Шаблон за създаване на Elasticsearch домейн" Ресурси: ElasticSearchCluster: Тип: AWS :: Elasticsearch :: Домейн Свойства: DomainName: test-elasticsearch AdvancedSecurityOptions: Enabled: true InternalUserDatabaseEnabled: false MasterUserARNitions: arn: aws: iam :: *************: потребител / тест ElasticsearchVersion: 7.7 EncryptionAtRestOptions: Enabled: true DomainEndpointOptions: EnforceHTTPS: true ElasticsearchClusterConfig: DedicatedMasterEnabled: "true" DedicatedMasterType: "c4.голям.elasticsearch "DedicatedMasterCount:" 3 "InstanceCount: 2 InstanceType:" c4.голям.elasticsearch "NodeToNodeEncryptionOptions: Enabled: true EBSOptions: EBSEnabled: true VolumeSize: 20 VolumeType: gp2 AccessPolicies: Version:" 2012-10-17 "Statement: - Effect:" Allow "Principal: AWS:" * "Action:" es: * „Ресурс:“ arn: aws: es: eu-west-1: ***********: домейн / test-elasticsearch / * “Изходи: ESCluster: Описание: Стойността на ES клъстера: !Ref ElasticSearchCluster

За достъп до Kibana за вашия клъстер за крайна точка за достъп до интернет следвайте инструкциите по-долу:

По-долу CloudFormation Template създава VPC / клъстер на крайна точка за частен достъп. Потребителят може да персонализира шаблона според своите специфични нужди.

AWSTemplateFormatVersion: "2010-09-09" Описание: "Шаблон за създаване на домейн ElasticSearch" Параметри: VPC: Тип: String Описание: Идентификаторът на вашия VPC по подразбиране: vpc-ID PrivateSubnet01: Тип: Описание на низа: Идентификационният номер на вашата подмрежа : subnet-ID UserName: Type: String Description: ES master user Name UserPassword: Type: String Description: ES master user Password NoEcho: true Resources: ESSecurityGroup: Type: "AWS :: EC2 :: SecurityGroup" Properties: GroupDescription: "група за сигурност за достъп до клъстер на ES" GroupName: "test-ES-sg" VpcId: !Ref VPC SecurityGroupIngress: - CidrIp: "0.0.0.0/0 "FromPort: 80 IpProtocol:" tcp "ToPort: 80 - CidrIp:" 0.0.0.0/0 "FromPort: 443 IpProtocol:" tcp "ToPort: 443 SecurityGroupEgress: - CidrIp:" 0.0.0.0/0 "IpProtocol:" -1 "ElasticSearchCluster: Тип: AWS :: Elasticsearch :: Свойства на домейни: Име на домейн: test-elasticsearch AdvancedSecurityOptions: Enabled: true InternalUserDatabaseEnabled: true MasterUserOptions: MasterUserName: !Ref UserName MasterUserPassword: !Ref UserPassword Elasticsearch Версия: 7.7 EncryptionAtRestOptions: Enabled: true DomainEndpointOptions: EnforceHTTPS: true ElasticsearchClusterConfig: DedicatedMasterEnabled: "true" DedicatedMasterType: "c4.голям.elasticsearch "DedicatedMasterCount:" 3 "InstanceCount: 1 InstanceType: c4.голям.elasticsearch NodeToNodeEncryptionOptions: Enabled: true EBSOptions: EBSEnabled: true VolumeSize: 20 VolumeType: gp2 VPCOptions: SecurityGroupIds: - !Ref ESSecurityGroup SubnetIds: - !Ref PrivateSubnet01 AccessPolicies: Версия: "2012-10-17" Изявление: - Ефект: "Разрешаване" Основно: AWS: "*" Действие: "es: *" Ресурс: "arn: aws: es: eu-west-1: ************: домейн / test-elasticsearch / * "Изходи: ESCluster: Описание: Публична подмрежа 01 ID във VPC Стойност: !Ref ElasticSearchCluster 

AWS Elasticsearch Kibana Управление на достъпа на потребители:

Една от най-важните задачи е да добавите други потребители и да управлявате достъпа до Kibana, като използвате роли и съпоставяне на роли. Също така е важно да активирате дневниците за одит за Kibana за наблюдение на достъпа на потребителите.

За да добавите потребители и да създадете роли, които да присвоявате на потребители на Kibana, влезте в Kibana. След това, от най-лявата страна, превъртете надолу до иконата за сигурност (икона с катинар) и кликнете върху нея. Ще се отвори прозорец, който ви позволява да създавате роли и да съпоставяте потребителите с тези роли. Виж отдолу:

N / B: Само главният потребител има достъп до раздела за защита, когато клъстерът Elasticsearch е създаден за първи път. Достъпът до раздела за сигурност позволява на потребителя да създава роли и да назначава роли на потребителите. Впоследствие, за да позволим на други потребители да имат достъп до раздела за защита, трябва да им възложим ролята на мениджър на сигурността. В раздела за сигурност отидете на съпоставяне на роли и под диспечера на защитата добавете вашия потребител IAM потребител ARN.

За да активирате дневниците за одит за Kibana, в раздела за сигурност все още щракнете върху Одиторско регистриране. След това проверете дали да се регистрира одит. Назад на конзолата за търсене на AWS Elastic, на таблото, щракнете върху вашия клъстер и изберете раздела дневници. Превъртете надолу до Настройване на журнали за одит. Кликнете върху активиране и следвайте инструкциите, за да изберете група от регистрационни файлове в CloudWatch, в която да публикувате вашите дневници.

AWS Elasticsearch Управление на журнали и опции за съхранение на данни:

Скъпо е да се поддържа клъстер Elasticsearch без подходящо управление на регистрационните файлове, тъй като разходите за съхранение ще скочат рязко.

AWS Elasticsearch осигурява ултра-топло съхранение, което позволява на потребителите да съхраняват данни в мащаб на петабайт на много по-ниска цена. За да използвате тази функция, трябва да активирате ултра-топло съхранение на техния клъстер, както е показано по-долу. На конзолата Elasticsearch отидете на домейна, който сте създали. Кликнете върху Редактиране на домейн. И превъртете надолу до ултра-топли възли за данни. Вижте изображението по-долу.

Освен активирането на ултра-топло съхранение, потребителят трябва да създаде политика на индекса, за да позволи на индексите да преминат от горещо към топло съхранение. Пример за политика на индекс за мигриране на данни / индекс от горещо към топло, след което да се изтрие етап е както по-долу.

"policy": "policy_id": "hot-warm-delete", "description": "работен процес за горещо-топло-изтриване."," last_updated_time ": 1599914073036," schema_version ": 1," error_notification ": null," default_state ":" hot "," state ": [" name ":" hot "," actions ": [" replica_count ": " number_of_replicas ": 1]," преходи ": [" state_name ":" топло "," условия ": " min_index_age ":" 1d "], " name ":" топло "," действия ": [" таймаут ":" 24 часа "," повторен опит ": " броя ": 5," отстъпка ":" експоненциално "," забавяне ":" 1ч "," топла_миграция ":  ], "преходи": ["state_name": "delete", "условия": "min_index_age": "20d"], "name": "delete", "actions": [" изтриване на „: ],„ преходи “: []] 

За да създадете политика за влизане в Kibana. След това от най-лявата страна превъртете надолу до иконата за незабавни съобщения. Кликнете върху него и той отваря раздела Управление на индекси. Оттук нататък човек може да създаде политика и да я приложи към индексите. Вижте изображението по-долу.

Важни връзки:

Допълнителни връзки за проучване:

Създаване и управление на Amazon Elasticsearch Service Domains

Първи стъпки с услугата Amazon Elasticsearch

Следващи стъпки:

Следващата стъпка, след като имате работещ клъстер, ще бъде да предавате дневници на CloudWatch в Kibana. Внимавайте за следващата ми статия.

Щастлива сграда!!!!

****** аматьорски Techie ******

Как да ограничим използването на процесора на Windows Defender в Windows 10
Windows Defender е вграден антивирус за Windows 10, който по подразбиране сканира вашата система във фонов режим за всякакви заплахи. Той анализира вс...
Как да разберете вашето системно време за работа в Windows 10
Искате ли да знаете кога вашата система Windows е била рестартирана за последно? Или искате да знаете от колко време системата ви е включена и работи?...
Как да повишите производителността на Windows 10, като деактивирате анимациите
Windows 10 се предлага с много интересни функции за своите потребители и една от тях е анимационните ефекти. Това го прави по-привлекателен за вас, до...