Kube AI Hub 日志系统

Kube AI Hub 为日志收集、查询和管理提供了一个强大的、全面的、易于使用的日志系统。它涵盖了不同层级的日志，包括租户、基础设施资源和应用。用户可以从项目、工作负载、容器组和关键字等不同维度对日志进行搜索。与 Kibana 相比，Kube AI Hub 基于租户的日志系统中，每个租户只能查看自己的日志，从而可以在租户之间提供更好的隔离性和安全性。除了 Kube AI Hub 自身的日志系统，该容器平台还允许用户添加第三方日志收集器，如 Elasticsearch、Kafka 和 Fluentd。

有关更多信息，请参见日志查询。

在安装前启用日志系统

在 Linux 上安装

当您在 Linux 上安装 Kube AI Hub 时，首先需要创建一个配置文件，该文件列出了所有 Kube AI Hub 组件。

在 Linux 上安装 Kube AI Hub 时，您需要创建一个默认文件 config-sample.yaml。通过执行以下命令修改该文件：
```
vi config-sample.yaml
```
备注
- 如果您采用 All-in-one 安装，则不需要创建 config-sample.yaml 文件，因为可以直接创建集群。一般来说，All-in-one 模式是为那些刚接触 Kube AI Hub 并希望熟悉系统的用户而准备的。如果您想在这个模式下启用日志系统（比如用于测试），请参考下面的部分，查看如何在安装后启用日志系统。
- 如果您采用多节点安装，并且使用符号链接作为 Docker 根目录，请确保所有节点遵循完全相同的符号链接。日志代理在守护进程集中部署到节点上。容器日志路径的任何差异都可能导致该节点的收集失败。

在该文件中，搜寻到 logging，并将 enabled 的 false 改为 true。完成后保存文件。

logging:
  enabled: true # 将“false”更改为“true”。
  containerruntime: docker

信息

若使用 containerd 作为容器运行时，请将 containerruntime 字段的值更改为 containerd。如果您从低版本升级至 Kube AI Hub 3.4，则启用 Kube AI Hub 日志系统时必须在 logging 字段下手动添加 containerruntime 字段。

备注

默认情况下，如果启用了日志系统，KubeKey 将安装内置 Elasticsearch。对于生产环境，如果您想启用日志系统，强烈建议在 config-sample.yaml 中设置以下值，尤其是 externalElasticsearchHost 和 externalElasticsearchPort。在安装前提供以下信息后，KubeKey 将直接对接您的外部 Elasticsearch，不再安装内置 Elasticsearch。

es:  # Storage backend for logging, tracing, events and auditing.
  elasticsearchMasterReplicas: 1   # The total number of master nodes. Even numbers are not allowed.
  elasticsearchDataReplicas: 1     # The total number of data nodes.
  elasticsearchMasterVolumeSize: 4Gi   # The volume size of Elasticsearch master nodes.
  elasticsearchDataVolumeSize: 20Gi    # The volume size of Elasticsearch data nodes.
  logMaxAge: 7                     # Log retention day in built-in Elasticsearch. It is 7 days by default.
  elkPrefix: logstash              # The string making up index names. The index name will be formatted as ks-<elk_prefix>-log.
  externalElasticsearchHost: # The Host of external Elasticsearch.
  externalElasticsearchPort: # The port of external Elasticsearch.

使用该配置文件创建集群：

./kk create cluster -f config-sample.yaml

在 Kubernetes 上安装

当您在 Kubernetes 上安装 Kube AI Hub 时，需要先在 cluster-configuration.yaml 文件中启用日志系统。

下载 cluster-configuration.yaml 文件，然后打开并开始编辑。
```
vi cluster-configuration.yaml
```

在 cluster-configuration.yaml 文件中，搜索 logging，并将 enabled 的 false 改为 true，以启用日志系统。完成后保存文件。

logging:
  enabled: true # 将“false”更改为“true”。
  containerruntime: docker

信息

若使用 containerd 作为容器运行时，请将 .logging.containerruntime 字段的值更改为 containerd。如果您从低版本升级至 Kube AI Hub 3.4，则启用 Kube AI Hub 日志系统时必须在 logging 字段下手动添加 containerruntime 字段。

备注

默认情况下，如果启用了日志系统，ks-installer 将安装内置 Elasticsearch。对于生产环境，如果您想启用日志系统，强烈建议在 cluster-configuration.yaml 中设置以下值，尤其是 externalElasticsearchHost 和 externalElasticsearchPort。在安装前提供以下信息后，ks-installer 将直接对接您的外部 Elasticsearch，不再安装内置 Elasticsearch。

es:  # Storage backend for logging, tracing, events and auditing.
  elasticsearchMasterReplicas: 1   # The total number of master nodes. Even numbers are not allowed.
  elasticsearchDataReplicas: 1     # The total number of data nodes.
  elasticsearchMasterVolumeSize: 4Gi   # The volume size of Elasticsearch master nodes.
  elasticsearchDataVolumeSize: 20Gi    # The volume size of Elasticsearch data nodes.
  logMaxAge: 7                     # Log retention day in built-in Elasticsearch. It is 7 days by default.
  elkPrefix: logstash              # The string making up index names. The index name will be formatted as ks-<elk_prefix>-log.
  externalElasticsearchHost: # The Host of external Elasticsearch.
  externalElasticsearchPort: # The port of external Elasticsearch.

执行以下命令开始安装：

kubectl apply -f https://github.com/kubesphere/ks-installer/releases/download/v3.4.1/kubesphere-installer.yaml

kubectl apply -f cluster-configuration.yaml

在安装后启用日志系统

以 admin 用户登录控制台。点击左上角的平台管理，选择集群管理。
点击定制资源定义，在搜索栏中输入 clusterconfiguration。点击结果查看其详细页面。

信息

定制资源定义 (CRD) 允许用户在不增加额外 API 服务器的情况下创建一种新的资源类型，用户可以像使用其他 Kubernetes 原生对象一样使用这些定制资源。
在自定义资源中，点击 ks-installer 右侧的，选择编辑 YAML。

在该 YAML 文件中，搜索 logging，将 enabled 的 false 改为 true。完成后，点击右下角的确定以保存配置。

logging:
  enabled: true # 将“false”更改为“true”。
  containerruntime: docker

信息

备注

默认情况下，如果启用了日志系统，将会安装内置 Elasticsearch。对于生产环境，如果您想启用日志系统，强烈建议在该 YAML 文件中设置以下值，尤其是 externalElasticsearchHost 和 externalElasticsearchPort。在文件中提供以下信息后，Kube AI Hub 将直接对接您的外部 Elasticsearch，不再安装内置 Elasticsearch。

es:  # Storage backend for logging, tracing, events and auditing.
  elasticsearchMasterReplicas: 1   # The total number of master nodes. Even numbers are not allowed.
  elasticsearchDataReplicas: 1     # The total number of data nodes.
  elasticsearchMasterVolumeSize: 4Gi   # The volume size of Elasticsearch master nodes.
  elasticsearchDataVolumeSize: 20Gi    # The volume size of Elasticsearch data nodes.
  logMaxAge: 7                     # Log retention day in built-in Elasticsearch. It is 7 days by default.
  elkPrefix: logstash              # The string making up index names. The index name will be formatted as ks-<elk_prefix>-log.
  externalElasticsearchHost: # The Host of external Elasticsearch.
  externalElasticsearchPort: # The port of external Elasticsearch.

在 kubectl 中执行以下命令检查安装过程：

kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l 'app in (ks-install, ks-installer)' -o jsonpath='{.items[0].metadata.name}') -f

备注

您可以通过点击控制台右下角的

找到 kubectl 工具。

验证组件的安装

进入系统组件，检查日志标签页中的所有组件都处于健康状态。如果是，组件安装成功。

执行以下命令来检查容器组的状态：

kubectl get pod -n kubesphere-logging-system

如果组件运行成功，输出结果如下：

NAME                                          READY   STATUS    RESTARTS   AGE
elasticsearch-logging-data-0                  1/1     Running   0          87m
elasticsearch-logging-data-1                  1/1     Running   0          85m
elasticsearch-logging-discovery-0             1/1     Running   0          87m
fluent-bit-bsw6p                              1/1     Running   0          40m
fluent-bit-smb65                              1/1     Running   0          40m
fluent-bit-zdz8b                              1/1     Running   0          40m
fluentbit-operator-9b69495b-bbx54             1/1     Running   0          40m
logsidecar-injector-deploy-667c6c9579-cs4t6   2/2     Running   0          38m
logsidecar-injector-deploy-667c6c9579-klnmf   2/2     Running   0          38m

上一篇 : Kube AI Hub DevOps 下一篇 : Kube AI Hub 事件系统

页面内容