Documentation for a newer release is available. View Latest

Configuración de ingesta de archivos desde bucket S3

Descripción general

Esta es la configuración predeterminada que funcionará, pero algunos ajustes también son obligatorios (como las credenciales, que deben establecerse).

Opciones de configuración

Key Description Default Value

ipf.csm-reachability.file-ingestion.s3.enabled

Activa o desactiva la ingesta de archivos desde bucket S3.

false

ipf.csm-reachability.file-ingestion.notification-service.kafka.producer.topic

Nombre del topic para el producer

FILE_PROCESSED_NOTIFICATION

ipf.csm-reachability.file-ingestion.notification-service.kafka.producer.restart-settings

Parámetros de reinicio para indicar al conector qué hacer en caso de failover.

valores predeterminados del conector

ipf.csm-reachability.file-ingestion.notification-service.kafka.producer.kafka-clients.group.id

Group ID para el producer.

file-processing-notification-group

ipf.csm-reachability.file-ingestion.notification-service.kafka.consumer.topic

Nombre del topic para el consumer.

FILE_AVAILABLE_NOTIFICATION

ipf.csm-reachability.file-ingestion.notification-service.kafka.consumer.restart-settings

Parámetros de reinicio para indicar al conector qué hacer en caso de failover.

valores predeterminados del conector

ipf.csm-reachability.file-ingestion.notification-service.kafka.consumer.kafka-clients.group.id

Group ID para el consumer.

file-available-notification-group

ipf.file-manager.s3.endpoint-url

Endpoint url para AWS S3 bucket

{bucket-name}.s3.{region}.amazonaws.com

Para la lista de todas las demás configuraciones relacionadas con S3, consulta: Administrador de Archivos S3

Ejemplo de configuración hocon:

Ejemplo de configuración de csm-reachability-file-notification-s3:

ipf.file-manager.s3 {
  region = "us-east-1"
  upload-parallelism = 1
  credentials {
    access-key-id = "accessKey"
    secret-access-key = "secretAccessKey"
  }
  resiliency-settings {
    # Determines the maximum number of retries to be made. Note that this includes the first failed attempt.
    max-attempts = 2
    # Retry if HTTP error code is in the list
    retryable-status-codes = [500, 503]
    attempt-timeout = 2s
    call-timeout = 3s
  }
}

ipf.file-manager.s3 {
  region = "us-east-1"
  upload-parallelism = 1
  credentials {
    access-key-id = "accessKey"
    secret-access-key = "secretAccessKey"
  }

  resiliency {
    retry = 3
    api-call-timeout = 10s # duration
  }
}