Configuración de Ingesta de Archivos en el Bucket S3

Descripción general

Esta es la configuración predeterminada que funcionará, pero algunos ajustes son obligatorios también (como las credenciales que deben establecerse).

Opciones de Configuración

Clave Descripción Valor Predeterminado

ipf.csm-reachability.file-ingestion.s3.enabled

Activa la ingestión de archivos del bucket s3.

false

ipf.csm-reachability.file-ingestion.notification-service.kafka.producer.topic

Nombre del tema para el productor

FILE_PROCESSED_NOTIFICATION

ipf.csm-reachability.file-ingestion.notification-service.kafka.producer.restart-settings

Restart configuraciones para indicar al conector qué hacer en caso de conmutación por error.

valores de conector predeterminados

ipf.csm-reachability.file-ingestion.notification-service.kafka.producer.kafka-clients.group.id

ID de grupo para el productor.

file-processing-notification-group

ipf.csm-reachability.file-ingestion.notification-service.kafka.consumer.topic

Nombre del tema para el consumidor.

FILE_AVAILABLE_NOTIFICATION

ipf.csm-reachability.file-ingestion.notification-service.kafka.consumer.restart-settings

Restart configuraciones para indicar al conector qué hacer en caso de conmutación por error.

valores de conector predeterminados

ipf.csm-reachability.file-ingestion.notification-service.kafka.consumer.kafka-clients.group.id

ID de grupo para el consumidor.

file-available-notification-group

ipf.file-manager.s3.endpoint-url

URL del endpoint para el bucket de AWS S3

{bucket-name}.s3.{region}.amazonaws.com

Para la lista de todas las demás configuraciones relacionadas con S3, por favor consulte:Administrador de Archivos S3

Ejemplo de hocon configuración:

The csm-ejemplo de configuración de notificación de archivo de accesibilidad en S3:

ipf.file-manager.s3 {
  region = "us-east-1"
  upload-parallelism = 1
  credentials {
    access-key-id = "accessKey"
    secret-access-key = "secretAccessKey"
  }
  resiliency-settings {
    # Determines the maximum number of retries to be made. Note that this includes the first failed attempt.
    max-attempts = 2
    # Retry if HTTP error code is in the list
    retryable-status-codes = [500, 503]
    attempt-timeout = 2s
    call-timeout = 3s
  }
}

ipf.file-manager.s3 {
  region = "us-east-1"
  upload-parallelism = 1
  credentials {
    access-key-id = "accessKey"
    secret-access-key = "secretAccessKey"
  }

  resiliency {
    retry = 3
    api-call-timeout = 10s # duration
  }
}