Documentation for a newer release is available. View Latest

Ingesta desde archivo local

Descripción general

La ingesta de archivos desde una fuente local proporciona un método confiable para procesar archivos que siempre están disponibles.

Opciones de configuración

La ruta raíz predeterminada para la ingesta de archivos locales es /import/. Según el archivo específico que se vaya a ingerir, se añade un sufijo apropiado a esta ruta.

La lista completa de directorios de ingesta se puede encontrar aquí.

Si se ingiere un archivo desde una carpeta incorrecta, se moverá al directorio archive y se generará un evento Processing Skipped.

Si se ingiere un archivo corrupto, el archivo se omitirá y se moverá al directorio failed. También se activará un evento Processing Failed.

Sobrescritura de configuración

De forma predeterminada, la configuración funciona sin problemas. Sin embargo, los usuarios tienen la opción de sobrescribir los ajustes de file-ingestion si lo necesitan.

Ejemplo de configuración de ingesta de datos:

      default-file-ingestion {
        # path which should be overriden
        files-directory = "/import"
        initial-delay = 5s
        interval = 30s
      }

Ejemplo de un valor predeterminado sobrescrito:

ipf.csm-reachability.default-file-ingestion.files-directory = /import/overriden-path

Desuso del mapeo de directorios de la colección directory-mapping de MongoDB

IMPORTANTE: A partir de la versión csm-reachability-data-ingestion:3.17.0 y superiores, el mapeo de directorios de la colección directory-mapping de MongoDB quedará en desuso y se trasladará a la configuración HOCON ipf.file-ingestion.directory-mappings, que se utilizará para los mapeos de directorios. De ahora en adelante, no está permitido tener el ingestor de archivos deshabilitado y un directoryId mapeado para un ingestor deshabilitado.

Pasos de migración

  1. Haz copia de seguridad de todos los datos de la colección directory-mapping de Mongo.

  2. Para cada ingestor personalizado, asegúrate de añadir los datos de documento relacionados desde la colección directory-mappings a los archivos .conf de los ingestors.

    1. Ejemplo HOCON:

      # added directory mapping in case of participant-file-handling module usage
ipf.file-ingestion.directory-mappings += {
  "directory-id": "TIPS", (1)
  "job-name": "TIPS Participant" (2)
}

ipf.file-ingestion.directory-mappings += {
  "directory-id": "RT1",
  "job-name": "RT1 Participant"
}

ipf.file-ingestion.directory-mappings += {
  "directory-id": "STEP2 SCT",
  "job-name": "STEP2 SCT Participant"
}

ipf.file-ingestion.directory-mappings += {
  "directory-id": "SIC",
  "job-name": "SIC Participant"
}

      NOTA: 1. directoryID y 2. jobName deben coincidir con directoryID para el documento en la colección directory-mapping de Mongo. Este es un ejemplo para el módulo participant-file-handling; asegúrate de hacer los mismos mapeos para otros ingestors personalizados.

  3. Reinicia la aplicación y verifica que no haya advertencias en el log con el mensaje Missing required HOCON configuration: ipf.file-ingestion.directory-mappings.

  4. Asegúrate de que el log no contenga advertencias como:

    1. Mongo directory-mappings documents value doesn’t exist in Hocon configuration.

    2. Mismatch found for Mongo directory-mappings documents value and Hocon configuration.

  5. Elimina la colección directory-mapping de Mongo si se cumplieron los pasos anteriores.