Ingesta desde Archivo Local

Descripción general

La ingestión de archivos desde una fuente local proporciona un método confiable para procesar archivos que siempre están disponibles.

Opciones de Configuración

La ruta raíz predeterminada para la ingestión de archivos locales es /import/. Dependiendo del archivo específico que se va a ingerir, se añade un sufijo apropiado a esta ruta.

Se puede encontrar una lista completa de directorios de ingestión aquí.

Si un archivo se ingresa desde una carpeta incorrecta, será movido a la archive directorio, y un Procesamiento omitido event se planteará.

Si se ingiere un archivo corrupto, el archivo será omitido y trasladado a la failed directorio. A Procesamiento Fallido event también será triggered.

Hay una propiedad de configuración timestamp-archived-and-failed-files(vea la sección de Sobrescritura de Configuración a continuación) que está configurado para true por defecto y, por lo tanto, todos los archivos que terminan en archive y failed los directorios tendrán una marca de tiempo añadida al final del nombre del archivo (por ejemplo,file_20251020_143530.xml). Esto es útil cuando queremos evitar sobrescribir archivos con los mismos nombres, o al ingerir el mismo archivo múltiples veces. Para evitar esto, simplemente establezca la propiedad en falso manualmente.

Anulación de Configuración

Por defecto, la configuración funciona sin problemas. Sin embargo, los usuarios tienen la opción de anular el file-ingestion ajustes si es necesario.

Ejemplo de configuración de ingestión de datos:

      default-file-ingestion {
        # path which should be overriden
        files-directory = "/import"
        initial-delay = 5s
        interval = 30s
        timestamp-archived-and-failed-files = true
      }

Ejemplo de un valor predeterminado anulado:

ipf.csm-reachability.default-file-ingestion.files-directory = /import/overriden-path

Desaprobación de directorio mapping from MongoDB directory-mapping colección

Desde csm-ingestión-de-datos-de-alcance: versión 3. 17. 0 y superior directorio mapping from MongoDB directory-mapping la colección será desaprobada y trasladada a la ipf.file-ingestion.directory-mapping HOCON configuración que se utilizará para el directorio mappings. A partir de ahora, no se permite tener un ingestor de archivos deshabilitado y un directoryId mapeado para el ingestor deshabilitado.

Pasos de migración

  1. Realice una copia de seguridad de todos los datos de Mongo.directory-mapping colección.

  2. Para cada custom ingester asegúrese de agregar datos de documentos relacionados de Mongo desde directory-mappings colección al archivo.conf de los ingesters. .Hocon ejemplo:

    # added directory mapping in case of participant-file-handling module usage
ipf.file-ingestion.directory-mappings += {
  "directory-id": "TIPS", (1)
  "job-name": "TIPS Participant" (2)
}

ipf.file-ingestion.directory-mappings += {
  "directory-id": "RT1",
  "job-name": "RT1 Participant"
}

ipf.file-ingestion.directory-mappings += {
  "directory-id": "STEP2 SCT",
  "job-name": "STEP2 SCT Participant"
}

ipf.file-ingestion.directory-mappings += {
  "directory-id": "SIC",
  "job-name": "SIC Participant"
}
    1. directoryID y 2. jobName deben coincidir con directoryID para el documento en Mongo.directory-mapping colección. Este es un ejemplo para participant-file-handling módulo, asegúrese de hacer lo mismo mappings para otros custom ingesters.

  3. Reinicie la aplicación y verifique si no hay advertencias en el registro con el mensaje Missing required HOCON configuration: ipf.file-ingestion.directory-mappings.

  4. Asegúrese de que el registro no contenga advertencias como: .Mongo directory-mappings documents value doesn’t exist in Hocon configuration. .Mismatch found for Mongo directory-mappings documents value and Hocon configuration.

  5. Eliminar Mongo directory-mapping colección si se cumplen los pasos anteriores.