Análisis distribuido de malware y metadatos en archivos

Blog sobre seguridad informática. Con temas como: Auditoria, Test penetración, Malware, Informática Forense, Antivirus, SCADA, DDoS, SQL injection, OSINT…

MultiScanner es un marco de análisis de archivos distribuido que ayuda al usuario a evaluar un conjunto de archivos ejecutando automáticamente un conjunto de herramientas. Las herramientas pueden ser scripts Python personalizados, API web, software que se ejecuta en otra máquina, etc. Las herramientas se incorporan mediante la creación de módulos que se ejecutan en el marco MultiScanner.

Por diseño, los módulos pueden escribirse rápidamente e incorporarse fácilmente al marco. Si bien los módulos actuales están relacionados con el análisis de malware, el marco MultiScanner no tiene un alcance limitado.

MultiScanner admite un flujo de trabajo distribuido para almacenamiento de muestras, análisis y visualización de informes. Esta funcionalidad incluye una interfaz web, una API REST, un sistema de archivos distribuido (GlusterFS), almacenamiento/búsqueda de informes distribuidos (Elasticsearch) y gestión de tareas distribuidas (Celery/RabbitMQ).

Como se ilustra en el diagrama a continuación, MultiScanner ayuda al analista de malware, permitiendo el análisis con herramientas automáticas y herramientas manuales, proporcionando capacidades de integración y escalado, y corrolando resultados de análisis. Permite a los analistas asociar metadatos con muestras y también permite la integración de datos de fuentes externas. MultiScanner es particularmente útil porque los datos están vinculados a través de herramientas y muestras, lo que permite pivotar y análisis.

Flujo de trabajo completo

Cada paso del flujo de trabajo de MultiScanner se describe debajo del diagrama.

El usuario envía un archivo de muestra a través de la interfaz de usuario web (o API REST)

1. La interfaz de usuario web (o API REST):
   1. Almacena el archivo en el sistema de archivos distribuido (GlusterFS)
   2. Coloca la tarea en la cola de tareas (Apio)
   3. Agrega una entrada a la base de datos de administración de tareas (PostgreSQL)
2. Un nodo trabajador:
   1. Extrae la tarea de la cola de tareas de apio
   2. Recupera el archivo de muestra correspondiente del GlusterFS a través de su valor SHA256
   3. Analiza el archivo.
   4. Genera un blob JSON y lo indexa en Elasticsearch
   5. Actualiza la base de datos de gestión de tareas con el estado de la tarea («completa»)
3. La interfaz de usuario web (o API REST):
   1. Obtiene la ID de informe asociada con la ID de tarea
   2. Extrae el informe de análisis del almacén de datos de Elasticsearch

Análisis

Las herramientas de análisis están integradas en MultiScanner a través de módulos que se ejecutan en el marco MultiScanner. Las herramientas pueden ser scripts Python personalizados, API web o aplicaciones de software que se ejecutan en diferentes máquinas. Las categorías de módulos existentes incluyen: escaneo antivirus, ejecución sandbox, extracción de metadatos y escaneo de firmas. Los módulos se pueden habilitar/deshabilitar a través de un archivo de configuración.

Resultados

La habilitación de análisis y consultas avanzadas es la principal ventaja de ejecutar varias herramientas en una muestra, extraer la mayor cantidad de información posible y almacenar la salida en un almacén de datos común. Por ejemplo, los siguientes tipos de análisis y consultas son posibles:

• muestras de racimo
• muestras atípicas
• muestras para análisis de inmersión profunda
• vacíos en el conjunto de herramientas actual
• análisis de aprendizaje automático sobre salidas de herramientas

Informes

Los datos de análisis capturados o generados por MultiScanner son accesibles de tres maneras:

• Interfaz de usuario web de MultiScanner: el contenido de la base de datos de Elasticsearch se puede ver a través de la interfaz de usuario web. Consulte la sección de interfaz de usuario web para más detalles.
• Informes MultiScanner: los informes MultiScanner reflejan el contenido de la base de datos MultiScanner y se proporcionan en formatos JSON y PDF sin formato. Estos informes capturan todo el contenido asociado con una muestra.
• Los informes basados ​​en STIX pronto estarán disponibles en múltiples formatos: JSON, PDF, HTML y texto.

MultiScanner está destinado a ser utilizado por centros de operaciones de seguridad, centros de análisis de malware y otras organizaciones involucradas con el intercambio de inteligencia de amenazas cibernéticas (CTI).

Más información y descarga de MultiScanner:

https://github.com/mitre/multiscanner

La entrada Análisis distribuido de malware y metadatos en archivos se publicó primero en GURÚ DE LA INFORMÁTICA.