AI ENGINE

FUNDAMENTALS

AIE FUNDAMENTALS

 

  • AI Engine Administration.

  • AI Engine Rule Wizard

  • Rule Block Relationships

  • The Relationship Time Limit

  • Rule Block Types

  • Log Observed Rule Block

  • Log Not Observe Compound Rule Block

  • Log Not Observe Schedule Block

  • Rule Block Configuration

  • The Setting Tab

  • Alarm Settings

  • Saving and Enabling New Rule Blocks

CHAP I. AI ENGINE RULES

AI Engine Administrator

  • Crear, clonar o editar reglas
  • Importar o exportar reglas
  • Reiniciar los servicios de AI Engine Server
  • Monitoreo de performance de las reglas del AI Engine

La adminsitración del AI Engine es realizada por el personal con rol de "LogRythm Global Administrator" (ubicada en el tab de AI Engine) localizado dentro del Deployment Manager en la consola cliente de LogRhythm.  Desde aqui se puede llevar acabo actividades como:

AI Engine Rule Wizard

El Wizard del AI Engine Rule es una herramienta diseñada para asistir al momento de configurar las reglas. Este asistente sera útil cuando elija clonar, editar o crear nuevas Reglas de AI Engine.

> Al ver una Regla de AI Engine existente, la primera ventana del asistente mostrará un resumen y el rango de tiempo del bloque de Reglas de AI Engine seleccionado.

 

> En la parte inferior de la ventana, se puede seleccionar una pestaña para ver o editar los ajustes de configuración deseados para la administración de datos, notificaciones, acciones de SmartResponse o información general sobre la regla de alarma AIE.

AI Engine Rule Wizard

Cuando se crea una nueva regla de AI Engine, la primera ventana del wizard mostrara el mensaje "Add a Rule Block Type to begin" dentro del panel de diseño (Rule Block Designer).

 

Simplemente se debe seleccionar el tipo de bloque de reglas deseado en el lado izquierdo del panel y luego arrastrar y soltar en el panel para comenzar.

Common Configuration

Las reglas de AI Engine usan filtros basados en el asistente de configuración de LogRhythm, la cual comparte algunas caracteristicas de la plataforma. Las Reglas del AI Engine  tienen un look and feel similar a las Alarmas tradicionales en LogRhythm. Consisten en criterios principales, Incluye y excluye filtros, criterios de día y hora, criterios de Log Source, agrupaciones y más.

Los administradores familiarizados con la configuración tradicional de alarmas en LogRhythm se sentirán cómodos con las ventanas de configuración del AI Engine Rule Block Wizard.

Creating Compound Rules

Como se menciono anteriormente, es bastante común combinar dos o más bloques de reglas para crear una regla compuesta. Esta característica le permite a AI Engine identificar y evaluar comportamientos muy complejos dentro de un entorno que, de otro modo, podrían ser pasados por alto por otros sistemas y por analistas humanos.

Se pueden combinar hasta tres bloques para una compleja correlación de datos

Correlacionar actividad de usuarios en uno o mas hosts:

  • Comparar logs de un router
  • A logs de un dispositivo IDS
  • A logs no encontrados en un host

Las reglas de AIE pasan información de un bloque a otro para que los datos correctos estén correlacionados.

Creating Compound Rules

Dado que AI Engine tiene la capacidad de ver todos los datos de cualquier sistema y correlacionar los datos con otros datos, proporciona un enfoque más holístico para correlacionar eventos que pueden estar ocurriendo en un entorno complejo, como la red de su organización.

¿Cómo sabe AIE qué registros correlacionar y comparar? Para responder a esta pregunta, necesitamos revisar acerca del "Rule Block Relationships"

Ejemplo:

"Puede correlacionar la actividad de un usuario en uno o mas hosts utilizando AI Engine para comparar logs de un router con los logs de un host y los logs de un dispositivo IDS o IPS".

Rule Block Relationships

Las reglas de AI Engine pasan información entre los bloques de reglas (Rule Blocks) por medio de relaciones (Relationship).

AI Engine utiliza un concepto denominado "Relationship" para correlacionar los datos observados, en función de los criterios especificados, en un bloque de reglas, con los datos observados, según los criterios especificados, en otro bloque de reglas.

  • Relacionado a través de los campos seleccionados en la pestaña "Group By"
     
  • Los campos de "Group By" no es necesario que sean iguales, sino que deben contener tipos de datos similares.

Rule Block Relationships

La relación en sí es muy simple: compara los campos de metadatos a lo largo de un rango de tiempo dado. La relación especifica la información de metadatos similares que será examinada por cada bloque de reglas (Rule Block).

Dado que la Relación especifica datos similares o similares de los que se examinarán en cada bloque de reglas, la Relación no tiene que comparar exactamente los mismos campos de metadatos. Los campos de metadatos Usuario (Origen) y Usuario (Impactado) ambos contienen información de la cuenta de usuario, por lo que los datos similares se pueden comparar entre sí. Esta comparación de diferentes campos de metadatos es necesaria cuando los roles cambian durante un evento.

The Relationship Time Limit

  • La entrada superior especifica cuánto tiempo debe monitorearse el segundo bloque de reglas para los valores coincidentes
     
  • La entrada inferior se usa para forzar al bloque de reglas 2 a esperar hasta que se cumplan los criterios para el bloque de reglas 1
     
  • Normalmente, ambos se evalúan simultáneamente, y el bloque de reglas 2 puede ver los criterios coincidentes antes de que se cumplan los criterios para el bloque de reglas 1

The Relationship Time Limit

"La relación entre los bloques de reglas incluye un limite de tiempo"

 

La entrada superior en el límite de tiempo especifica durante cuánto tiempo se permite al segundo bloque de reglas monitorear los valores coincidentes. Si se observa el log coincidente dentro del límite de tiempo, la regla AIE activará un evento o alarma. Esta configuración, como se muestra en la imagen anterior, simplemente indica que el Bloque de reglas 2 tiene una hora, después de que se cumplan los criterios del Bloque de reglas 1, para identificar un log coincidente antes de finalizar su búsqueda.

 

Si un bloque de reglas localiza su log coincidente en menos tiempo que el permitido, la regla AIE se evaluará como verdadera y detendrá el procesamiento. La regla no continúa durante toda la hora; más bien, se detendrá proactivamente cuando se active la regla, lo que liberará la capacidad para que otras Reglas AIE se procesen de manera más eficiente.

Rule Block Types

Cada uno consta de varios bloques de reglas; Algunos deben usarse en combinación con otros.

  • Log
  • Treshold
  • Unique Values
     
  • Behavioral
    • Whitelist
    • Trend
    • Statistical

Rule Block Types

A continuación revisaremos los tipos de bloques de reglas y como usarlo para crear reglas de AIE.

Cada tipo de bloque de reglas de AI Engine se encuentra en el panel izquierdo del Asistente de reglas de AI Engine. Algunos de estos bloques se pueden usar solos y otros se deben usar en combinación con otro bloque para crear una Regla AIE.

 

LogRhythm admite cuatro tipos de bloques de reglas; Cada tipo consta de varios bloques de reglas específicos:

LOG

  • Observed
  • Not  Observed Compound
  • Observed Scheduled

TRESHOLD

  • Observed
  • Not  Observed Compound
  • Not Observed Scheduled

UNIQUE VALUES

  • Observed
  • Not  Observed Compound
  • Not Observed Scheduled

BEHAVIORAL

  • Whitelist
  • Statistical
  • Trend

Log Observed RUle Block

  • Se comporta como una simple regla de alarma
     
  • Requiere solo un único mensaje de log para cumplir con los criterios de filtro
     
  • Cuando un log cumple los criterios, se activan las acciones correspondientes
     
  • Los datos de log se pueden pasar a otro bloque de reglas para una correlación adicional

Log Observed Rule Block

Caso de uso: Ataque Inminente

Puede configurar un bloque de reglas de log observado para monitorear los datos de inyección de SQL que se encuentran en los logs de transacciones de Apache o Microsoft IIS, ya que estos logs pueden indicar un ataque inminente o un compromiso de los datos corporativos confidenciales de su organización. El bloque de reglas de log observado podría combinarse con otro bloque de reglas configurado para monitorear los mensajes de log adicionales que podrían usarse para correlacionar esta suposición de ataque.

 

Cuando se han cumplido los criterios para ambos Bloques de Regla de la Regla de AIE, puede configurarse que sea activada una Alarma, enviar una notificación a los administradores y realizar una acción de corrección automática de SmartResponse para bloquear el ataque .

Log Not Observed Compound Rule Block

  • Supervisa la ausencia de un log, después de que se haya observado por primera vez un log específico
     
  • Los criterios para el bloque de reglas anterior deben cumplirse antes de que se ejecute
     
  • Debe seguir otro bloque de reglas
     
  • No puede ser el único bloque en una regla

Log Not Observed Compound Rule Block

Caso de uso: Fallo de reinicio en servicio de Windows detenido

Podría usarse un bloque de reglas compuestas de log no observado después de un bloque observado de log para detectar si un servicio de Windows se detiene y luego no reinicia. Podría configurar el primer bloque para supervisar la aparición de un log que contenga un mensaje de detención del servicio.
 

Después de observar este log, se ejecutará el segundo bloque para monitorear el log esperado que contiene un mensaje de inicio del servicio. Si el mensaje de inicio del servicio no se observa dentro de su rango de tiempo especificado, tal vez cinco minutos, AIE podría activar un Evento o Alarma para notificar un posible problema operacional.

Log Not observed Scheduled Block

  • Supervisa la ausencia de logs durante un período de tiempo programado
     
  • Si un log coincide con los criterios del filtro, la regla se activará.
     
  • No se puede seguir otro bloque de reglas
     
  • Debe ser el único bloque en una regla

Log Not observed Scheduled Block

El bloque de reglas programadas de log no observado vigila la observación de un log no esperado en un intervalo de tiempo específico. Si AIE observa este mensaje de log, todo se considera normal y no se activa ninguna acción.

Si no se observa el log durante el calendario previsto, AIE puede activar un nuevo evento o alarma para notificar que una tarea esperada no se observó según lo programado. El bloque de reglas programadas de log no observado, cuando se utiliza, debe ser el único bloque en la regla del motor de AI Engine.

Caso de uso: Backup incompleto en un tiempo programado

En este caso de uso, un Bloque de reglas programadas de log no observado podría configurarse para monitorear un log que contenga un mensaje de copia de seguridad completada durante un rango de tiempo específico cada noche. Si AIE no observa el mensaje de log que indica que el proceso de copia de seguridad se realizó con éxito y se completó, se podría activar un Evento y una Alarma para notificar la falla de la copia de seguridad. Esta advertencia avanzada podría permitir que su personal vuelva a intentar la copia de seguridad durante la noche.

Rule Block Configuration

Después de arrastrar y soltar un bloque en el panel del diseñador, se mostrará el asistente

  • Las pestañas se basan en el tipo de bloque de regla seleccionado
     
  • Se revisaran pestañas adicionales para cada tipo de bloque de reglas

THE SETTINGS TAB

Posterior a las configuraciones de los bloques deseados, el wizard regresará la vista hacia el la primer vista (Rule Blocks Tab). Se requiere avanzar por las pestañas siguientes para finalizar las configuraciones.

En la pestaña Settings especifica lo siguiente:​

 

  • Nombre del CommonEvent
  • Clasificación
  • Si las alarmas serán generadas
  • En envío del evento generado
  • Entre otros

aLARM SETTINGS

Solo se configuran las Notificaciones y acciones vía SmartResponse si la opción Alarm on event ocurrence se encuentra activa en la pestaña Settings.

SAVING AND ENABLING NEW RULE BLOCKS

Las reglas y alarmas asociadas deben ser habilitadas y el servicio del motor de correlación reiniciado antes de ser usadas.

Los siguientes son indicadores de que se requiere un reinicio en el servicio del motor de correlación:​

  • El botón Restart AI Engine Servers se activa.
  • Palabra Needed en la columna Restart.
  • Un mensaje de Warning después de ser guardada una regla.

CHAP II. THRESHOLD AND UNIQUE VALUE RULE BLOCKS

 

  • Threshold and Unique Values Rule Block Type.

  • Threshold Rule Blocks.

  • The Threshold Tab.

  • Setting the Threshold Time Limit.

  • Unique Values Rule Blocks.

  • The Unique Values Tab.

AIE FUNDAMENTALS

threshold and unique values rule blocks

Threshold y Unique Values permiten configuración de mayor complejidad.

Threshold Rule.

Busca un número idéntico de logs en periodo de tiempo especificado.

 

Unique Values Rule.

Monitorea un número específico de valores únicos encontrados en ciertos logs en un periodo de tiempo especificado.

threshold rule block

Utilizado para monitear algo que excede una condición "Normal"

Threshold Observed.

Los criterios se cumplen cuando el límite is alcanzado en un rango de tiempo.

 

Threshold Not Observed Compound.

Los criterios se cumplen cuando el límite no es alcanzado en un rango de tiempo.

Solamente puede se usado en combinación con otro bloque.

 

Threshold Not Observed Scheduled.

Los criterios se cumplen cuando el umbral no se cumple durante el intervalo de tiempo programado.

Debe existir solo este bloque en la regla, no puede ser usada en una regla compuesta.

Ejemplo: Monitoreo para la transferencia de datos que excede los 30 MB dentro de 10 minutos.

thE Threshold TAB

Se especifica el valor que debe ser observado o no.

Condicionales:

 

  • Cualquier o todos los límites deben ser cumplidos.

 

  • El límite debe ser cumplido dentro del periodo de tiempo configurado

SETTING THE THRESHOLD TIME LIMIT

Los límites de tiempo de los umbrales son usados también como límites de tiempo en las relaciones entre los bloques de reglas compuestas.

  • El límite de tiempo del umbral debe finalizar dentro del tiempo especificado en las relaciones

Ejemplo: En la imagen anterior el límite Size está asignado a un valor 10. Si este criterio es alcanzado dentro del periodo de tiempo configurado 10 minutos, la regla creará una alarma.

THRESHOLD TIME LIMITS VS RELATIONSHIP TIME LIMIT

Cuando un bloque Threshold es el segundo o tercero dentro de una regla, el Threshold Time Limit y Relationship Time Limit trabajan de manera independiente entre ellas.

  • Relationship Time Limit establece un límite de tiempo durante el cual el bloque Threshold puede ejecutarse en general.

 

  • Threshold Rule Block's Time Limit Las configuraciones para este item definen el tiempo permitido desde dónde el primer log observado identificado hasta que el valor límite es excedido. El temporizador del bloque Threshold debe completarse en el tiempo especificado dentro del Relationship Time Limit.

UNIQUE VALUES RULE BLOCKS

Se usa para monitorear la misma actividad que ocurre en un número diferente de equipos o usuarios.

Ejemplo: Estas reglas pueden supervisar la actividad de tipo Reconocimiento que se origina en el mismo host que afecta a otros 10 hosts únicos en el periodo de tiempo 10 minutos.

Unique Values Observed.

Los criterios se cumplen cuando el número de entradas únicas son observadas.

 

Unique Values Not Observed Compound.

El criterio se cumple cuando el número de entradas únicas no son observadas.

Solamente puede se usado en combinación con otro bloque.

 

Unique Values Not Observed Scheduled.

El criterio se cumple cuando el número de entradas únicas no son observadas.

Debe existir solo este bloque en la regla.

the UNIQUE VALUES TAB

Monitorea un número específico de diferentes valores según el metadato seleccionado.

Ejemplo: Monitoreo por un ataque de tipo Activity (Primary Criteria) originado desde un host (Group By) y que ocurre dentro de 10 diferentes hosts (Impacted)

NOTA: Los agrupamientos (Group BY) son  utilizados para pasar información entre los bloques mediante las relaciones con el fin de realizar comparativas requeridas entre los mismos.

chap iii. Behavioral rules: the statistical and trend block

  • Statistical Rule Blocks

  • Statiscal Rule Blocks: Primary Criteria and Data Filters

  • Statiscal Rule Blocks: Data Fields Tab

  • Statiscal Rule Blocks: Time and Schedule Tab

  • Statiscal Rule Blocks: Expressions Tab

  • Trend Rule Blocks

  • Trend Rule Block Configuration: The Data Fields Tab

  • Trend Rule Monitor Block: Time and Schedule Tab

  • Trend Rule Monitor Block: Expressions Tab

AIE FUNDAMENTALS

Statistical Rule Blocks

Realiza el trabajo de los Threshold y los bloques de reglas de Unique Values en una sola regla.

La mayor diferencia entre todos los demás bloques de reglas del AI Engine y los bloques de reglas de estadística y tendencia es que los últimos evalúan los datos durante un período de tiempo, en lugar de hacerlo en tiempo real.

Statistical Rule Blocks: Primary Criteria and Data Filters

El bloque estadístico, junto con todos los demás bloques de AI Engine, contiene las pestañas estándar de filtrado de datos.

 

Sin embargo, a diferencia de la mayoría de las reglas de AI Engine, que generalmente evalúan una amplia gama de mensajes de registro en tiempo real, el bloque de reglas estadísticas realiza una evaluación periódica de los datos recopilados durante un período de tiempo definido.

Statistical Rule Blocks: Primary Criteria and Data Filters

Statistical Rule Blocks: Data Fields Tab

Determina los datos que se utilizarán para evaluar los registros en la pestaña de expresiones

No se pueden utilizar los campos seleccionado en el tab "Group by".

 

Todos los campos de datos seleccionados aquí se utilizarán en la pestaña de expresiones.

Statistical Rule Blocks: Data Fields Tab

El tab de Data Fields se utiliza para seleccionar uno o más campos de metadatos, que pueden ser cuantitativos o no cuantitativos. La selección de los Campos de datos controla las opciones disponibles en la pestaña Expressions que el Bloque de reglas estadísticas usará en su evaluación de los datos recopilados.

 

El Asistente de bloque de reglas esperará que todos los campos seleccionados en la pestaña Campos de datos se usen en una de las expresiones en la pestaña Expresiones.

Statistical Rule Blocks: Time and Schedule Tab

Cada bloque de reglas estadísticas requiere que el Live Time se configure junto con su frecuencia de evaluación (Evaluation Frequency).

Live Time: En el bloque de reglas estadisticas, los datos del log en vivo son enviados como a un grupo de logs que se utilizarán para el análisis estadístico realizado por este bloque de reglas.


Evaluation Frequency: La propia regla estadística del AI Engine evaluará periódicamente los logs en función de un programa definido o automático.

Statistical Rule Blocks: Time and Schedule Tab

Evaluation Schedule

Además de la configuración anterior, el bloque de reglas estadísticas se puede configurar para que esté activo durante un horario determinado. Esta configuración es valiosa para las reglas que deben ser evaluadas solo durante las horas de oficina o fuera de las horas de trabajo.


Al utilizar esta configuración, solo se requerirá que AI Engine mantenga y evalúe los datos cuando los datos de destino de esta regla estén activos, con lo que se guardan los recursos de AI Engine para otras reglas.

Statistical Rule Blocks: Expressions Tab

Las expresiones de bloque de reglas le permiten crear una lógica de análisis estadístico para evaluar los datos de logs almacenados durante el período de evaluación, ademas contiene muchos tipos diferentes de expresiones, desde el recuento de logs hasta las comparaciones de tasas y las evaluaciones de umbrales, así como las comparaciones de histogramas.

Trend Rule Blocks

El bloque de reglas de tendencia analiza los datos durante un período de evaluación; sin embargo, a diferencia del bloque de reglas estadísticas, el bloque de tendencias se usa a menudo para comparar datos de live log con una línea de base de datos almacenada para reconocer variaciones en los datos de log a lo largo del tiempo.

 

  • Los bloques de reglas de tendencia utilizan un modo de aprendizaje similar al perfil para establecer una línea de base, y requieren la configuración de un segundo bloque de reglas, al igual que el bloque de reglas de Whitelist. Los bloques de reglas de tendencia utilizan un concepto de una línea de base móvil.
     
  • Esta línea de base agregará dinámicamente nuevos logs que coincidan con los criterios del bloque de reglas en la línea de base; estos datos se pueden utilizar inmediatamente para establecer tendencias en el período de evaluación.

Trend Rule Blocks

La configuración de la línea de base de tendencias debe completarse antes de la configuración del bloque Monitores de tendencias.

Al igual que el bloque de lista blanca, el bloque de tendencia se puede configurar automáticamente para compartir el mismo filtro de datos que el bloque de línea de base, o se puede configurar de forma personalizada con un filtro separado. Por lo general, las dos configuraciones son las mismas.

Trend Rule Blocks: The Data Fields Tab

El asistente de configuración del bloque de línea de base de la regla de tendencia contiene la pestaña Data Fields. Esta pestaña se usa para definir qué campos de metadatos se deben usar para realizar expresiones de comparación dentro del bloque de monitores.

Cuando haya completado la configuración del bloque de Baseline, se le preguntará si desea que la configuración se clone para la configuración del bloque de monitor. En la mayoría de los casos, será el mismo, y seleccionará .

Trend Rule Monitor Block: Time and Schedule Tab

La configuración del bloque de supervisión de la regla de tendencia contiene la pestaña Time and Schedule. Esta pestaña se utiliza para definir tanto el Período de tiempo en vivo como el Período de tiempo de referencia.

Establezca el tiempo de referencia mucho más grande que el Live Timepara que los períodos de inactividad (durante la noche) no afecten el bloque de reglas.

Ejemplo: monitorear el acceso de los usuarios a los archivos para una actividad más frecuente de lo normal
 

Trend Rule Monitor Block: Time and Schedule Tab

La configuración del período de tiempo de línea base ajustará el conjunto de datos de línea base más grande en función de una ventana de tiempo deslizante. Por ejemplo, es posible que desee crear una línea de base de cinco horas de datos recopilados para crear el promedio de línea de base con el que se comparará el bloque de monitor o el período de tiempo real.

 

Establecer un período de tiempo de referencia mayor ayudará a evitar falsos positivos para aumentos y disminuciones menores en la actividad a lo largo del tiempo, así como a producir un mejor valor promedio de los campos de datos recopilados.

Trend Rule Monitor Block: Expressions Tab

Habilitar las comparaciones de los datos recopilados durante el período de tiempo de referencia con los datos recopilados durante el período de tiempo real

Las expresiones permiten que el bloque del monitor de reglas de tendencia realice una comparación de los datos recopilados durante el período de tiempo de referencia con los datos del período Live Time. Todas las expresiones se definen en la configuración del bloque de supervisión para las reglas de tendencias.

Trend Rule Monitor Block: Expressions Tab

Puede agregar varias expresiones a la regla seleccionando de la lista de expresiones disponibles.

Trend Rule Monitor Block: Expressions Tab

Luego especifique los detalles de comparación que desee en la ventana del generador de expresiones.

Caso de uso: Comparación de carga del servidor

Caso: Un administrador busca crear una regla de tendencias para monitorear un servidor crítico para su carga general, y crear eventos y alarmas cuando la carga en el servidor excede cuatro veces la carga normal.

Configuración: El administrador crea una nueva regla de AI Engine utilizando el bloque de Regla de tendencia. El filtro para este bloque está configurado para monitorear toda la actividad en un host. Esto incluye toda la actividad del usuario, la actividad de autenticación y acceso, la actividad operativa, incluidos los errores y advertencias, y cualquier otra información que pueda asociarse a ese host.

Trend Rule Monitor Block: Expressions Tab

El administrador luego configura los Data Fields para que haga el reconteo de logs (cuántos logs se han observado en relación con este host). El administrador configura los campos Group By para incluir los campos Host (Origen) y Host (Impacto). El administrador configura un período de tiempo de referencia de cuatro horas con un período de Live Time de una hora.

En la pestaña Expresiones, el administrador agrega la expresión de comparación de recuento de logs y la configura para que se active si la cantidad de logs observados en el período de tiempo en vivo es al menos cuatro veces mayor que la cantidad de logs observados durante el período de línea de base.

Continuación Caso de uso...

"Esta Regla de tendencia creará nuevos eventos y alarmas si el servidor crítico aparece en los logs a una velocidad que supera cuatro veces el volumen de log promedio "normal", según lo medido por la línea de base móvil. Tan pronto como la carga en el servidor caiga dentro del valor de Línea de base, los Eventos y las Alarmas dejarán de generarse".

AI ENGINE FUNDAMENTALS

By Julio César

AI ENGINE FUNDAMENTALS

Courso de LogRhythm

  • 146
Loading comments...

More from Julio César