O Jovem de Futuro (JF) é uma tecnologia de gestão escolar para resultados de aprendizagem desenvolvido para estimular o aprimoramento contínuo da gestão educacional e escolar com objetivo de melhorar a aprendizagem de todos os estudantes, aumentar o número de concluintes e reduzir as desigualdades nas escolas públicas de Ensino Médio.

Fundamentam a Gestão Escolar para Resultados de Aprendizagem cinco princípios e valores: participação; altas expectativas e valorização; respeito a contextos diversos; necessidade de inovar e equidade. Lançado em 2007, foi estruturado com base na premissa de que uma gestão de qualidade, eficiente, participativa e orientada para resultados, com equidade, pode proporcionar um impacto significativo no aprendizado.

O Jovem de Futuro, por meio de parceria com as Secretarias Estaduais de Educação, oferece diferentes instrumentos para dar suporte ao trabalho de gestão das escolas e das redes de ensino, como assessoria técnica, formações, análises de dados e sistemas tecnológicos de apoio à gestão escolar. O programa também estimula as trocas de experiências entre os profissionais envolvidos, de forma a contribuir para o fortalecimento dos conhecimentos produzidos em cada rede parceira.

Jovem de Futuro

O que é um Plano de Ação?

Plano de ação é um instrumento de gestão utilizado para o planejamento e acompanhamento das atividades necessárias ao alcance de um resultado desejado. Está sustentado por um propósito e orientado por princípios e valores. Ter um Plano de Ação permite monitorar a execução das atividades e medir se os resultados são possíveis de serem alcançados. Através do monitoramento e da avaliação, também é possível identificar as ações que, embora sejam executadas com sucesso, não são capazes de gerar resultados esperados.

Contexto: devolutivas qualitativas

Plano de Ação

Devolutiva

Pergunta norteadora e hipóteses

Hipóteses:

 - a avaliação feita pelo CEDAC indica quais são as características de um bom plano de ação

- o plano de ação e suas características afetam a aprendizagem (Ideb)

Como saber se um plano foi bem elaborado?

 - devolutivas qualitativas (CEDAC)

 - Ideb​

Plano de Ação

Práticas de Gestão

Aprendizagem (Ideb)

Pedagógico

Funcionamento
(% de aulas; % de alunos frequentes)

Foi isso que fizemos... 

Tradução das regras qualitativas do CEDAC em uma devolutiva automatizada para as escolas

         Regras baseadas em:

              1. devolutivas da CEDAC (84%)

              2. target como Ideb* de 2018 superior aos últimos 3 anos (65%)

         obs.: número entre parênteses corresponde à quantidade de estatísticas calculadas

Foi isso que fizemos (exemplo)

Possibilidade de Impacto da ação

Definição

de Produto

Relação de similaridade entre ação  e causa

O resultado esperado não pode ser o produto

1 se similar (>=0.75)

0.5 se relativamente similar (0.25<=x<0.75)

0 se pouco similar (<0.25)

1 se relativamente similar (>=0.75)

0.5 se similar (0.75<=x<0.90)

0 se bastante similar (<0.9<=x<=1)

Mapa de Ação

Target utilizada para o ponto de corte

CEDAC

Critério da Análise

Definição

Regras de Avaliação

Análise na Devolutiva

Critério da Análise

Definição

Regras de Avaliação

Análise na Devolutiva

Mapa de Ação

Target utilizada para o ponto de corte

CEDAC

Metodologias: Cálculos de Similaridade (Jaccard e Levenshtein)

Discussão sobre o target - reunião com o Think tank (13/05)

Premissa:

Se o plano de ação e suas características tem impacto sobre a aprendizagem, então a avaliação do plano de ação passa pelo caminho percorrido pela escola no Ideb*. 

Principais contribuições do Think tank:

1 - Não é fato que um bom plano irá aumentar o Ideb

(ex.: um bom plano pode não ser bem executado)

2 - O target pode estar contaminado por outros efeitos que não o impacto do plano na aprendizagem

(ex.: mudança do gestor escolar durante a execução do plano)

À procura de um target mais limpo

Alternativas propostas para a variável target:

1. variação do Ideb* após a entrada da escola no programa, em médias de 4 anos
    ("média de 4 anos antes X média de 4 anos depois")

2. impacto do programa Jovem de Futuro no Ideb

3. resíduo da regressão com controles​

Hipóteses:

• o efeito do JF como um todo pode ser utilizado como proxy para o efeito do plano de ação (o plano é uma ferramenta do JF);
• o efeito de planos de anos anteriores pode ser utilizado como proxy para o efeito do plano de 2018 (o plano muda anualmente);
• ao usar as subamostras, supomos que o que caracteriza um bom plano em uma UF se mantém para demais UFs;
• para a variável "média 4", supomos que a variação do Ideb não tem participação significativa de outros fatores que não o plano de ação.

2) DW-SGP = 2048 escolas; subamostra de impacto = 490 (perda de 80%)

Modelo heurístico com nova target (impacto)

1) quão diferente a subamostra é da amostra?

Nova proposta de modelagem

Hipótese: devolutivas da CEDAC são uma boa proxy para identificar um bom plano

Proposta: variável baseada unicamente nas devolutivas da CEDAC

Plano de Ação

Práticas de Gestão

Aprendizagem (Ideb)

Pedagógico

Funcionamento
(% de aulas; % de alunos frequentes)

Nova proposta de modelagem

Variável baseada unicamente nas devolutivas da CEDAC

Por mapa de ação
(1ª parte da devolutiva)

Plano de ação

Nova proposta de modelagem

Variável baseada unicamente nas devolutivas da CEDAC

Plano como um todo
(2ª parte da devolutiva)

Plano de ação

Inteligência Artificial (IA) + Modelo Heurístico

(planos de ação + devolutivas)

Corpo Textual 

A inteligência artificial (IA) aprende o vocabulário e as relações de contexto presentes no Corpo Textual 

IA - Etapa 1: Transferência de conhecimento especializado

IA - Etapa 2: Refinamento para classificação

Treinamento da IA para classificar o resultado mais provável na devolutiva.

Exemplo: probabilidade de 10% para pouca articulação,
60% para alguma articulação e 30% para articulação adequada.

Inteligência artificial + modelo heurístico

Eficiência e adequação (teste de sanidade do modelo)

Realizado durante o processo de treinamento da IA.

Inteligência artificial + modelo heurístico

Métricas: acurácia e f1-score

Determinam o quão assertivo é a IA com relação ao contexto e à classificação, assim como quantos falsos positivos e falsos negativos estão sendo detectados.  

Separação da amostra em 3 grupos: treinamento, validação e teste

IA - Etapa 3: Inferência textual

Inteligência artificial + modelo heurístico

Métricas adequadas possibilitam associar o comentário mais provável para cada critério de análise da devolutiva ao plano.

- Público alvo

- Quantidade de dias corridos no mapa

- Prazos de tarefas encadeados

- Proporção de dias letivos

- Quantidade de mapas

- Número de causas repetidas

- Número de responsáveis

- Número de tarefas propostas por mapa

- Número de cargos diferentes

- Número de professores responsáveis

- Número de responsáveis alunos

- etc ...

Heurístico - Etapa complementar ao modelo de IA

Inteligência artificial + modelo heurístico 

Utilizaremos mais algumas métricas para complementar as lacunas que não puderem ser captadas pelo modelo de IA.