13. Aula 13 - Avaliando as Predições de um Classificador

📊 Resumo do Vídeo: "Curso Ciência de Dados - Do Zero ao Iniciante (Aula 13: Avaliando as Predições de um Classificador)"

Neste vídeo, StatiR explica como avaliar a capacidade preditiva de algoritmos de Machine Learning. O foco está nas técnicas para separar dados de treino e teste, evitar erros de ajuste e escolher as melhores métricas de avaliação.

🌟 1. Por Que Avaliar as Predições?
Objetivo: Verificar se o modelo consegue generalizar bem para novos dados que ele não viu durante o treinamento.
Problemas Comuns:
Underfitting: O modelo não aprende bem nem no conjunto de treino.
Overfitting: O modelo aprende tão bem o conjunto de treino que não consegue generalizar para novos dados.

🧪 2. Técnicas de Validação

2.1 Holdout
Definição: Dividir o conjunto de dados em duas partes: treino e teste.
Exemplo: Usar 70% para treino e 30% para teste.
Vantagens: Simples e eficiente para bases pequenas.
Desvantagens: Não aproveita todo o dataset para treinamento.
2.2 Bootstrap
Definição: Reamostrar o conjunto de dados com reposição.
Cada linha tem a mesma probabilidade de ser selecionada várias vezes.
Linhas não selecionadas compõem automaticamente o conjunto de teste.
Vantagens: Mais robusto que o holdout, pois faz várias repetições para avaliar a performance média do modelo.
Desvantagens: Maior custo computacional.

📈 3. Como Funciona o Processo de Avaliação?
Divisão dos Dados:
Exemplo: 70% treino e 30% teste no método holdout.
Treinamento:
O modelo aprende com os dados de treino.
Teste:
O modelo é avaliado nos dados de teste, comparando as previsões com os rótulos reais.
Métricas:
Taxa de acerto, erro, precisão, e outras métricas específicas.

⚖️ 4. Escolhendo a Porcentagem Ideal para Treino/Teste
Regra Geral: 70% treino e 30% teste.
Datasets Grandes: Pode usar 80% treino e 20% teste.
Datasets Pequenos: Métodos como cross-validation ou bootstrap são mais indicados para aproveitar melhor os dados.

🌟 5. Aplicação Prática
Cenário: Uma base de clientes com informações sobre contratos ativos e cancelados (churn).
Processo:
Dividir a base de dados em treino e teste.
Treinar o modelo nos dados de treino.
Testar o modelo com dados novos e medir sua capacidade de prever cancelamentos.

🌟Para estudar por conta própria
Diferenças entre underfitting e overfitting. ⚖️
Como implementar bootstrap em um algoritmo de classificação. 📊
Exemplo prático de validação usando holdout e bootstrap. 🔍