quinta-feira, 26 de novembro de 2020

Regressão Robusta e Paramétrica no SAS

 

Regressão Robusta e Paramétrica no SAS

Regressão Robusta e Paramétrica no SAS


data com;
input x y;
cards;
30   430
21   335
35   520
42   490
37   470
2    2100
8    195
17   270
35   400
25   480
20   400
;
/* Com orlier Y = 2100 */

proc robustreg method = m;
model y = x;

/* y: Efeito x: Causa */
run;






Resolveremos o que é possível com o Excel, mas simularemos que o último valor de vendas é 4000, pode ser por um erro de digitação ou uma realidade muito particular (vendas em Cuiabá quando se vende a soja, milho e algodão). 

==> Única solução Regressão Robusta.







Artigo de Machine Learning Premiado pela Editora Elsevier - Revista Food Chemisry

 Artigo de Machine Learning Premiado pela Editora Elsevier - Revista Food Chemisry 


Arquivo do Paper Completo para Fazerem Download:


Paper Completo em pdf





Resumo do Trabalho




Resumo:

O rebanho de gado bovino se aproxima de 215 milhões de animais distribuídos em uma vasta área de 160 milhões de hectares, levando o pais para a primeira posição do mundo em exportação de carne bovina e segundo em produção de carne e consumo. Foram selecionados animais para este estudo animais dos biomas Amazônia, Caatinga, Cerrado, Pampa e Pantanal. As amostras de carne foram analisadas para composição elementar utilizando a técnica analítica Ativação Neurônica Instrumental e classificadas de acordo com seu origem através de algoritmos de machine learning (Multilayer Perseptron-Redes Neurais, Random Forest-Floresta Aleatória e Arvores para Classificação e Regressão). Foram observadas diferenças altamente significativas (p < 0,0001) entre a concentração elementar para os diferentes biomas, utilizando contrastes multivariados da NPMANOVA. A melhor performance para classificação foi obtida na comparação dos biomas Amazônia e Caatinga, utilizando Multilayer Perceptron, de uma camada de neurônios. Os resultados mostram a viabilidade de combinar conteúdo de elementos traço e machine learning para a rastreabilidade da carne bovina brasileira por bioma.





Slides Ilustrativos Sobre o Artigo






Videoaulas de Regressão - Macro em Excel - Problema de Outlier

Resolveremos o que é possível com o Excel, mas simularemos que o último valor de vendas é 4000, pode ser por um erro de digitação ou uma realidade muito particular (vendas em Cuiabá quando se vende a soja, milho e algodão). 

==> Única solução Regressão Robusta.











  Videoaulas de Regressão - Macro em Excel  - EXCEL 

                                            AVANÇADO




Videoaula 1 - Resolvendo Graficamente e Sem Probabilidade 
( Sem Macros em Excel)

https://www.youtube.com/watch?v=HWnrEfMHOZw&feature=youtu.be





Videoaula 2 - Resolvendo com Probabilidade, Margem de Erro e Margem de Confiança, Inferência Estatística - Macro de Regressão em Excel


https://www.youtube.com/watch?v=qLbziQKSeB8&feature=youtu.be


 Propaganda - Vendas 

X

Y

30

430

21

335

35

520

42

490

37

470

2

210

8

195

17

270

35

400

25

480





Arquivo para Download








Coeficiente Angular ou Coeficiente de Regressão = 8,3
Quanto aumenta a Venda (Y) quando incremento uma unidade em Propaganda (X)

 

 

Coeficiente Linear = 170,78

Indica quanto venderei em cada unidade de negócio se não fizer propaganda (X=0) 



     Coeficiente de Determinação ou R Quadrado 

Se Coef. Determinação:
0-0,2 = Muito Ruim o Modelo
0,2-0,4 = Ruim
0,4-0,6 = Regular (nem bom nem ruim)
0,6-0,8 = Bom
0,8 - 1 = Muito Bom


coeficiente de determinação, também chamado de , é uma medida de ajustamento de um modelo estatístico linear generalizado, como a Regressão linear, em relação aos valores observados. O R² varia entre 0 e 1, indicando, em percentagem, o quanto o modelo consegue explicar os valores observados. Quanto maior o R², mais explicativo é modelo, melhor ele se ajusta à amostra.
Por exemplo, se o R² de um modelo é 0,8234, isto significa que 82,34% da variável dependente (Y) consegue ser explicada pelos regressores (X) presentes no modelo. Fonte Wikipedia.



Regressão Linear é um dos modelos mais atrativos devido a sua representação entendível, no caso da regressão linear simples sua utilização é mais para aprendizado, já que na prática ela não é muito aplicada, visto que, em muitos casos a gama de variáveis de entradas é maior, fazendo-se uso da Regressão Linear Multivariável, ao qual não adentraremos nesse post. O modelo de representação da regressão linear simples é a tradicional equação conhecida como equação da reta ou em inglês slope-intercept form, usaremos a notação mais utilizada em exemplos de Machine Learning e não da matemática, mas você pode saber mais sobre a própria equação neste link.
Temos o y a variável dependente que representa a predição, as letras gregas β (Beta), também conhecidos como coeficientes, que são a representação das variáveis que o algoritmo irá utilizar para “aprender” a produzir as previsões mais precisas e o x a variável independente que representa o dado de entrada. As letras gregas β também são conhecidas como inclinação e interceptação ou em inglês intercept-slope.

Função de custo


Função de custo, no inglês cost function ou ainda ordinary least squares é uma função utilizada para medir o quão errado o modelo está, os chamados resíduos. Isto é, consiste no cálculo da distância de cada ponto (distância essa entre as variáveis x e y) em relação a reta de regressão, esse valor é elevado ao quadrado e somado, o total é a quantidade média de erro do modelo.

quarta-feira, 25 de novembro de 2020

Aula 26/11/2020

Link:  https://meet.google.com/vxq-xwvn-myt

Videaoulas de 19/11 em postgem de  19/11



Pauta

- Sist. de Gestão mais Importantes

- Extrategia do Oceano Azul - Ver slides em Aula.ppt

- Regressão Robusta - Estatística Robusta (subconjunto Não Paramétrica)

- Nota e Prova - Postagem

- Leitura parcial de Clinicas: 

Projeto: Inteligência e Soluções 4.0 e 5.0 - Sub Projeto CLINICAS

- Case Vanessa Taconha

     - Dinámicas

             - Grafico de Uniformidade

             - Box Plots e Tukey

Exercicio 12 - Pratico - Exemplo conjunto - De ML S - Clasif. e Previsão

 Exercicio 12 - Pratico - Exemplo conjunto - De ML S - Clasif. e Previsão 



Exercicio 12 - Pratico - Exemplo conjunto

 

Exercício 10 Prático:

Crie um exemplo na área Económica para utilizar Machine Learning Supervisionado para Regressão - Previsão, rode o exemplo no Weka. Rode também o exemplo no SAS e Excel (Utilizando Macro de Regressão). Interprete os resultados.

Dead Line: 15/12/2020


Exemplo Criado en Sala de Aulas para o Exercicio 9:


@RELATION cat


@ATTRIBUTE receita REAL

@ATTRIBUTE custo REAL

@ATTRIBUTE nps REAL

@ATTRIBUTE inovacao REAL

@ATTRIBUTE reclam REAL

@ATTRIBUTE categ {B,R,MB}


@DATA  


5,2,4,5,3,B

3,4,5,4,5,B

4,3,4.5,4.5,4,B

2,2,1,3,1,R

3,2,2,2,5,R

2.5,2,1.5,2.5,3,R

5,4,5,5,5,MB

4,3,5,5,4,MB

4.5,3.5,5,5,4.5,MB

5,2,4,5,3,B

3,4,5,4,5,B

4,3,4.5,4.5,4,B

2,2,1,3,1,R

3,2,2,2,5,R

2.5,2,1.5,2.5,3,R

5,4,5,5,5,MB

4,3,5,5,4,MB

4.5,3.5,5,5,4.5,MB


Modificação do Exercício 9 para ser um exemplo do Exercício 10

 

@RELATION cat

 

@ATTRIBUTE receita REAL

@ATTRIBUTE custo REAL

@ATTRIBUTE nps REAL

@ATTRIBUTE inovacao REAL

@ATTRIBUTE reclam REAL

@ATTRIBUTE categ REAL

 

@DATA  

 

 

5,2,4,5,3,2

3,4,5,4,5,2

4,3,4.5,4.5,4,2

2,2,1,3,1,1

3,2,2,2,5,1

2.5,2,1.5,2.5,3,1

5,4,5,5,5,3

4,3,5,5,4,3

4.5,3.5,5,5,4.5,3

5,2,4,5,3,2

3,4,5,4,5,2

4,3,4.5,4.5,4,2

2,2,1,3,1,1

3,2,2,2,5,1

2.5,2,1.5,2.5,3,1

5,4,5,5,5,3

4,3,5,5,4,3

4.5,3.5,5,5,4.5,3

 

 


 Modelo Estimado (Inferencia Indutiva), ML Supervicionaldo para Regressão - Prev.



 categ =

 

      0.3097 * receita +

      0.3456 * custo +

      0.2356 * nps +

     -0.1363 * reclam è Trabalhando Mal +

     -0.4559

 

 


Utilização do Weka - Como programa inicial para Inteligencia Artificial

  Utilização do Weka - Como programa inicial para Inteligencia Artificial - Depois SAS - R - Python






Horarios de Consulta - Todos os Días

 Horarios de Consulta - Todos os Días


Contato por Whatsapp ou Skype, E-Mail ou Google Meet.

Whatsapp: 019-988-627-438

Skype: gatoluz

E-Mail: gasarrie@usp.br

Google Meet: zwz-pbzr-qkx