Análise de dados e Estatística Descritiva

XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

Probabilidade

XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

Estatística Inferencial

XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

Ciência de Dados

XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

Econometria

XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

sexta-feira, 30 de setembro de 2011

Gráficos Fantásticos: estatísticas de forma bela e divertida

Hans Rosling mostra as melhores estatísticas que você já viu
Você nunca viu dados apresentados desta forma. Com o drama e a urgência de um narrador esportivo, o guru de estatísticas Hans Rosling desvenda mitos sobre o chamado "mundo em desenvolvimento".
























Hans Rosling revela novas percepções sobre a pobreza
O pesquisador hans Rosling usa sua impressionante ferramenta de análise de dados para mostrar como os países estão saindo pobreza. Ele demostra a Rua do Dólar, onde compara residencias de vários níveis de renda ao redor do mundo. Então ele faz algo realmente incrível.


David McCandless: A beleza da visualização de dados
David McCandless transforma conjuntos de dados complexos como gastos militares mundiais, media buzz, atualizações do Facebook e mais em bonitos ainda que simples diagramas. Ele propõe design de informação como a ferramenta que usamos para navegar através do excesso de informação de hoje, achando padrões únicos e conexões que podem mudar a maneira como vemos o mundo.


Fernanda Viegas
Fernandas Viegas no TEDxSP

sábado, 27 de agosto de 2011


NUMB3RS

Todos nós usamos a estatística e a matemática todos os dias. A máxima, difícil de ser acreditada pelos que não gostam dessa ciência exata, é provada diversas vezes nessa série de investigação criminal.

Inspirada em casos reais, como a maioria dos seriados do gênero, "Numb3rs" traz os detalhes das investigações de um agente do FBI, Don Eppes, que conta com a consultoria do seu irmão mais novo, Charlie Eppes, um gênio da matemática aplicada, que consegue ver o que está por trás de cada evidência, utilizando-se de estatística, matemática e fisíca através de equações numéricas e cálculos de probabilidades.

A série oferece um ponto de vista interessante sobre a investigação criminal, mostrando como a estatística e matemática realmente está presente em tudo. Mas não se trata apenas de solucionar crimes, pois há diversos momentos de um humor leve, mostrando o relacionamento entre os irmãos e seu pai, além de focalizar na cautela que o resto da equipe do FBI tem com os métodos de Charlie, que, apesar de não muito usuais, trazem resultados.

Charlie conta com o apoio de seu amigo Larry, um físico com quem compartilha o mesmo ponto de vista sobre a matématica. Mesmo com diferentes estilos de vida e pontos de vista, muitas vezes, divergentes, os irmãos Don e Charlie conseguem se unir para solucionar os crimes mais desafiadores da cidade de Los Angeles.

quinta-feira, 21 de julho de 2011


Sistema Action

Um software de estatística desenvolvido para você, com fácil utilização, abrangente e confiável. O sistema Action foi desenvolvido sob plataforma R, um dos sistemas de estatística mais utilizados atualmente.

O Sistema Action representa uma grande evolução em relação aos softwares de estatística:

- Permite que você trabalhe junto com o Excel, de forma integrada;
- É fácil de instalar, criativo e contempla as principais necessidades do usuário de estatística;
- Está cada vez mais intuitivo, mais fácil de usar do que nunca, com uma grande quantidade de funcionalidades
- Você pode baixar o sistema Action sem nenhum custo e pode usá-lo para qualquer propósito – em empresas privadas, entidades com ou sem fins lucrativos, escolas, governo e administração pública em geral. Você pode repassar cópias para seus familiares, amigos, alunos, empregados, etc. Ajude a difundir o sistema Action!

O que há de importante sobre o Sistema Action?

O sistema Action é um sistema aberto e democrático para o uso da estatística:

- Este programa é um software livre; você pode utiliza-lo sob os termos da Licença Pública Geral GNU;
- Sem barreira de idioma – está disponível em Português e Inglês;
- Primeiro sistema de estatística que utiliza a plataforma R e o Excel de forma integrada, tudo para facilitar e agilizar suas análises estatísticas;

O sistema Action é sinônimo de qualidade:

- Suas raízes remontam a cerca de 10 anos, que resulta numa grande experiência acumulada;
- Todas as análises estatísticas estão baseadas sob a plataforma R, o sistema de estatística que mais cresce no mundo, sendo o sistema oficial da maioria dos estatísticos e empresas de tecnologia;
- Atualmente contamos com milhares de usuários dos mais diversos ramos da industria, governo e universidades;
- Com um processo de desenvolvimento totalmente aberto, o sistema Action não tem nada a esconder – o produto se mantém devido aos esforços e reputação da Equipe Estatcamp no cenário da estatística brasileira;

O Action é amigável:

- O programa se parece e se comporta de forma familiar e pode ser utilizado imediatamente por quem já usou um produto concorrente;
- É fácil mudar para o sistema Action, ele se comporta como um suplemento do Excel e tem um manual detalhado com a descrição de todas as funcionalidades;
- O sistema Action é suportado pela Estatcamp e uma comunidade de voluntários, com vasta experiência em Estatística e Computação, dispostos a ajudar tanto os usuários novos quanto os mais experientes;

O que tem no Action?

Estatística Básica: contempla as ferramentas básicas de análise exploratória de dados, distribuição de freqüências e os testes de média, variância, proporções e taxas. Além de testes de normalidade;

Distribuições: para as principais distribuições de probabilidade discretas e contínuas, calculamos os quantis, percentis, densidade e também geramos amostras aleatórias;

ANOVA: este módulo apresenta as principais ferramentas de comparação de fatores na performance de produtos e serviços. Temos o modelo de ANOVA com efeitos fixo, misto e aleatório, os métodos clássicos de comparação múltipla (testes de Tuckey, Fisher, Dunnett e HSU) e os testes de variância (Levene e Bartlet). Também dispomos diversos gráficos (Gráfico de Efeitos Principais, Gráfico de Interações, Gráfico de Intervalo de Confiança) que simplificam suas análises e diagnósticos. Finalmente, dispomos o teste de Welch para o caso em que os dados não apresentam homogeneidade da variância e o teste não paramétrico de Kruskal-Wallis para o caso em que a hipótese de normalidade dos dados seja violada.

Modelos: as principais ferramentas de modelos lineares e modelos lineares generalizados são contemplados neste módulo. Neste módulo, realizamos análise de regressão linear e não linear, regressão binomial e regressão multinomial. Também, fazemos diversos tipos de gráficos para facilitar a sua análise.

Não-paramétrico: as principais técnicas não paramétricas para análise de dados estão disponíveis neste módulo. Entre elas, temos os testes de Wilcoxon e o teste de Kruskal-Wallis.

Gráficos: Uma variedade de gráficos estão disponíveis neste módulo. Temos os tradicionais, histograma, Box-Plot, Pareto, Dot Plot e gráficos 3D. Tudo para tornar a sua apresentação dinâmica, fácil e compreensível.

Confiabilidade: as principais técnicas de confiabilidade e análise de sobrevivência estão disponíveis neste módulo. Desde técnicas simples, como ajuste da distribuição Weibull e o estimador de Kaplan-Meier até às técnicas de testes de vida acelerada e os modelos de regressão locação-escala. Também apresentamos uma técnica para determinar o quantidade de itens necessários para atender às especificações do seu cliente, denominado plano de determinação.

Ferramentas da Qualidade: contemplamos as principais ferramentas da qualidade, como CEP, Análise de capacidade do processo, Análise dos sistemas de medição (MSA) e indicadores da qualidade. A ferramenta CEP contempla os principais tipos de gráficos, como o Xbar e R, Xbar e s, Valores individuais e amplitude móvel, entre outros. Também temos os principais gráficos por atributo. A ferramenta MSA apresenta todas as técnicas para análise de sistemas replicáveis e não replicáveis (ou destrutivos). Também temos um módulo para análise de sistemas atributivos. Nosso módulo de análise de capacidade e performance do processo é um dos mais completos. Inicialmente, temos um módulo para testar qual distribuição de probabilidade se adequa ao seu conjunto de dados. Caso seu conjunto de dados se ajusta a distribuição normal, você pode aplicar as técnicas tradicionais. Caso seu conjunto de dados não se ajuste a distribuição normal, temos uma gama de possibilidades que vão desde transformação de dados (Box-Cox), ajuste de outras distribuições (Weibul, Lognormal, etc.) até técnicas não paramétricas, como o método de Núcleo. Além disso, temos um módulo com indicadores da qualidade (DPU e DPMO) e gráficos como Ishikawa. Em resumo, um módulo completo para que você possa realizar suas análise e apresentar de forma fácil e compreensível.

DOE: este módulo contempla uma das mais poderosas ferramentas para melhoria de processos, produtos e serviços. Aqui, fazemos o planejamento do seu experimento, as principais técnicas de análise e os gráficos adequados para que sua apresentação seja compreendida por todos. Este módulo também apresenta uma série de técnicas para que você possa realizar uma análise da superfície de resposta do processo e com isso, determinar quais são os níveis dos fatores de impacto que maximizam a performance de seu processo, produto ou serviço.

Análise Multivariada: temos técnicas simples para agrupamento de dados e formação de cluster. Também, temos o recurso da MANOVA que lhe permite estudar fatores de impacto em processo, produtos ou serviços com múltiplas características da qualidade.

Poder e o tamanho da amostra: aqui utilizamos a técnica da função poder para determinar o tamanho da amostra necessário para realizar o seu experimento. Neste módulo, aplicamos esta técnica em teste simples como o teste t até testes mais complexos como ANOVA e o teste qui-quadrado.

sábado, 4 de junho de 2011


Academia Khan: Novo método de Ensino de Matemática



Salman Khan fala sobre como e porquê ele criou a incrível Khan Academy, um série de vídeos educacionais cuidadosamente estruturada que oferece matérias completas de matemática e, agora, de outras disciplinas. Ele mostra o poder dos exercícios interativos, e pede que os professores considerem inverter o modelo tradicional da sala de aula – dar aos estudantes vídeo-aulas para assistir em casa, fazer a 'lição de casa' na sala de aula com o professor disponível para ajudar.

terça-feira, 17 de maio de 2011

Um Grande Mestre: O Prof. Wilton de Oliveira Bussab !
By Gauss Cordeiro



Um dia muito triste esta 2ª feira, dia 16 de maio de 2011, para a Estatística Brasileira que ficou mais pobre com o falecimento do Prof. Wilton de Oliveira Bussab. Ele era professor aposentado do Instituto de Matemática e Estatística da Universidade de São Paulo e professor da Escola de Administração de Empresas da Fundação Getulio Vargas, em São Paulo. O Prof. Bussab foi ainda Presidente da Associação Brasileira de Estatística (ABE) em duas ocasiões, 1986 a 1988 e 2006 a 2008, e tinha grande experiência científica nas áreas de análise multivariada, amostragem e metodologia quantitativa.

O Prof. Wilton era Bacharel e Licenciado em Matemática pela Universidade de São Paulo (1964) e foi um dos primeiros mestres em Estatística desta instituição (1971). Fez doutorado na prestigiosa London School of Economics (University of London), em 1976, defendendo tese sob a orientação de Martin Knott. Tinha vários livros publicados, sendo que seu livro "Estatística Básica", em co-autoria com Pedro Morettin, é o livro mais conhecido em português da área de Estatística.

O Prof. Bussab desenvolveu inúmeras atividades de assessoria estatística para empresas e instituições governamentais. Era um exímio professor com aulas interessantes que atraíam grande audiência. Ele orientou várias dissertações de mestrado e teses de doutorado, de professores que ocupam posição de destaque no cenário da Estatística nacional. Era uma presença sempre muito respeitada e admirada nos eventos que participava com frequência. Em 2006, ganhou o Prêmio ABE pelos relevantes serviços prestados ao desenvolvimento da Estatística no País.

Conheci o Prof. Wilton em 1978 durante o 3º Simpósio Nacional de Probabilidade e Estatística (SINAPE) e, desde então, passei a admirá-lo como uma pessoa correta, de princípios, comedida, muito educada e atenciosa, um pouco reservada, e que sempre
se mostrava interessado em ajudar aos seus alunos a aprenderem mais e mais os princípios e as técnicas estatísticas.

Em uma reunião regional da ABE que coordenei em Recife, em 1986, ficamos mais próximos, e fomos jantar juntos em alguns restaurantes de Boa Viagem e Olinda. À época, ele era Presidente da ABE. A última vez que estive com ele foi em Águas de São Pedro, durante o último SINAPE, realizado em julho de 2010. Acompanhei, mesmo distante, de Recife, preocupado e bem atento ao seu problema de saúde. Tenho firme convicção que ele deixou milhares de admiradores na academia e fora dela, entre eles, eu. Infelizmente, a vida não é nunca como nós queremos! Pessoas como o Bussab deveriam viver pelo menos 200 anos, para que nos proporcionasse mais ensinamentos e coisas boas com sua dileta presença.



Fonte: http://gausscordeiro.blogspot.com/

terça-feira, 9 de março de 2010

::: O Business Intelligence pode ir além da área de negócios... :::




O termo BI (Business Intelligence) é associado à inteligência nos negócios, ou seja, o uso de informações de maneira diferenciada para obter vantagem competitiva diante dos concorrentes. Estas informações são disponibilizadas pelos chamados Sistemas de Apoio à Decisão (SAD), cujo termo vem do inglês Executive Support Systems (ESS).

Antes de aprofundar a discussão acerca do Business Intelligence é necessário apresentar conceitualmente a diferença entre um sistema transacional e um sistema de apoio à tomada de decisão. É no sistema transacional que ocorrem as transações de negócio, através dos quais se realizam compras, vendas, efetuam-se saques bancários, etc. Ou seja, suas características básicas são: alta velocidade no tempo de resposta, baixo volume de dados envolvidos na transação, sendo que as informações históricas não são relevantes.

Por exemplo, um cliente diante de um ATM (Automated Teller Machine) ou caixa automático para efetuar um saque bancário, quer que a resposta seja muito rápida. Além disto, o volume de informações envolvidas no saque é relativamente baixo (agência, conta-corrente, senha, valor requisitado, saldo disponível e limite de cheque especial) e não são considerados os dados históricos (se o cliente tem financiamentos, há quanto tempo é cliente, qual é seu saldo médio dos últimos meses).

O sistema de apoio à decisão tem características completamente distintas de um sistema transacional, pois se trata de “inteligência” para efetuar campanhas de marketing, elaborar as táticas futuras para o lançamento de novos produtos, etc. Um sistema de apoio à decisão tem como alicerce um datawarehouse (grande armazém de dados), desvinculado das bases de dados que dão sustentação aos sistemas transacionais. No caso da instituição bancária, um exemplo de sistema de apoio à decisão seria conhecer os potenciais clientes para realizar uma campanha de financiamento de veículos, direcionando uma campanha específica com uma abordagem diferenciada.

Neste caso, o banco poderia considerar neste subconjunto de potenciais clientes, somente aqueles que já sejam proprietários de veículos, que tiveram algum tipo de financiamento com o banco nos últimos cinco anos, cujo saldo médio nos últimos 12 meses seja superior a R$300,00 e com a restrição de idade acrescida do prazo de financiamento não poder superar 80 anos. Estas informações estão no datawarehouse e não na base de dados dos sistemas transacionais.

Em função das particularidades do tipo de processamento, o ambiente dos sistemas de BI deve ser dissociado do ambiente transacional, uma vez que no BI as pesquisas são complexas e há um volume imenso de informações (dados históricos representam a riqueza da base de dados). Desta forma, o tempo de resposta no BI pode ser lento. Um exemplo típico de BI é o Programa Pão de Açúcar Mais, da mesma rede de supermercados.

Quando um cliente efetua suas compras, recebe determinada pontuação que lhe dá algumas facilidades/benefícios futuros, porém, o mais importante para o BI é que o sistema registre seu histórico de consumo no datawarehouse. Utilizando esta base de dados é possível direcionar campanhas de marketing, como exemplo, fazer uma promoção de azeites estrangeiros para clientes que tenham comprado azeites nacionais nos últimos seis meses. O direcionamento da campanha aumenta o nível de retorno, reduz os custos de divulgação e tende a aumentar a fidelidade do cliente.

Deve-se destacar que periodicamente os dados são extraídos dos sistemas transacionais para serem armazenados no datawarehouse. Estas ferramentas para criação e manutenção dos datawarehouses chamam-se ETL (extract, transform and load), que representa a extração dos dados dos vários sistemas transacionais, a transformação (padronização) e carga dos dados no datawarehouse.

Outro exemplo seria uma empresa de tratamento e distribuição de água, que tem como seu principal sistema transacional, a leitura mensal do consumo do usuário, a emissão do boleto e o controle dos pagamentos recebidos. Em termos de BI, o sistema de apoio à decisão poderia efetuar a análise de consumo médio mensal de água por bairro de uma determinada cidade dos últimos dois anos, possibilitando a criação de campanhas educativas direcionadas para redução do consumo e desperdícios. Em seguida, poder-se-ia analisar o índice de retorno da mesma campanha, com base no consumo médio observado no período pós-campanha. Se cada campanha utilizasse meios de divulgação distintos (por exemplo; emissoras de rádio AM e FM, TVs aberta e por assinatura, jornais, revistas, etc.), seria possível medir qual mídia tem a melhor relação custo-benefício para este tipo de campanha.

Na área de saúde, o dia-a-dia das Unidades Básicas de Saúde é atender a população gratuitamente, realizando consultas, exames, aplicando vacinas e injeções, fazendo curativos e fornecendo medicamentos básicos. Com uma consistente base de dados histórica é possível fazer análise epidemiológica, por bairro, por tipo de doença, por serviço prestado. Assim, é possível definir um conjunto de ações efetivas (preventivas ou corretivas), que traga significativos benefícios à saúde do cidadão com custos reduzidos para os municípios.

De modo análogo, o Estado poderia atuar com efetividade nas áreas de segurança pública e educação, utilizando-se do BI. Ou seja, a tecnologia está disponível – há ferramentas poderosas e há também, profissionais altamente qualificados no nosso país que poderiam implementar tais soluções. Entretanto, o que falta, neste caso, é vontade política e visão de longo prazo.

Armando Terribili Filho (PMP) é diretor de projetos na Unisys Brasil, doutor em Educação pela UNESP, mestre em Administração de Empresas e docente em cursos de graduação e pós-graduação na FAAP.

* Texto extraído do site: www.baguete.com.br

segunda-feira, 8 de março de 2010

::::::: Curso EAD de Mineração de Dados :::::::

0

Colegas, o professor Grimaldo está iniciando uma nova fase disponibilizando suas aulas presenciais em um curso à distância de Mineração de Dados (Data Mining). o curso é totalmente WEB e composto de vídeoaulas e de muito material sobre o assunto. Abaixo segue detalhes do curso que já está com matrículas abertas.

DINÂMICA:
O curso é dividido em tópicos (06 módulos), composto de videoaulas,prova e laboratórios práticos (05 experimentos), você estuda os módulos no momento que desejar, as aulas já estão TODAS disponíveis, você pode tirar dúvidas através de e-mail ou fórum, o ambiente das aulas é no software MOODLE, mundialmente conhecido, a mineração de dados será realizada em uma das ferramentas mais conhecidas de mercado WEKA (software livre).

EMENTA
Contexto da Mineração de Dados, preparação dos Dados, Problemática geral da preparação de dados, Técnicas de Mineração de Dados, Conceitos Básicos, Operacionalização do conhecimento minerado e sua interpretação.

JUSTIFICATIVA
Atualmente, a mineração de dados se mostra fundamental para a descoberta de novas informações e conhecimento, formatados em regras e padrões, a partir de grandes bases de dados. Nesta perspectiva, torna-se importante o desenvolvimento de um raciocínio crítico acerca dos principais conceitos, problemas e algoritmos relacionados à área de mineração de dados. Esta abordagem visa uma sintonia com as tendências empregadas atualmente no mercado no uso desta tecnologia de modo a preparar o futuro profissional a avaliar e, sobretudo, facilitar seu entendimento no emprego de metodologias e tecnologias avançadas.

CONTEÚDO PROGRAMÁTICO
• Contexto da Mineração de Dados
- Descoberta de conhecimento em banco de dados
- Aplicações práticas e impacto da mineração de dados
- Dados de entrada e saída na Mineração de Dados
• Técnicas de Mineração de Dados
- Conceitos Básicos
- Aprendizado de Máquina
* Classificação;
* Indução de Regras;
* Árvores de Decisão;
* Regras de Associação;
* Agrupamento (clustering);
* Redes Neurais,
* Aprendizado Bayesiano
- Operacionalização do conhecimento minerado e sua interpretação
• Validação do conhecimento descoberto
- Weka: uma Ferramenta Java para Classificação, Associação, Clustering e Previsão
- Explanação de Interfaces Visuais para interpretação e divulgação do conhecimento (Mineração Visual)
- Prática do uso do Weka
- Artigos da área

O custo do curso é de R$ 50,00 reais e ao final do curso é fornecido documento sobre a sua participação.

O site para o curso é: http://www.aprendavirtual.ninehub.com/

Obrigado e lhe espero no APRENDA VIRTUAL.

Obs.: EM BREVE, curso: Modelagem Multidimensional para Data Warehouse.

Grimaldo Lopes de Oliveira
Consultor Técnico - PRODEB
Prof. Universitário
Estatístico pela UFBA
Especialista - Análise de Sistemas pela Viconde de Cairu