"Big data é inútil sem boas perguntas", Andreas Weigend

Olá amigos!

Achei esta entrevista interessante e compartilho com vocês.

O curioso foi que essa entrevista veio depois da leitura de um outro artigo publicado no blog "E AGORA DBA?" que falava da diferença entre uma amostra estatística e o Big Data.

Por limitações físicas, a estatística sempre se baseou no estudo de uma amostra para tentar determinar (e prever) o comportamento do todo (população). Em tempos anteriores, dificilmente um estatístico tinha acesso a dados de toda a população que ele gostaria de estudar. Então, para obter a informação desejada, recorria a pesquisas de mercado ou amostras menores de dados e aplicava diversas técnicas estatísticas para identificar e eliminar vieses ou amostras pouco representativas.

O estudo de amostra também limita o estatístico a generalizar sobre a população, ter uma ideia geral do comportamento dela, o que invariavelmente impossibilita a obtenção de informação sobre grupos mais específicos (exemplo, o comportamento de compra de mulheres grávidas que darão a luz em Agosto) pois eles provavelmente não estão "significativamente" representados na amostra.

A quebra de paradigma do Big Data está justamente no tamanho da amostra. Com muitos dados sendo gerados sobre as atividades e recursos de hardware baratos para processa-los, podemos ter como amostra uma população toda!

Felipe Antunes (http://agoradba.blogspot.com.br/2013/04/o-que-e-bigdata.html)

A amostra sobre uma população, se assemelharia ao censo, com a diferença que no censo, há perquntas definidas e respostas esperadas e no Big Data, você já tem as respostas, mas precisa formular as perguntas, para que as repostas tenham sentido.

Boa leitura!

"Big data é inútil sem boas perguntas", diz especialista

Entrevista | 20/05/2014 06:00

Ex-cientista chefe da Amazon e um dos responsáveis pelas sugestões do site, o professor Andreas Weigend diz que mesmo com big data as pessoas é que fazem diferença

Andreas Weigend, ex-cientista chefe da Amazon e professor da Universidade de Stanford

São Paulo – Ao andar pelos corredores de um hotel na zona sul de São Paulo, Andreas Weigend chama a atenção. “Não são aqueles óculos lá?”, uma pessoa pergunta a outra. Weigend usa um par de Google Glass em frente aos olhos.

Ex-cientista chefe da Amazon, Weigend foi um dos responsáveis pela área de recomendação de produtos da Amazon.com. Hoje, é professor da Universidade de Stanford (onde os fundadores do Google se formaram) e da Escola de Negócios Cheung Kong, na China. Além disso, dá consultoria para grandes empresas como a chinesa Alibaba.

O cientista é especialista em Big Data. A tecnologia se trata de análise de enormes quantidades de dados complexos e não estruturados para obter informações que não seriam possíveis de outra forma. A tecnologia vem sendo usada em campos completamente diferentes. Desde comércio, até análise de saúde e de educação. Weigand falou a EXAME.com durante sua recente visita ao Brasil para palestrar no VTEX Day (evento da VTEX, empresa brasileira de comércio eletrônico). Veja os melhores trechos da entrevista:

EXAME.com - Podemos dizer que com o Big Data toda decisão será completamente fundamentada?

Andreas Weigand - De certa forma sim. No futuro, qualquer decisão tomada por uma empresa poderá ser apoiada em dados, números e informações obtidas usando técnicas de Big Data. Mas as informações não são nada sem alguém que faça uma pergunta.

EXAME.com - Então as melhores empresas serão aquelas com quem faz as perguntas certas?

Weigand - Sem sombra de dúvida. Uma vez que todos podem extrair os números, isso não será mais um diferencial. Não é possível ter os números certos de saída. Antes de se extrair a informação, é preciso ter uma pergunta, um objetivo. Somente depois disso se obtém alguma coisa dos números.

EXAME.com - As pessoas ainda serão a parte importante e não a tecnologia em si?

Weigand - Sim. Mesmo depois de se extrair uma informação, é preciso tomar uma decisão. Traçar um plano com tudo aquilo que as técnicas de Big Data proporcionam. E todas essas decisões serão tomadas por pessoas. Nós continuaremos sendo muito importantes, não haverá uma inversão no papel da máquina e da pessoa.

EXAME.com - Dentro comércio eletrônico, a área que o senhor trabalhava, o que o Big Data significa?

Weigand - De maneira geral, significa melhores margens. Se você conhece uma pessoa, sabe o que ela comprou no passado, pelo que ela se interessa, e tudo isso vai trazer melhores margens. Mas eu acredito que a grande pergunta que a grande pergunta nessa discussão é: qual relação o cliente deseja ter com o varejista? O cliente não quer ter um relacionamento, quer apenas que o serviço seja feito. Mas com a tecnologia, alguns conceitos mudam e o mundo não vem mudando com a mesma velocidade.

EXAME.com - Que tipo de coisa não vem mudando?

Weigand - Nossos conceitos, nossas leis, nossas regras. Em Stanford, por exemplo, as regras da universidade não permitem que nada seja gravado sem uma autorização que deve ser pedida com duas semanas de antecedência. Mas os alunos estão com smartphones, estão coletando os dados quase que em tempo integral. Eu pedi aos alunos em uma aula que fizessem um perfil no LinkedIn, para estudar redes. Depois descobri que eu estava infringindo as regras. Eu não poderia pedir aos alunos para usar um software ou serviço que não fosse desenvolvido pela universidade.

EXAME.com - Isso é curioso. Principalmente porque pensamos em Stanford como um lugar à frente do nosso tempo.

Weigand - Exatamente. Mas a sociedade em geral é presa em conceitos atrasados. Pegue por exemplo a fotografia. Há algumas décadas, ela era algo especial. Quando havia um casamento, as pessoas tiravam fotos. Depois todo mundo começou a ter câmeras e hoje elas estão nos nossos bolsos. Mas com as redes sociais, nós não sabemos mais como lidar com isso muito bem. Uma foto no Facebook pode ser usada fora de lá? Quem é dono daqueles dados? E esse tipo de relação acontece com qualquer dado que geramos.

EXAME.com - É preciso um debate maior em torno disso?

Weigand - Sim. Mas a questão é que nosso dia tem apenas 24 horas. Então nós precisamos escolher sobre o que queremos discutir. Mas isso é visível no caso Snowden. As pessoas se chocaram com o fato de que dados estavam sendo coletadas. Eu, na verdade, fiquei chocado com o fato de que as pessoas possam se chocar com isso.

EXAME.com - Hoje já temos muitos dados sendo captados e isso deve aumentar com a computação vestível. Seremos capazes de lidar com tanta informação?

Weigand - Sim. Eu acredito que será parecido com como as coisas são hoje. Continuaremos com muitos dados para serem analisados, mas essa análise não valerá para nada, se não for colocada em ação. É preciso ter boas perguntas e usar as informações de forma valiosa depois. Áreas como saúde, comércio, educação ou ambientes urbanos, tudo isso poderá ser melhorado usando informações extraídas de dados.

 Fonte: http://exame.abril.com.br/tecnologia/noticias/big-data-e-inutil-sem-boas-perguntas-diz-especialista?page=1, acessado em 28/08/2014.