Hadoop sistema de negociação

Eu tenho um pequeno problema. Eu quero aprender sobre o Hadoop e como eu poderia usá-lo para lidar com fluxos de dados em tempo real. Como tal, eu quero construir um POC significativo em torno dele para que eu possa apresentá-lo quando eu tenho que provar meu conhecimento dele na frente de algum potencial empregador ou apresentá-lo na minha empresa atual. Id também quero mencionar que estou limitado em recursos de hardware. Apenas meu laptop e eu :) Eu sei o básico do Hadoop e ter escrito 2-3 trabalhos básicos de MR. Eu quero fazer algo mais significativo ou mundo real. Desde já, obrigado. Gostaria de apontar algumas coisas. Se você quiser fazer um POC com apenas 1 laptop, há pouco ponto em usar Hadoop. Além disso, como dito por outras pessoas, Hadoop não é projetado para aplicação em tempo real, porque há alguma sobrecarga na execução de trabalhos MapReduce. Dito isto, Cloudera lançou Impala que trabalha com o ecossistema Hadoop (especificamente o metastore Hive) para alcançar desempenho em tempo real. Lembre-se de que para conseguir isso, ele não gera jobs MapReduce e está atualmente em versão beta, portanto use-o com cuidado. Então, eu realmente aconselharia ir a Impala para que você ainda possa usar um ecossistema Hadoop, mas se você também está considerando alternativas aqui estão alguns outros frameworks que poderiam ser úteis: Druid. Era open-sourced por MetaMarkets. Parece interessante, mesmo que eu não usei eu mesmo. Tempestade. Sem integração com HDFS, ele apenas processa os dados como ele vem. HStreaming. Integra com o Hadoop. Yahoo S4. Parece muito perto de Storm. No final eu acho que você realmente deve analisar suas necessidades, e ver se usando Hadoop é o que você precisa, porque é só começando no espaço em tempo real. Existem vários outros projetos que podem ajudá-lo a alcançar desempenho em tempo real. Se você quiser idéias de projetos para mostrar, eu sugiro olhar para este link. Ela são alguns exemplos: FinanceInsurance Classificar as oportunidades de investimento como boas ou não, por exemplo. Com base em métricas da indústriacompanhia, diversidade de portfólio e risco cambial. Classifique as transações com cartão de crédito como válidas ou inválidas, Localização do titular da transação e do cartão de crédito, data, valor, item ou serviço adquirido, histórico de transações e transações similares. BiologiaMedicina Classificação de proteínas em classes estruturais ou funcionais Classificação diagnóstica, p. Tumores de câncer baseados em imagens Classificação de Classificação de Internet e classificação Classificação de malware, classificação de spam emailtweetweb Sistemas de produção (por exemplo, em indústrias de energia ou petroquímica) Classificar e detectar situações (por exemplo, pontos doces ou situações de risco) Às 17:50 Se você quiser ficar com as mãos sujas em um framework de streaming altamente promissor, experimente o streaming BDAS SPARK. Cuidado, isso ainda não foi lançado, mas você pode brincar em seu laptop com a versão github (githubmesossparktreestreaming) Existem muitas amostras para você começar. Além disso, isso tem muitas vantagens sobre as estruturas existentes, 1. Ele lhe dá a capacidade de combinar tempo real e computação em lote em uma pilha 2. Ele lhe dará um REPL onde você pode tentar suas consultas ad hoc de forma interativa. 3. Você pode executar isso em seu laptop no modo local. Há muitas outras vantagens, mas estes três, acredito que será suficiente a sua necessidade de começar. Você pode ter que aprender scala para experimentar o REPL :-( Eu acho que você pode ter um POC em execução, por exemplo, um algoritmo onlinerecursive para regressão em mapreduce. Mas lembre-se que isso só vai provar que sua regra de aprendizagem funciona. Tentou isso) você pode usar os resultados em tempo real, dizendo a seus redutores para gravá-los em um arquivo temporário que pode ser lido por outro thread. Além Mahout permite que você defina seu banco de dados em vários SequenceFile diferentes. Você pode usar isso para simular Um fluxo on-line e classifycluster seu conjunto de dados on-line. Você pode até mesmo copiar parte dos dados para a pasta com os outros dados antes que o algoritmo começou a ser executado. Mahout em Action detalhes como fazer isso. Consulte se um dos seguintes conjuntos de dados é para o seu Gosto: archive. ics. uci. edumldatasets. html respondeu Apr 7 13 at 16:35 Eu estava procurando algo como isto - Estes são problemas bem definidos, muitos deles problemas Big Data. E alguns deles exigem processamento em tempo real. Obrigado a todos que responderam D. Respondeu Jan 13 13 at 13:16 Kaggle é um bom recurso It39s na área de quotPredictive Analyticsquot e não necessariamente todos os problemas são uma boa opção para Map ReduceHadoopBig Data. Mas eu acredito Mahout (parte do hadoop ecossistema) seria algo que eu iria tentar para competições relevantes. Ndash parasdoshi Jan 14 13 às 3:11 Acordado. Então, o que você sugere ndash Kumar Vaibhav Jan 14 13 às 4:47 Eu tinha relacionados consulta como você tinha. Eu queria criar um POC Significativo também. Eu estava procurando por ele e desembarcou nesta discussão SO. Espero que alguém nos aponte para algum recurso. Enquanto isso Pessoalmente, eu terminei de jogar com amostras aqui: gettingstarted. hadooponazure ndash parasdoshi Jan 14 13 at 18: 26I manter encontrar esta solução online, mas não funciona para mim. Depois de executar o zip e jar comandos acima eu ainda obter. Exceção no thread quotmainquot java. io. IOException: Mkdirs não conseguiu criar varfolders9y4dzrwg8n45z7fbhmlqc7bsgc0000gnThadoop-unjazwnj8203r5690365448328571882zwnj8203license ndash alex9311 Jun 19 15 at 15:52 Eu corri para este mesmo problema ao construir trabalhos MapReduce em um Mac com MacOS Sierra. O mesmo código é executado sem problemas no Ubuntu Linux (14,04 LTS e 16,04 LTS). MapReduce distribuição foi 2.7.3, e foi configurado para Single Node, operação autônoma. O problema parece estar relacionado a copiar arquivos de licença em um diretório METAINF. Meu problema foi resolvido adicionando um transformador na configuração Maven Shade plugin, especificamente: ApacheLicenseResourceTransformer. Aqui está a seção relevante do POM. xml, que vai como parte da seção ltbuildgt: Observe que eu também uso o ManifestResourceTransformer para especificar a classe principal para o MapReduce Job. Apache Kafka Um sistema de mensagens rápido, escalável e tolerante a falhas Apache O Kafka é um sistema de mensagens de publicação-subscrição rápido, escalável, durável e tolerante a falhas. Kafka é usado frequentemente no lugar dos corretores tradicionais da mensagem como JMS e AMQP por causa de seu throughput, confiabilidade e replicação mais elevados. Kafka trabalha em conjunto com Apache Storm, Apache HBase e Apache Spark para análise em tempo real e renderização de dados em fluxo contínuo. A Kafka pode enviar dados geoespaciais de mensagens de uma frota de caminhões de longo curso ou dados de sensores de equipamentos de aquecimento e resfriamento em prédios de escritórios. Seja qual for a indústria ou caso de uso, Kafka corretores enormes fluxos de mensagens para análise de baixa latência no Enterprise Apache Hadoop. O que a Kafka A Apache Kafka suporta uma vasta gama de casos de uso como um sistema de mensagens de uso geral para cenários onde alto débito, entrega confiável e escalabilidade horizontal são importantes. Apache Storm e Apache HBase ambos funcionam muito bem em combinação com Kafka. Algumas das características importantes que tornam a Kafka uma opção tão atraente para estes casos de uso incluem o seguinte: Desenvolvimentos mais recentes Criação de Rack para Maior resiliência e disponibilidade, de modo que as réplicas são isoladas De modo que eles são garantidos para abranger vários racks ou zonas de disponibilidade. Eleição de líder de réplica automatizada para distribuição automatizada e uniforme de líderes em uma capacidade de cluster, detectando distribuição desigual com alguns corretores que servem mais dados em comparação com outros e faz ajustes. Message Timestamps para que cada mensagem em Kafka agora tem um campo timestamp que indica a hora em que a mensagem foi produzida. SASL melhorias, incluindo servidores de autenticação externa e suporte de vários tipos de autenticação SASL em um servidor Ambari Views para visualização de Kafka métricas operacionais Kafka Segurança Kafka segurança abrange múltiplas necessidades 8211 a necessidade de criptografar os dados fluindo através Kafka e impedir que os agentes desonestos de publicar dados para Kafka, bem como a capacidade de gerenciar o acesso a tópicos específicos em um nível individual ou de grupo. Como resultado, as atualizações mais recentes em Kafka suportam criptografia de fio via SSL, autenticação baseada em Kerberos e opções de autorização granular via Apache Ranger ou outro sistema de autorização plugável. Tutoriais Kafka Tente estes Tutoriais Aprenda a ingerir os dados em tempo real dos sensores de carro com NiFi e enviá-lo para o Hadoop. Use Apache Kafka para capturar esses dados entre NiFi e Storm para escalabilidade e confiabilidade. Implante uma topologia de tempestade que extraia os dados de Kafka e executa transformações complexas para combinar dados de geolocalização de caminhões com dados de sensores de caminhões e estradas. Assim que todos os subprojetos forem concluídos, implante o aplicativo de demonstração do monitor de driver para ver o comportamento do driver, previsões e dados de drools em três visualizações de mapas diferentes. Kafka em nosso Blog Recentemente no Blog Acabamos de concluir nossa muito assistida 7-part Data-In-Motion webinar série. A última parte foi uma sessão muito informativa sobre como o Apache NiFi, Kafka e Storm trabalham juntos. Slides e QampA abaixo. Se você tiver mais perguntas, a qualquer momento, nós o encorajamos a verificar o fluxo de Amostra de dados de streaming do Hortonworks Community Connection onde hellip 10 de novembro de 2017 Nós hospedamos recentemente um webinar sobre os mais novos recursos do Hortonworks DataFlow 2.0 destacando: a nova interface de usuário Novos processadores no Apache NiFi Apache NiFi multi-tenancy Apache NiFi arquitetura master cluster zero Apache MiNiFi Uma das primeiras coisas que você pode ter notado em Hortonworks DataFlow 2.0 é a nova interface de usuário baseada em Apache hellip 27 de outubro de 2017 Nós recentemente hospedado um webinar sobre O tópico de HDF 2.0 ea integração entre Apache NiFi, Apache Ambari e Apache Ranger. Nós pensamos que nós compartilhamos as perguntas ampères respostas do webinar, e também compilar dados relevantes em um único lugar para torná-lo fácil de encontrar e referência. Se você tiver algum hellip 17 de outubro de 2017 Uma das partes mais agradáveis ​​do meu trabalho é trabalhar com clientes e parceiros que inovaram na Hortonworks Connected Data Platform. Empresas como Servient. Aqui está um grande exemplo real de um caso de uso recente para um cliente que trabalhamos juntos na energia vertical. Ive removido o nome real por razões óbvias. Hellip Nós concluímos recentemente esta série webinar, com 7 webinars e 77 perguntas respondidas. Todos os webinars, slides, QampA e informações relacionadas estão disponíveis abaixo. Se você tiver mais perguntas, a qualquer momento, nós o encorajamos a verificar o Amostra de Dados Amostra de streaming do Hortonworks Community Connection onde uma comunidade inteira de pessoas está monitorando e hellip 23 de setembro de 2017 Minha vida como parte de uma equipe de alto desempenho Semana passada Lançamos o Hortonworks DataFlow HDF 2.0. Foi um grande presente de aniversário de 1 ano para mim 8211 uma nova versão do produto que eu venho apoiando desde que me juntei à Hortonworks há um ano. Ive teve o privilégio de trabalhar com o mais talentoso, rápido-pensamento, hellip 20 de setembro de 2017 Produtividade Empresarial e Integração de Apache NiFi, Kafka e Storm, juntamente com Ambari e Ranger Temos o prazer de anunciar que Hortonworks DataFlow (HDF) Versão 2.0 É agora geralmente disponível para download Como parte de uma oferta de Plataformas de Dados Abertos e Conectados da Hortonworks, HDF 2.0 fornece um novo nível de integração empresarial para dados hellip 15 de setembro de 2017 Análise de fluxo contínuo para criar uma identidade de comprador único e preciso em tempo real The 4th E demonstração final da sessão de Demos de Hacks de Dados e Demos, no Hadoop Summit San Jose, foi feita por Simon Ball e mostrou como o Apache NiFi movia fluxos paralelos de streaming de dados para o Spark e então mais análise poderia ser feita por hellip Use IoT para obter real - time sobre as preferências do cliente e responder a eles Durante a 3 ª demonstração da sessão Demos Hacks ampères e Demos, no Hadoop Summit San Jose, foi o tempo de participação do público Kay L Erch demonstrou como interagir com o público, através de twitter específico e mensagens SMS enviadas para um número de telefone específico, hellip Hortonworks Dataflow (HDF) oferece uma combinação de Apache NiFI, Kafka e Storm. O HDF 2.0 possui características significativas de arquitetura e produtividade corporativa para tornar mais rápida e fácil a implantação, o gerenciamento e a análise de dados em fluxo contínuo. Nas próximas semanas, vamos entrar em mais detalhes, mas por agora, aqui estão os três destaques para tomar nota Hellip Apache NiFi para priorizar quais imagens devem ser enviadas para Spark na nuvem para a aprendizagem da máquina de visão computacional Durante a 2a demo de O Data Hacks amp Demos sessão, no Hadoop Summit San Jose, Simon Ball demonstrou como tomar dados recebidos a partir da borda, e executar o reconhecimento facial em uma nuvem mais poderosa hellip Corresponder imagem a um identificador, correlacionar com dados e iniciar personalizado, em tempo real Convo eletrônico com o cliente na loja Durante a 1a demonstração da sessão de Demos de Data Hacks e ampères, no Hadoop Summit San José, Jeremy Dyer modelou o cenário de um cliente entrando em uma loja, onde um varejista pode descobrir quem eles hellip Então, Um mês desde Hadoop Summit San Jose, onde mais de 5000 dos inovadores tecnológicos líderes em grandes dados se uniram para compartilhar suas invenções, sabedoria e know-how. Uma das sessões 8211 uma zona livre de powerpoint, foi Data Hacks amp Demos, uma sessão keynote hospedado por Joe Witt e estrelando um hellip internacional Em preparação para Hadoop Summit San Jose, eu perguntei a cadeira para a Apache Committer Insights faixa, Andy Feng 8211 VP Architecture, Yahoo, que foram as três principais sessões que ele recomendaria. Embora fosse um difícil escolher apenas 3, ele recomendou: HDFS: Otimização, Estabilização e Suporte Oradores: Chris Nauroth de Hortonworks e Arpit Agarwal hellip Apache Hadoop existe dentro de um ecossistema mais amplo de pacotes de análise empresarial. Isso inclui ferramentas de ETL, ERP e sistemas de CRM, data warehouses corporativos, data marts e outros. Cargas de trabalho modernas fluem dessas várias fontes analíticas tradicionais para o Hadoop e, em seguida, muitas vezes recuam novamente. Introdução Confluent tem o prazer de anunciar a Cúpula Kafka inaugural de 2017 a ser realizada em San Francisco, em 26 de abril. A Cimeira inaugural de Kafka é uma conferência de dia inteiro que reúne o Apache Comunidade de Kafka. Na Hortonworks, uma vez que estamos empenhados em fornecer dados em movimento e dados em repouso completamente abertos, continuamos a introduzir hellip. Iniciámos o Hortonworks Community Connection no final de 2017 e existe um conteúdo espantoso que qualquer dado Desenvolvedor ou administrador de dados deve ler e marcar. Vou publicar este blog semanalmente e destacar os principais artigos técnicos que estão em HCC com base na atividade da comunidade e votos. Top 3 artigos no site: Exemplo hellip 16 de fevereiro de 2017 Nosso negócio na Europa continua a expandir e I8217m animado para compartilhar este post convidado blog de Geoff Cleaves, Business Intelligence Manager no Billy Mobile um novo cliente Hortonworks com sede em Barcelona, ​​Espanha. Esta semana no Billy Mobile estamos migrando nossa pilha de tecnologia de núcleo para HDP 2.3 e menino estamos estamos ansiosos para hellip 19 de novembro de 2017 Como YARN drives Hadoops emergence como uma plataforma de dados críticos de negócios, a empresa exige capacidades de segurança de dados mais rigorosas. O Apache Ranger oferece uma abordagem abrangente para a segurança de um cluster Hadoop. Fornece uma plataforma para administração centralizada de políticas de segurança em todos os requisitos essenciais de segurança corporativa de autorização, auditoria e proteção de dados. Em 10 de junho, hellip Na semana passada, a comunidade Apache Slider lançou o Apache Slider 0.80.0. Embora existam muitos novos recursos no Slider 0.80.0, poucas inovações são particularmente notáveis: Aplicação de contêiner onboarding Atualização de aplicativo sem aderência zero-downtime Adicionando co-processadores a pacotes de aplicativo sem reinstalação Aplicação simplificada onboarding sem qualquer requisito de embalagem Abaixo estão alguns detalhes sobre estes importantes características. Para o hellip Nós hospedamos um Meetup Apache Slider em nosso escritório de Hortonworks Santa Clara em 04 de março, onde committers, contribuidores e membros da comunidade interessados ​​no Apache Slider congregado para ouvir what8217s acontecendo. Havia dois apresentadores. Para definir o contexto para o público, Steve Loughran, membro da equipe técnica da Hortonworks, apresentou uma visão geral de alto nível extrovertida hellip Hortonworks Data Platforms A arquitetura baseada em YARN permite que vários aplicativos compartilhem um cluster e conjunto de dados comuns, garantindo níveis consistentes de resposta Tornado possível por uma arquitetura centralizada. Hortonworks liderou os esforços para motores de processamento de dados open-source, como Apache Hive, HBase, Accumulo, Spark, Storm e outros, no Apache Hadoop YARN. Quando HP Lovecraft escreveu sobre o conhecimento proibido sobre divindades não-humanas, conhecimento que reduziria o leitor à loucura, a maioria das pessoas supunha que ele estava inventando um mundo de fantasia. Na verdade, ele estava documentando o Kerberos e sua integração com o Hadoop. Há algumas coisas que a humanidade não deveria saber. A maioria das pessoas está melhor vivendo hellip É cada vez mais evidente que as organizações podem perceber o valor potencial total de seus ativos de dados, combinando os dados estruturados transacionais com dados semi-estruturados e não estruturados. As empresas também percebem que para ser ágil e reagir a situações em tempo real, o acesso a dados transacionais com baixa latência é essencial. Dados transacionais de baixa latência trazem mais hellip Hortonworks Data Platform 2.2 é fornecido com Apache Storm e Apache Kafka para processamento de dados de fluxo no Hadoop. Agora Storm é executado em YARN com Apache Slider e inclui suporte a Kerberos. O novo parafuso Apache Kafka para Storm suporta sofisticado encadeamento para análise em tempo real. Junte-se ao vice-presidente de gerenciamento de produtos da Hortonworks, Tim Hall e Taylor Goetz, hellip