Alameda dos Maracatins, 780 - 1904 Indianópolis | São Paulo – SP | 04089-001
+55 (11) 2389-1106 | +52 (55) 9183-2049
18 nov 2020

5 Dicas para desenvolver um programa eficaz de Análise de Dados Não-Estruturados

Por que a análise de dados Não-Estruturados é importante?

Em uma pesquisa divulgada pelo IDC em janeiro/2020, intitulada “Using Data Intelligently: Unification and Pipelining Patterns in the Digital Economy” ¹, foram apontados alguns dados bem interessantes:

  • 60% das organizações afirmaram que estão sendo desafiadas pela qualidade e complexidade dos dados, gerando ainda mais problemas relacionados aos processos de Data Integration, Master Data Management e Data Governance.
  • 33ZB de novos dados foram criados em 2018 e em 2023 o IDC estima que 103ZB de novos dados serão criados. (1 ZB = 1 trilhão de Gigabytes).
  • 14% dos 33ZB gerados eram de dados originais e 86% vieram de replicações e redistribuições, sendo 25% dos dados úteis tagueados e apenas 13% destes foram analisados.

Informações bem úteis e reveladoras, não? E na sua organização, como está a análise de dados Não-Estruturados?

Muitas empresas reconhecem a importância do Big Data Analytics, mas não o estão usando com sucesso, em outras palavras, se deixarem de tirar proveito do Big Data Analytics, seus concorrentes o farão. As organizações não estão apenas lutando para atenderem às demandas associadas aos grandes volumes de dados não-estruturados, mas também, para atenderem aos rígidos requisitos das plataformas para obterem maior velocidade, desempenho e flexibilidade. O IDC estima que o conteúdo não-estruturado é responsável por 90% de todos os dados gerados e que estes dados estão bloqueados em diferentes tipos de armazenamento, locais e formatos. Dados em “silos” podem estar escondidos dentro de um departamento e isolado do resto da organização. Este é um fator que explica as falhas nos projetos de Big Data e porque muitas organizações estão perdidas em busca do caminho mais rápido e eficaz para o Big Data Analytics.

Neste documento, abordamos as melhores práticas para ajudar nossos clientes a desenvolverem um projeto eficaz de análise de dados não-estruturados que agregue valor real aos negócios. Vamos sugerir pontos para lidar com a análise de dados não-estruturados em texto, vídeo, imagem e áudio.

Faça a análise de dados Não-Estruturados trabalhar para você

A análise de dados estruturados e semiestruturados de sistemas ERP, CRM e outros, revela o que está acontecendo em uma empresa, porém, a análise de dados não-estruturados complementa este cenário e revela insights ainda não identificados. Seguem 5 pontos a serem considerados para se avançar com a análise de dados não-estruturados.

1 — Aproveite todos os seus dados sem interrupções

O Big Data quase sempre implica em uma plataforma corporativa com uma ampla variedade de dados e em silos. Para minimizar o risco de tomada de decisão baseado em informações incompletas é fundamental explorar todos os dados relevantes, independentemente do formato – texto, vídeo, imagem e áudio – para obter uma imagem holística. Considere uma tecnologia que ofereça acesso imediato a repositórios de dados dentro e fora da organização;

que não requeira movimentação de dados para simplificar e acelerar o acesso. Dessa forma, é possível eliminar requisitos de cópia, custos de armazenamento e riscos de transferência.

2 – Personalize a descoberta de conhecimento

Uma solução de análise avançada deve incluir inovações como Deep Neural Network e Machine Learning. Isso permite descobrir conhecimento contextualmente relevante, desbloquear insights ocultos e revelar tendências, padrões, interações e relacionamentos com eficácia crescente, conforme mais dados se tornam disponíveis. Com a produtividade dependendo da facilidade e rapidez para se obter as informações certas no momento certo, a solução de análise avançada deve ser capaz de “aprender” automaticamente com seu consumo de informações e personalizar a entrega de informações de forma proativa.

3 – Adote segurança corporativa

Propriedade intelectual, documentos confidenciais, dados pessoais e outras informações confidenciais devem ser protegidos contra acesso não autorizado. A segurança deve ser prioridade em um sistema de descoberta de conhecimento poderoso. Procure por plataformas com segurança comprovada, que preserve os direitos para as pessoas certas acessarem as informações certas. Certifique-se de que haja sincronização automática de todas as atualizações de direitos de segurança para garantir acompanhar o ritmo acelerado das mudanças.

4 – Adote tecnologias avançadas

Tirar proveito da tecnologia mais recente e avançada melhorará os resultados com a análise dos dados não-estruturados. A tecnologia deve atender aos principais requisitos de pesquisa e análise para cobrir diversos casos de uso de negócios:

■ Pesquisar dados – automatic hyperlinking, conceptual search, keyword search, field text search, phrase search, phonetic search, field modulation, fuzzy matching.

■ Analisar dados – automatic query guidance, highlighting, parametric refinement, summarization, real-time predictive query, metadata extraction, automatic tagging, faceted navigation.

■ Personalizar dados – perfil implícito, perfil explícito, comunidade e rede de especialização, agentes, classificação com base na intenção, alerta, feedback social.

■ Aprimorar dados – clustering automático, clustering 2D/3D, autoclassificação, detecção automática de idioma, análise de sentimento e geração automática de taxonomia

5 — Junte-se a líderes de mercado

Selecionar o fornecedor certo para atender aos requisitos exatos de solução e serviços pode ser bem confuso no atual mercado de Big Data Analytics. Certifique-se de que a solução escolhida possa lidar com uma ampla variedade de fontes e tipos de dados e que tenha toda a sua capacidade demonstrada em diferente mercados e casos de uso de negócios.

Como podemos ajudar?

A IMExperts atua no mercado de soluções de análise de dados não-estruturados há mais de uma década. Ajudamos nossos clientes a usar Big Data Analytics para melhorar suas operações, obter vantagem competitiva e encontrar novas oportunidades de receita, usando a plataforma de análise de dados não-estruturados Micro Focus IDOL (Intelligent Data Operating Layer).

O IDOL é uma plataforma que ajuda a desvendar insights ocultos e revela tendências, padrões e relacionamentos. Uma plataforma unificada de pesquisa e análise, que analisa virtualmente qualquer tipo de dados não estruturados (texto, vídeo, imagem, áudio) e descobre padrões, tendências, relacionamentos e anormalidades, permitindo que os clientes entendam e reajam aos eventos atuais, maximizando oportunidades futuras.

Também oferece uma compreensão profunda dos perfis de usuários e ações para personalizar entrega de conhecimento. A visão de 360 graus das informações do IDOL ajuda pesquisar e analisar conteúdo de diversos formatos dentro e fora de uma organização.

O IDOL deriva percepções contextuais e conceituais de dados, que permitem reconhecer as relações existentes em praticamente qualquer tipo de informação, estruturada ou não. Semelhante ao Natural Language Processing (NLP), a capacidade de entender os dados torna possível automatizar operações manuais em tempo real, extraindo significado das informações e, em seguida, executando uma ação. O Micro Focus IDOL permite reconhecer cerca de 1.000 tipos de arquivo com suporte para 150 idiomas e se conectar a mais de 150 repositórios, fornecendo recuperação avançada e precisa de conhecimento valioso e inteligência de negócios dentro e fora de uma organização.

 

Related Links:

IMExperts IDOL

Micro Focus Information Data Analytics IDOL Overview

Information Management and Governance – Forrester Wave

Case Study Dubai Police Department

Case Study Spain’s Ministry of the Interior

 

 

 

10 nov 2020

Conheça a última versão da solução OpenText TeleForm 20.3, Intelligent Forms Automation

Se você está usando o software TeleForm hoje, essas informações são para você!

Desbloqueie todo o conhecimento potencial nos documentos

Quando as informações estão literalmente “trancadas” em papel ou em documentos eletrônicos, são virtualmente invisíveis para uma organização! Isso não apenas representa um grande e não quantificável risco, mas também bloqueia a capacidade de se aproveitar uma rica fonte de informações de negócios. Em um mundo ideal, dados e documentos seriam capturados via formulários eletrônicos, validados instantaneamente e inseridos nos sistemas de destino para serem usados quando necessário. Embora a tecnologia para fazer isso exista há anos, o uso de papel ainda persiste.

Captura inteligente de informação

OpenText™ TeleForm™ captura, classifica e extrai automaticamente informações de documentos – papel e eletrônicos – usando tecnologias de reconhecimento poderosas, criando conteúdo pronto para processamento em tempo real. Elimina a demorada classificação manual de documentos e entrada de dados. É uma solução multicanal para a captura de informações de documentos recebidos por correio, e-mail, internet e dispositivos móveis.

Inovações do TeleForm ™ Release 20.3

A OpenText™ vem investindo continuamente no desenvolvido do TeleForm™, lançando em média duas novas versões por ano. Isto demonstra o compromisso da companhia em sempre entregar aos seus clientes a melhor tecnologia para capturar, classificar e extrair informações automaticamente de documentos. E melhor ainda, clientes que ainda estão nas versões mais antigas do TeleForm™, podem contar com a expertise e experiência da Imexperts Brasil para migrar para a Release 20.3 e aproveitar todos os benefícios desta nova versão.

READ MORE

03 nov 2020

Uma verdadeira plataforma de Unified Analytics Warehouse alcança seus dados onde quer que estejam!

Você já deve ter notado algo bastante interessante sobre os fornecedores do Next Generation Enterprise Data Warehouse (EDW) – todos, sem exceção, estão se esforçando muito para garantir que os dados sejam movidos para um mesmo lugar para fins analíticos, o que obviamente, significa colocar todos os dados de uma organização em um mesmo data store – o deles! Isso é muito preocupante pois, envolve dois níveis de System Lock-in:

  • De infraestrutura, ou seja, um único fornecedor de ambiente Cloud.
  • Do próprio fornecedor da plataforma de EDW, independentemente se a infraestrutura e o EDW são oferecidos sob a mesma marca.

O Vertica tem uma abordagem bastante diferente, anunciada recentemente, mas que vem sendo construída há anos – uma plataforma de “Unified Analytics Warehouse”.

Como pioneiros em Big Data Analytics, sabemos que pode parecer estranho não incluir a palavra “Data” no nome da nossa plataforma. Mas essa é uma escolha intencional, apesar do desejo quase incontrolável para usar o termo “data analytics” para otimização de SEO. O objetivo do Vertica é unificar análises; isso é o que importa! Com o Unified Analytics Warehouse você pode manter seus dados onde quer que estejam, sem excesso de ETL ou necessidade de migrar dados entre diferentes plataformas para depois analisá-los.

READ MORE

06 out 2020

Kafka Convergence

O Apache Kafka parece estar em todo lugar atualmente. É possível até dizer que é como se estivéssemos cercados por todos os lados pelo Kafka, no centro de um grande ponto de convergência no qual os dados que fluem pelo Kafka são a atração gravitacional.

No lançamento do Vertica versão 9.3.1, foram anunciados uma série de novos recursos fantásticos, entre estes, a adição da capacidade de analisar mensagens Avro recebidas em um tópico Kafka compactado usando DeflateCodec (mais detalhes no link: Vertica NewFeatures 9.3.1). Na mais recente versão Vertica 10.0 foram acrescentados ainda mais novos recursos de integração (leia aqui: Vertica 10.0 Kafka Integration Guide).

No último Data Day Texas 2020 – https://datadaytexas.com/2020/sessions – realizado em janeiro, Paige Roberts – Vertica Open Source Relations Manager, apresentou a palestra Architecting Production IoT Analytics, e um dos principais pontos da palestra, foram as várias opções de arquitetura adotadas por clientes do Vertica que tinham a necessidade de analisar alto volume dados e muito rapidamente. O mais interessante é que no uso que estes clientes fizeram do Vertica foram encontrados muitos padrões de uso, independentes do caso de uso ou da indústria. Os padrões identificados eram sobre como lidar com altos volumes de dados de maneira rápida e eficiente para obter real valor de produção, reduzir o intervalo de tempo entre o recebimento de uma mensagem e a possibilidade de consultá-la, todos estes indicados pelos clientes como meta prioritária em seus projetos.

Quer adivinhar qual é a tecnologia escolhida de forma consistente, em praticamente todas as arquiteturas de IoT (Vertica internet-of-things-iot-analytics)? Sim foi o Apache Kafka.

Em todos os casos estudados, os clientes precisavam de uma forma ou canal extremamente rápido e escalável para lidar com altos volumes de dados e o VERTICA foi a tecnologia escolhida para atender a esta necessidade!

READ MORE

23 jan 2020

Avaliando modelos de Classificadores no Vertica

De acordo com uma matéria publicada pelo engenheiro de software sênior de Vertica, Arash Fard, o VERTICA fornece um conjunto de ferramentas de Machine Learning, disponível para utilização, que abrange um fluxo de trabalho completo de ciência de dados. O autor relata “O conjunto de ferramentas inclui várias funções distribuídas para avaliar os modelos de aprendizado de máquina do classificador e do regressor.”

READ MORE

20 jan 2020

In-Database Machine Learning 1 – Por que e qual é o benefício?

De acordo com uma matéria publicada pelo Engenheiro de software sênior de Vertica, Waqas Dhillon, muitos bancos de dados analíticos modernos, como o VERTICA, permitem um aprendizado de máquina de ponta a ponta, diretamente no banco de dados, substituindo a necessidade de mover e transformar os dados primeiro em algo como um dataframe de Spark ou uma estrutura de dados Python.

READ MORE

22 out 2019

Enfrente os desafios do Machine Learning com VERTICA Massively Parallel Processing!

Seus projetos de análise preditiva de ML estão prontos para a nova velocidade e escala de negócios?

Para se manter competitivo, é necessário transformar grandes volumes de dados em insights significativos. O desafio é que o Big Data está ficando maior e mais complexo, deixando as ferramentas analíticas preditivas tradicionais lutando para acompanhar. READ MORE