NumPy e Pandas
Qualquer pessoa com alguma familiaridade com Python conhece bem a importância de escolher as bibliotecas certas. E essa escolha também se aplica às tarefas de análise de dados e inteligência artificial (IA).
Duas das bibliotecas mais populares e amplamente utilizadas no ecossistema Python são NumPy e Pandas. Elas são amplamente usadas em várias áreas, incluindo machine learning, ciência de dados e IA. Embora ambas as bibliotecas compartilhem algumas semelhanças, elas têm casos de uso distintos. Ou seja, essas bibliotecas são projetadas para propósitos diferentes, mas frequentemente complementares.
Neste post, exploraremos as diferenças entre NumPy e Pandas, discutiremos seus respectivos pontos fortes e fracos e forneceremos orientações sobre quando usar cada uma.
O que é NumPy?
NumPy (Python Numérico) é uma biblioteca para trabalhar com arranjos (arrays) e operações matemáticas em Python. Ele possui um poderoso objeto de matriz N-dimensional (np.ndarray()) ideal para lidar com operações vetorizadas em dados multidimensionais.
O NumPy é adequado para trabalhar tanto com vetores quanto com matrizes e tensores multidimensionais. Ele conta com inúmeras ferramentas para manipular e transformar esses tipos de estruturas de dados. Porém, o NumPy trabalha sempre com matrizes, vetores ou tensores homogêneos (todos os elementos devem ser do mesmo tipo, todos floats ou todos os inteiros, por exemplo).
import numpy as np
# NumPy pode trabalhar com escalares, vetores, matrizes e tensores
arr0 = np.array([1, 2, 3,])
arr1 = np.array([[1, 2, 3,],[4, 5, 6]])
arr2 = np.array([[[1, 2, 3,],[4, 5, 6],[7, 8, 9]],[[10, 11, 12,],[13, 14, 15],[16, 17, 17]]])
print(arr0.shape, arr1.shape, arr2.shape)
# resultados: (3,) (2, 3) (2, 3, 3)
A indexação do NumPy é em inteiros (por exemplo: array[0, 5]).
# NumPy aceita indexação por inteiros
print(arr0[0], arr1[1,0], arr2[1,1,0])
# resultados: 1 4 13
# A indexação baseada em inteiros pode ser usada para fatiamento
print(arr2[0,0,0:2])
# resultado: [1 2]
Quando se trata de ciência de dados e IA, o principal recurso do NumPy é sua capacidade de armazenar e manipular imensos conjuntos de dados numéricos com eficiência. O NumPy se destaca por ser rápido para operações numéricas (matemática matricial, álgebra linear) em conjuntos de dados grandes e uniformes. A eficiência do NumPy para problemas com grandes conjuntos de dados também o torna a escolha ideal para computação científica, processamento de sinais e outras aplicações onde cálculos numéricos rápidos são necessários.
O que é Pandas?
Pandas (Python Data Analysis Library) é uma biblioteca construída sobre o NumPy. Ele fornece estruturas de dados e funções de alto desempenho para dados rotulados e tabulares (como uma planilha ou tabela SQL). Seus principais objetos são o pandas.DataFrame (para dados tabulares bidimensionais) e o pandas.Series (para dados unidimensionais). Portanto, o Pandas não trabalha com arranjos multidimensionais como o NumPy.
Um DataFrame do Pandas usa internamente um ou mais objetos ndarray NumPy para armazenar os dados. O Pandas adiciona a camada de rótulos, índices e manipulação para diferentes tipos de dados.
Uma grande vantagem do Pandas em comparação ao NumPy é que ele trabalha – e bem! – com dados heterogêneos (colunas diferentes podem ter tipos diferentes: ints em uma coluna, strings em outra, por exemplo).
import pandas as pd
dados = {
'Estado': ['SP', 'RJ', 'RS', 'SP', 'CE', 'RJ', 'CE'],
'Produto': ['A', 'B', 'A', 'C', 'A', 'B', 'C'],
'Vendas': [100, 50, 120, None, 80, None, 40],
'Mês': ['Jan', 'Jan', 'Fev', 'Fev', 'Jan', 'Fev', 'Fev']
}
# Pandas pode trabalhar com diferentes tipos de dado no mesmo DataFrame
df = pd.DataFrame(dados)
Outra vantagem do Pandas se refere à sua indexação. Ele possui indexação baseada em rótulos (df[‘column_name’], df.loc[‘row_label’]), além da indexação por inteiros.
# Pandas aceita indexação baseada em rótulos (nomes das colunas)
print(df['Vendas'])
"""
resultados:
0 100.0
1 50.0
2 120.0
3 NaN
4 80.0
5 NaN
6 40.0
"""
# Pandas aceita indexação por inteiros
print(df['Vendas'][0:2])
"""
resultados:
Name: Vendas, dtype: float64
0 100.0
1 50.0
Name: Vendas, dtype: float64
"""
Quando o NumPy é mais apropriado?
Você deve optar por NumPy quando precisa realizar cálculos numéricos complexos, como operações de álgebra linear, transformadas de Fourier ou algoritmos de otimização.
Para casos de análises de dados que envolvem computação numérica e álgebra matricial, o NumPy, com sua forte integração com o C++, garante a implementação de algoritmos com eficiência.
NumPy também é a escolha certa para problemas de computação científica. Ou seja, para tarefas que exigem trabalhar com grandes conjuntos de dados, como análise de dados, machine learning e ciência de dados.
Análises de dados de séries temporais e aplicações de processamento de sinais são outros casos de uso onde o NumPy é indicado.
Quando o Pandas é mais apropriado?
Quando você precisa limpar ou transformar conjuntos de dados, o Pandas é bastante apropriado. Ele também é ideal para tarefas que exigem a visualização de dados em um formato de tabela, como tabelas de dados ou tabelas dinâmicas. Outro cenário onde o Pandas é uma escolha adequada é quando precisamos realizar tarefas de mesclagem e junção de dados.
Ao lidar com conjuntos de dados brutos cheios de valores ausentes, o Pandas é, sem dúvida, a escolha certa. Ele trabalha sem problemas com valores ausentes (o que pode ser feito com funções integradas como fillna() ou dropna()).
# Pandas lida bem com dados ausentes através de funções integradas como fillna()
print(df['Vendas'])
"""
resultados:
0 100.0
1 50.0
2 120.0
3 NaN
4 80.0
5 NaN
6 40.0
"""
# Exemplo de preenchimento de dados ausentes com 0
print(df['Vendas'].fillna(0))
"""
resultados:
0 100.0
1 50.0
2 120.0
3 0.0
4 80.0
5 0.0
6 40.0
"""
Se você usa dados contendo strings, o Pandas lida melhor com elas em comparação ao NumPy. Embora as matrizes NumPy possam trabalhar com strings, elas não são otimizadas para operações com elas. A execução de operações em strings em uma matriz NumPy geralmente envolve loops lentos do Python ao invés de vetorização, anulando o propósito da velocidade do NumPy.
import pandas as pd
df = pd.DataFrame({'Nome': ['Alice', 'Ana', 'Maria']})
# Operação de string vetorizada fácil e rápida com Pandas
df['Nome_Tamanho'] = df['Nome'].str.len()
df['Comeca_Com_A'] = df['Nome'].str.startswith('A')
print(df)
"""
Resultados:
Nome Nome_Tamanho Comeca_Com_A
0 Alice 5 True
1 Ana 3 True
2 Maria 5 False
"""
Pandas versus NumPy: qual é mais difícil para iniciantes?
Essa questão é bastante subjetiva, pois ela depende da base de cada um. No entanto, para a maioria das pessoas iniciantes, o Pandas geralmente é mais fácil de começar a usar em tarefas práticas, enquanto os conceitos do NumPy podem parecer mais abstratos. O Pandas parece intuitivo porque funciona com tabelas (DataFrames). Se você já usou Excel ou SQL, conceitos como linhas, colunas e filtragem são familiares. Você pode carregar um arquivo CSV e começar a explorar dados com comandos simples muito rapidamente.
O NumPy pode parecer mais abstrato porque lida com matrizes. Compreender conceitos como dimensões (forma), transmissão (broadcasting) e vetorização é crucial. A base inicial do NumPy costuma ser menos sobre análise de dados e mais sobre computação. Consequentemente, suas aplicações iniciais podem parecer menos práticas.
Conclusões
Em conclusão, embora o NumPy e o Pandas sejam bibliotecas essenciais para análise de dados em Python, eles servem a propósitos diferentes. O NumPy é mais voltado para manipular grandes conjuntos de dados numéricos homogêneos e multidimensionais, cálculos numéricos e tarefas de computação científica. O Pandas se sai extremamente bem quando precisamos de uma biblioteca para manipular dados heterogêneos unidimensionais ou bidimensionais, tarefas de análise, manipulação e visualização de dados. Para um iniciante em IA, o Pandas tem uma aprendizagem mais rápida e prática. No entanto, para realmente dominar a IA com Python, uma sólida compreensão do NumPy é fundamental, pois ele sustenta não apenas o Pandas, mas também bibliotecas como Scikit-learn, SciPy e TensorFlow.
