내일의 커피를 위해 코딩한다.

 티스토리 

데이터 분석을 위한 판다스와 DASK의 활용하기

안녕하세요, 여러분! 오늘은 데이터 분석에 있어서 아주 중요한 두 라이브러리, PANDAS, DASK를 활용하는 방법에 대해 알아보려고 해요. 이 둘을 잘 사용하면 대용량(big size) 빅데이터 분석이 훨씬 수월해진답니다. 그럼, 간단한 예시를 통해 어떻게 활용하는지 살펴볼까요?

1. 코드리뷰

  먼저, 판다스는 데이터 분석과 조작을 위한 아주 강력한 라이브러리에요. 예를 들어, 다음과 같이 간단한 데이터프레임을 생성할 수 있죠.

import pandas as pd

df1 = pd.DataFrame({'a': [1, 2, 3], 'b': ['4', '5', '6'], 'c': [7.0, 8.0, 9.0]})
df2 = pd.DataFrame({'a': ['1', '2', '4'], 'b': [10, 11, 12], 'd': [13.0, 14.0, 15.0], 'f': ['16', '17', '18'], 'g': [19, 20, 21]})

다음으로, 판다스의 데이터프레임을 DASK의 데이터프레임으로 변환할 수 있어요. 다크는 병렬 계산을 위한 라이브러리로, 큰 데이터를 다룰 때 유용해요.

import dask.dataframe as dd

df1 = dd.from_pandas(df1, npartitions=1)
df2 = dd.from_pandas(df2, npartitions=1)

이제, 두 데이터프레임의 'a' 열의 데이터 타입(dtype)을 문자열(str)로 통일한 뒤, 병합하는 작업을 해볼 거에요. 이렇게 하면 두 데이터프레임의 정보를 통합하여 더 유용한 분석을 할 수 있답니다.

아래 클릭하여 코드를 확인. 

print(merged_df.compute())

이 예시를 통해 판다스와 DASK의 기본적인 사용법을 간단히 알아봤어요. 데이터 분석의 세계는 정말 넓고, 이 두 라이브러리는 그 세계를 탐험하는 데 있어서 강력한 도구랍니다. 여러분도 이런 도구들을 활용해서 다양한 데이터 분석 프로젝트에 도전해보세요!

2. 코드리뷰

이제 이 예제를 확장하여 두 데이터프레임 간의 다른 유형의 조작을 수행하는 추가 예제를 알아 볼게요.

import pandas as pd
import dask.dataframe as dd

# 새로운 예시 데이터프레임 생성
df3 = pd.DataFrame({'x': [10, 20, 30], 'y': ['a', 'b', 'c'], 'z': [0.1, 0.2, 0.3]})
df4 = pd.DataFrame({'x': [20, 30, 40], 'y': ['b', 'c', 'd'], 'k': [3, 4, 5], 'm': ['x', 'y', 'z']})

# dask 데이터프레임으로 변환
df3 = dd.from_pandas(df3, npartitions=1)
df4 = dd.from_pandas(df4, npartitions=1)

# 'x' 열을 기준으로 df3과 df4를 내부 병합(inner join) 예시
inner_merged_df = df3.merge(df4, on='x', how='inner')

# 'y' 열을 기준으로 df3과 df4를 외부 병합(outer join) 예시
outer_merged_df = df3.merge(df4, on='y', how='outer')

# 결과 확인
print("Inner Merged DataFrame:\n", inner_merged_df.compute())
print("\nOuter Merged DataFrame:\n", outer_merged_df.compute())

추가 리뷰는 아래 클릭하여 확인 해보세요~

마무리

- 이번 포스팅은 Pandas / Dask 라이브러 에 대해 알아봤습니다.

 티스토리 

특정 문자열을 포함하는 데이터를 탐색

안녕하세요, 
오늘의 블로그 포스팅에서는 Python의 Pandas 라이브러리를 활용하여 특정 문자열을 포함하는 데이터를 탐색하고 이를 기반으로 새로운 열을 데이터프레임에 추가하는 방법을 알아보겠습니다.

이번 예제에서특정 문자열을 찾아내는 것을 목표로 합니다.

1. 코드리뷰

데이터프레임 준비
먼저, 우리가 작업할 샘플 데이터프레임을 생성해보겠습니다.

데이터프레임에는 날짜(DATE), 선수 이름(PLAYER), 출생년도(Birth), 소속 클럽(TEAM), 그리고 데이터베이스 ID(DB_ID)가 포함됩니다.

import pandas as pd

# 데이터프레임 수정
data = {
    'DATE': ['2023-10-13 0:00:00', '2023-10-14 1:00:00', '2023-10-15 2:00:00', 
             '2024-01-16 3:00:00', '2024-01-17 4:00:00', '2024-01-18 5:00:00', 
             '2024-01-18 6:00:00', '2024-01-18 7:00:00', '2024-01-18 8:00:00'],
    'PLAYER': ['손흥민(Son Heung-min)', '이강인(Lee Kang-in)', '김민재(Kim Min-jae)', 
               '황희찬(Hwang Hee-chan)', '박지성(Park Ji-sung)', '기성용(Ki Sung-yueng)', 
               '차범근(Cha Bum-kun)', '차두리(Cha Du-ri)', '이청용(Lee Chung-yong)'],
    'Birth': ['1992년 7월 8일', '2001년 2월 19일', '1996년 11월 15일', 
              '1996년 1월 26일', '1981년 2월 25일', '1989년 1월 24일', 
              '1953년 5월 22일', '1980년 7월 25일', '1988년 7월 2일'],
    'TEAM': ['Tottenham Hotspur', 'PSG', 'FC Bayern Munich', 
               'Wolverhampton Wanderers FC', 'Manchester United', 'THE CELTIC FC', 
               '프랑크푸르트', '프랑크푸르트', '볼턴 원더러스'],
    'DB_ID': ['CI13/JO_DATA/TZ10', 'CI07/JO_DATA/TZ10', 'CI13//TZ10', 
              'SI_DATA/TZ10', 'CI3/JO_DATA/TZ12', 'CI13/JO_DATA', 
              'CI13/SI_DATA/TZ10', 'CI77/JO_DATA/TZ10', 'SI_DATA/TZ10']
}
df = pd.DataFrame(data)
df.to_csv('result.csv') # 결과 저장

특정 문자열 탐색 및 새 열 추가

이제 'DB_ID' 열에서 'JO_DATA' 문자열을 포함하는 행을 찾아, 이 정보를 바탕으로 새로운 열 'CHECK_ID'에 'JO_DATA'를 저장하는 작업을 진행하겠습니다. 이를 위해 apply 함수와 람다(lambda) 표현식을 사용합니다.

df.apply() 메소드 와 람다(lambda)는 아래에 다시 자세히 설명 하겠습니다.

df['CHECK_ID'] = df['PLACE'].apply(lambda x: 'JO_DATA' if 'JO_DATA' in x else None)

결과 (output) : CHECK_ID 열에 DB_ID 값 JO_DATA가 있으면 저장한 결과

2. apply 함수와 람다(lambda) 표현식

DataFrame.apply() 메소드는 판다스(Pandas)에서 데이터프레임의 열이나 행에 함수를 적용할 때 사용합니다. 
이 메소드는 데이터프레임의 각 열이나 행에 대해 지정된 함수를 적용하고 결과를 데이터프레임 또는 시리즈로 반환합니다.
 axis 매개변수를 통해 함수가 적용되는 축을 지정할 수 있으며, axis=0은 열에 함수를 적용하고, axis=1은 행에 함수를 적용합니다.

예제 1: 열의 최대값과 최소값의 차이 계산

import pandas as pd

df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6], 'C': [7, 8, 9]})

def max_min_diff(x):
    return x.max() - x.min()

result = df.apply(max_min_diff)
print(result)

결과 : 

예제 2: 행별로 최대값 찾기

import pandas as pd

df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6], 'C': [7, 8, 9]})

result = df.apply(max, axis=1)
print(result)

결과 :

예제 3: 데이터프레임의 각 열에 대해 데이터 유형 변환

import pandas as pd

df = pd.DataFrame({'A': [1, 2, 3], 'B': ['4', '5', '6'], 'C': [0.1, 0.2, 0.3]})

def convert_dtype(x):
    if x.dtype == 'float64':
        return x.astype('int64')
    return x

result = df.apply(convert_dtype)
print(result)

결과 :

이 예제들은 apply() 메소드의 다양한 사용 방법을 보여줍니다. 첫 번째 예제는 각 열의 최대값과 최소값의 차이를 계산합니다. 두 번째 예제는 각 행의 최대값을 찾습니다. 세 번째 예제에서는 데이터프레임의 각 열의 데이터 유형을 조건에 따라 변환합니다.

파이썬의 lambda 함수는 작은 익명 함수를 정의하는 데 사용됩니다. lambda 함수는 여러 인자를 받을 수 있지만, 표현식은 하나만 가질 수 있으며, 그 표현식의 계산 결과가 반환됩니다. lambda 함수는 일반적으로 함수를 인자로 받는 고차 함수에서 사용되거나, 짧은 함수가 필요한 곳에 쓰이는 경우가 많습니다. 기본 형식은 다음과 같습니다.

lambda arguments: expression

예제 1: 두 수를 더하는 lambda 함수

add = lambda x, y: x + y
print(add(5, 3))

예제 2: 리스트의 각 요소에 제곱을 적용

numbers = [1, 2, 3, 4]
squared = list(map(lambda x: x ** 2, numbers))
print(squared)

예제 3: 리스트에서 홀수만 필터링

numbers = [1, 2, 3, 4, 5, 6, 7, 8, 9]
odds = list(filter(lambda x: x % 2 != 0, numbers))
print(odds)

이 예제들은 lambda 함수의 다양한 사용 방법을 보여줍니다. 첫 번째 예제는 두 수를 더하는 간단한 lambda 함수를 정의합니다. 두 번째 예제에서는 map() 함수와 lambda를 결합하여 리스트의 각 요소에 제곱을 적용합니다. 세 번째 예제에서는 filter() 함수와 lambda를 사용하여 리스트에서 홀수만을 필터링합니다.

마무리

- 이번 포스팅은 판다스 조건별 탐색 및 apply() 메소드 및 lambda에 대해 알아봤습니다.

안녕하세요, 파이썬 개발자 여러분! 파이썬의 매력적인 세계에 오신 것을 환영합니다. 이 블로그 글에서는 파이썬 프로그래밍의 다양한 측면을 탐구하고, 혁신적인 아이디어와 유용한 도구를 소개합니다. 함께 파이썬의 무한한 가능성을 발견하며 세계를 개척해봅시다!

파이썬의 매력과 장점: 파이썬은 왜 많은 개발자들에게 인기를 끌까요? 이 글에서는 파이썬의 매력과 장점을 탐구합니다. 간결한 문법, 다양한 라이브러리, 그리고 커뮤니티의 활발한 지지와 같은 파이썬의 강점을 살펴보면서, 왜 파이썬이 현대 개발의 황금시대를 이끌고 있는지 알아봅시다.

파이썬 프로젝트 아이디어: 이 글에서는 파이썬으로 할 수 있는 다양한 프로젝트 아이디어를 소개합니다. 데이터 분석, 웹 개발, 인공지능, 자동화 등 다양한 분야에서 파이썬의 힘을 발휘할 수 있습니다. 여러분의 창의력을 불러일으키는 아이디어를 공유하고, 파이썬으로 세계를 개척하는 프로젝트에 도전해보세요.

인기 있는 파이썬 라이브러리와 도구:

파이썬 커뮤니티와 학습 자료: 파이썬 커뮤니티는 지식 공유와 상호 도움을 위한 아름다운 장소입니다. 이 글에서는 파이썬 커뮤니티와 다양한 학습 자료를 소개합니다. 파이썬 개발자들과 교류하고, 온라인 강의, 튜토리얼, 문서 등을 통해 파이썬의 심층적인 이해와 능숙한 활용을 위한 지식을 쌓아봅시다.

파이썬의 미래와 발전 방향: 파이썬은 계속해서 발전하고 혁신을 이끌어내고 있습니다. 이 글에서는 파이썬의 미래와 발전 방향을 살펴봅니다. 인공지능, 데이터 과학, 웹 개발 등 파이썬이 점점 더 중요한 역할을 맡게 되는 분야와 기술을 탐구하면서 파이썬의 무한한 잠재력을 엿볼 수 있습니다.

이 블로그 글을 통해 파이썬의 매력과 능력을 다시 한 번 확인하고, 파이썬 개발자로서의 여정을 함께 나누어봅시다. 함께 파이썬으로 세계를 개척해나가는 황금시대에 동참해보세요!