정규식으로 한글과 영어만 쏙쏙! 파이썬으로 텍스트 데이터 정제하기

자연어 처리(NLP) 작업을 하다 보면, 텍스트 데이터를 특정 언어로만 정제해야 할 때가 종종 있습니다. 예를 들어, 한글만 남기고 싶거나 영어만 남기고 싶을 때가 있습니다. 파이썬의 강력한 `re` 라이브러리를 사용하면 이러한 작업을 간단히 수행할 수 있습니다. 이번 포스팅에서는 정규식을 사용하여 텍스트에서 한글 또는 영어만 남기는 방법을 예제와 함께 소개하겠습니다.

1. 파이썬에서 정규식 사용하기

파이썬에서는 `re` 모듈을 사용하여 정규 표현식(Regular Expressions)을 다룰 수 있습니다. 정규식은 특정 패턴과 일치하는 문자열을 검색하거나 대체하는 데 유용하게 사용됩니다.

이번 포스팅에서는 주어진 텍스트에서 한글 또는 영어만 남기고 나머지 문자를 모두 제거하는 방법을 다룹니다.

 

2. 한글만 남기기

한글만 남기려면, 정규식에서 한글에 해당하는 문자 범위를 지정하면 됩니다.

한글의 경우 유니코드 범위를 `[ㄱ-ㅎㅏ-ㅣ가-힣]`로 정의할 수 있습니다. 이 범위 외의 문자는 모두 제거하는 방식으로 정규식을 작성할 수 있습니다.

 

import pandas as pd
import re

# 예제 데이터프레임 생성
data = {'contents': ["안녕하세요, Hello!", "Python is 재밌어요.", "2024년 새해 복 많이 받으세요.", "I love 한국어!", "12345 ABCD 한글"]}
comment_df = pd.DataFrame(data)

# 정규식을 사용하여 한글만 남기기
comment_df['preprocessed_comment'] = comment_df['contents'].apply(lambda s: re.sub("[^ㄱ-ㅎㅏ-ㅣ가-힣 ]", "", s))

# 결과 확인
print(comment_df[['contents', 'preprocessed_comment']])

위 코드에서는 `[^ㄱ-ㅎㅏ-ㅣ가-힣 ]`이라는 정규식을 사용하여 한글 외의 모든 문자를 제거합니다. 여기서 `^`는 "반대(not)"를 의미하며, 한글 범위에 속하지 않는 모든 문자를 제거하는 역할을 합니다.

3. 영어만 남기기

영어만 남기고 싶은 경우에는 `[a-zA-Z]` 범위를 사용합니다. 이 범위 외의 문자는 모두 제거합니다.

# 정규식을 사용하여 영어만 남기기
comment_df['preprocessed_comment'] = comment_df['contents'].apply(lambda s: re.sub("[^a-zA-Z ]", "", s))

# 결과 확인
print(comment_df[['contents', 'preprocessed_comment']])

여기서는 `[^a-zA-Z ]`라는 정규식을 사용합니다. 이 정규식은 영어 알파벳(대소문자) 이외의 모든 문자를 제거하는 역할을 합니다.

4. 정규식 활용 시 고려사항

• 공백 처리: 예제에서는 공백을 남겨두기 위해 정규식 패턴에 공백 문자 `" "`을 포함시켰습니다. 만약 공백도 제거하고 싶다면 패턴에서 공백 문자를 제거하면 됩니다.
• 다른 문자 제거: 숫자나 특수 문자도 제거하려면 해당 문자를 정규식 패턴에 포함시켜 처리할 수 있습니다.
• 정규식 최적화: 정규식은 매우 강력한 도구이지만 복잡한 패턴을 사용하면 성능에 영향을 줄 수 있습니다. 따라서, 정규식 패턴을 간결하고 효율적으로 작성하는 것이 중요합니다.

5. 마무리

파이썬에서 정규식을 사용하면 텍스트 데이터에서 한글 또는 영어만 남기는 작업을 매우 쉽게 수행할 수 있습니다. 이러한 텍스트 정제 작업은 자연어 처리에서 데이터 전처리의 중요한 부분을 차지하며, 정규식을 잘 활용하면 복잡한 작업도 간단히 해결할 수 있습니다.

이번 포스팅을 통해 정규식의 기본 개념과 활용법을 이해하고, 실제 프로젝트에 적용해보세요. 추가적으로 정규식에 대해 더 깊이 공부해보고 싶다면, 파이썬 공식 문서의 `re` 모듈 섹션을 참고하는 것도 좋은 방법입니다.

---

이 포스팅이 여러분의 자연어 처리 작업에 도움이 되길 바랍니다. 추가 질문이나 의견이 있다면 댓글로 남겨주세요!