Pythonのrequestsモジュールを使ってエンコーディング情報を取得する方法

2023年7月12日2023年10月6日

今回はPythonのRequestsモジュールを使ってウェブページのエンコーディング情報を取得する方法について解説します。

エンコーディング情報はウェブページの文字列を正しく解析・表示するために重要な情報です。

この記事では、HTTPヘッダー、レスポンスボディ、HTMLのmetaタグからエンコーディング情報を取得する3つの方法を紹介します。

エンコーディングとは

エンコーディングは、文字やその他の情報を一定の形式（通常はビットパターン）に変換するプロセスのことを指します。文字のエンコーディングは、文字をビットにマッピングする方法を定義します。

エンコードの種類には、ASCII、UTF-8、ISO 8859-1などがあります。

ウェブスクレイピングにおいてエンコーディングは非常に重要です。なぜなら、ウェブページはテキストとして送信され、そのテキストは特定のエンコーディングを使用してビットに変換されるからです。間違ったエンコーディングを使ってデコードすると、文字化けが起こる可能性があります。

例えば、ウェブページがUTF-8でエンコードされているとします。このページをASCIIとしてデコードしようとすると、非ASCII文字（アクセント付きの文字や非ラテン文字など）は正しく解釈できず、文字化けが発生します。

そのため、ウェブスクレイピングを行う際には、ページのエンコーディングを正しく認識し、そのエンコーディングを使用してコンテンツをデコードすることが重要です。この情報は通常、HTTPヘッダーやHTMLの<meta>タグなどから取得できます。

HTTPヘッダーからエンコーディング情報を取得する

HTTPレスポンスには通常、Content-Typeというヘッダーが含まれています。このヘッダーは、レスポンスボディのメディアタイプ（MIMEタイプ）を示していますが、同時に文字エンコーディングも含むことがあります。例えば、Content-Typeヘッダーがtext/html; charset=UTF-8の場合、レスポンスボディはHTMLで、エンコーディングはUTF-8です。

PythonのRequestsモジュールでは、Response.headers属性を使用してHTTPヘッダーを取得できます。

以下に、requestsを使ってHTTPヘッダーからエンコーディングを取得する例を示します：

import requests

# GETリクエストを送信
response = requests.get('http://example.com')

# Content-Typeヘッダーを取得
content_type = response.headers.get('Content-Type')

if content_type:
    # Content-Typeヘッダーが存在する場合、charsetが含まれているか確認
    if 'charset=' in content_type:
        encoding = content_type.split('charset=')[-1]
        print('エンコーディング: ', encoding)
    else:
        print('Content-Typeヘッダーにcharsetが指定されていません。')
else:
    print('Content-Typeヘッダーが受信されませんでした。')

http://example.comからHTTPレスポンスを取得し、Content-Typeヘッダーをチェックします。ヘッダーが存在し、charset=という部分が含まれている場合、それ以降の部分（つまり、エンコーディング）を表示します。

レスポンスボディのバイト列からエンコーディングを推定する

PythonのRequestsモジュールでは、HTTPレスポンスボディのバイト列からエンコーディングを推定する機能が提供されています。

HTTPレスポンスボディは一般的にバイト列（bytes）で送られますが、これを人間が読めるテキスト（str）に変換するためには、適切な文字エンコーディングを知る必要があります。多くのWebページではUTF-8が使用されますが、他のエンコーディングもまだ広く使われています。

RequestsモジュールのResponseオブジェクトは、エンコーディングを自動的に推定してくれます。これはResponse.encodingプロパティに保存されます。また、Response.textプロパティを使用すると、このエンコーディングを使用してバイト列をデコードした結果を取得できます。

ただし、自動推定は必ずしも正確ではないため、場合によってはエンコーディングを手動で設定する必要があります。これはResponse.encodingプロパティに直接値を設定することで可能です。

以下に、レスポンスボディのバイト列からエンコーディングを推定するコードを示します：

import requests

# GETリクエストを送信
response = requests.get('http://example.com')

# 推定されたエンコーディングを表示
print('検出されたエンコーディング: ', response.encoding)

# 検出されたエンコーディングを使用してレスポンスのテキストを取得
print('レスポンステキスト: ', response.text)

# エンコーディングを手動で指定
response.encoding = 'utf-8'

# これでテキストは指定したエンコーディングを使用してデコードされます
print('手動でデコードされたテキスト: ', response.text)

metaタグからエンコーディングを取得する

HTMLの<meta>タグは、HTML文書に関するメタデータを提供します。エンコーディングは通常、<meta>タグのcharset属性で指定されます。例えば、以下のようになります

<meta charset="UTF-8">

Pythonでこれを行うためには、HTMLパーサー（例えば、BeautifulSoup）が必要になります。以下に、requestsとBeautifulSoupを使ってHTMLからエンコーディングを取得する例を示します

import requests
from bs4 import BeautifulSoup

# GETリクエストを送信
response = requests.get('http://example.com')

# BeautifulSoupでレスポンステキストを解析
soup = BeautifulSoup(response.text, 'html.parser')

# charset属性を持つ<meta>タグを探す
meta_tag = soup.find('meta', charset=True)

if meta_tag:
    # そのようなタグが見つかった場合、charsetを表示
    print('エンコーディング: ', meta_tag['charset'])
else:
    # そのようなタグが見つからなかった場合、HTMLからエンコーディングを決定できません
    print('HTMLからエンコーディングを決定できませんでした。')

このコードは、http://example.comからHTMLを取得し、BeautifulSoupを使用して解析します。その後、charset属性を持つ<meta>タグを探し、その値（つまり、エンコーディング）を表示します。

まとめ

今回はPythonのRequestsモジュールを使ってウェブページのエンコーディング情報を取得する方法について解説しました。

HTTPヘッダー、レスポンスボディ、HTMLのmetaタグからエンコーディング情報を取得する方法を学びました。これらの方法を使えば、ウェブページの文字列を正しく解析・表示するためのエンコーディング情報を得ることができます。

ウェブスクレイピングやデータ分析にぜひ活用してみてください。