日本の大学データ

日本の大学データ#

日本の大学のデータを使って、Polars の基本操作をひととおり見ていきます。読み込み、列の操作、行の絞り込み、グループ集計、グラフまでを、実際のデータで確認します。

まず polars を pl という別名でインポートします。この別名は慣例です。続いて CSV を読み込み、先頭2行を表示します。

ファイル読み込み#

import polars as pl
import hvplot.polars
df = pl.read_csv('data/japanese_universities.csv')
df.head(2)

shape: (2, 22)

	code	name	name_jp	type	type_jp	address	postal_code	phone	state	state_jp	latitude	longitude	found	faculty_count	department_count	has_grad	has_remote	review_rating	review_count	difficulty_SD	difficulty_rank
i64	str	str	str	str	str	str	str	str	str	str	f64	f64	str	i64	i64	bool	bool	f64	f64	f64	str
0	"F101110100010"	"Hokkaido University"	"北海道大学"	"National"	"国立"	"北海道札幌市北区北8条西5丁目"	"060－0808"	"011－716－2111"	"Hokkai Do"	"北海道"	43.070446	141.347153	"1876-08"	33	78	true	false	4.16	1389.0	60.4	"A"
1	"F101110100029"	"Hokkaido University of Educati…	"北海道教育大学"	"National"	"国立"	"北海道札幌市北区あいの里5条3－1－3"	"002－8501"	"011－778－0206"	"Hokkai Do"	"北海道"	43.170498	141.393753	"1943-04"	3	8	true	false	3.79	544.0	47.1	"D"

columns 属性で列名の一覧を取得できます。

列の情報#

df.columns

['',
 'code',
 'name',
 'name_jp',
 'type',
 'type_jp',
 'address',
 'postal_code',
 'phone',
 'state',
 'state_jp',
 'latitude',
 'longitude',
 'found',
 'faculty_count',
 'department_count',
 'has_grad',
 'has_remote',
 'review_rating',
 'review_count',
 'difficulty_SD',
 'difficulty_rank']

列名とデータ型は schema で確認できます。列名をキー、データ型を値とする辞書が返ります。

df.schema

Schema([('', Int64),
        ('code', String),
        ('name', String),
        ('name_jp', String),
        ('type', String),
        ('type_jp', String),
        ('address', String),
        ('postal_code', String),
        ('phone', String),
        ('state', String),
        ('state_jp', String),
        ('latitude', Float64),
        ('longitude', Float64),
        ('found', String),
        ('faculty_count', Int64),
        ('department_count', Int64),
        ('has_grad', Boolean),
        ('has_remote', Boolean),
        ('review_rating', Float64),
        ('review_count', Float64),
        ('difficulty_SD', Float64),
        ('difficulty_rank', String)])

列操作#

drop() で不要な列を削除します。Polars のメソッドは新しいデータフレームを返すため、結果は変数に代入します。

df2 = df.drop('', 'code', 'name', 'type', 'state', 'postal_code', 'phone')
df2.head(2)

shape: (2, 15)

name_jp	type_jp	address	state_jp	latitude	longitude	found	faculty_count	department_count	has_grad	has_remote	review_rating	review_count	difficulty_SD	difficulty_rank
str	str	str	str	f64	f64	str	i64	i64	bool	bool	f64	f64	f64	str
"北海道大学"	"国立"	"北海道札幌市北区北8条西5丁目"	"北海道"	43.070446	141.347153	"1876-08"	33	78	true	false	4.16	1389.0	60.4	"A"
"北海道教育大学"	"国立"	"北海道札幌市北区あいの里5条3－1－3"	"北海道"	43.170498	141.393753	"1943-04"	3	8	true	false	3.79	544.0	47.1	"D"

with_columns() は列の追加と既存列の変換を行います。次のコードでは df2 に2つの変換を適用し、新しいデータフレーム df3 を作ります。

found — 文字列から日付型へ
type_jp と difficulty_rank — 文字列からカテゴリカル型へ。カテゴリカル型は同じ文字列を繰り返し持たないぶんメモリ効率がよく、集計にも向いています。

with_columns() に渡すのは計算結果ではなく「計算を表す式」です。式の詳細

df3 = df2.with_columns(
    pl.col('found').str.to_date("%Y-%m"),
    pl.col('type_jp', 'difficulty_rank').cast(pl.Categorical)
)

変換された列だけを select() で取り出して確認します。

df3.select('name_jp', 'found', 'type_jp', 'difficulty_rank').head()

shape: (5, 4)

name_jp	found	type_jp	difficulty_rank
str	date	cat	cat
"北海道大学"	1876-08-01	"国立"	"A"
"北海道教育大学"	1943-04-01	"国立"	"D"
"室蘭工業大学"	1897-05-01	"国立"	"F"
"小樽商科大学"	1910-03-01	"国立"	"C"
"帯広畜産大学"	1941-04-01	"国立"	"B"

Tip

select() と with_columns() は、どちらもデータフレームの列を操作するメソッドです。違いは出力される列にあります。select() は選んだ列だけを返し、with_columns() は操作した列に加えて、操作しなかった列もそのまま残します。

行フィルタ#

filter() は条件を満たす行だけを返します。元のデータフレームは変わりません。次のコードは、偏差値（difficulty_SD）が65より大きい行を選びます。

df3.filter(
    pl.col('difficulty_SD') > 65
)

shape: (8, 15)

name_jp	type_jp	address	state_jp	latitude	longitude	found	faculty_count	department_count	has_grad	has_remote	review_rating	review_count	difficulty_SD	difficulty_rank
str	cat	str	str	f64	f64	date	i64	i64	bool	bool	f64	f64	f64	cat
"東京大学"	"国立"	"東京都文京区本郷7－3－1"	"東京都"	35.714146	139.763214	1877-04-01	25	132	true	false	4.34	2206.0	70.5	"S"
"一橋大学"	"国立"	"東京都国立市中2－1"	"東京都"	35.694389	139.443649	1920-04-01	10	15	true	false	4.26	432.0	67.9	"S"
"京都大学"	"国立"	"京都府京都市左京区吉田本町"	"京都府"	35.026962	135.781967	1886-04-01	28	94	true	false	4.2	1434.0	65.6	"S"
"国際教養大学"	"公立"	"秋田県秋田市雄和椿川字奥椿岱"	"秋田県"	39.62706	140.181107	2004-04-01	2	4	true	false	4.18	100.0	69.7	"S"
"慶應義塾大学"	"私立"	"東京都港区三田2－15－45"	"東京都"	35.649147	139.742828	1890-01-01	28	59	true	true	4.19	2682.0	66.3	"S"
"日本医科大学"	"私立"	"東京都文京区千駄木1－1－5"	"東京都"	35.721233	139.758453	1904-04-01	2	2	true	false	3.99	31.0	70.0	"S"
"早稲田大学"	"私立"	"東京都新宿区戸塚町１－１０４"	"東京都"	35.710083	139.722244	1902-10-01	35	94	true	true	4.14	4280.0	65.7	"S"
"国際基督教大学"	"私立"	"東京都三鷹市大沢3－10－2"	"東京都"	35.686474	139.527481	1953-03-01	2	6	true	false	4.43	206.0	68.0	"S"

条件は &（AND）、|（OR）、~（NOT）で組み合わせます。次のコードは、大阪にあって偏差値が55より高い大学を抽出します。

df3.filter(
    (pl.col('difficulty_SD') > 55) & (pl.col('state_jp').str.starts_with("大阪"))
)

shape: (3, 15)

name_jp	type_jp	address	state_jp	latitude	longitude	found	faculty_count	department_count	has_grad	has_remote	review_rating	review_count	difficulty_SD	difficulty_rank
str	cat	str	str	f64	f64	date	i64	i64	bool	bool	f64	f64	f64	cat
"大阪大学"	"国立"	"大阪府吹田市山田丘1－1"	"大阪府"	34.819496	135.521164	1917-04-01	26	75	true	false	4.12	1840.0	61.3	"A"
"大阪医科薬科大学"	"私立"	"大阪府高槻市大学町2－7"	"大阪府"	34.85186	135.624405	1904-05-01	6	9	true	false	4.11	9.0	57.0	"B"
"関西大学"	"私立"	"大阪府吹田市山手町3－3－35"	"大阪府"	34.769669	135.510162	1904-01-01	29	44	true	false	3.95	2661.0	55.6	"B"

メソッドチェーンは、複数のメソッドを続けて呼ぶ書き方です。Polars では処理の流れがそのまま上から下へ読めるため、前処理を書くときの基本形になります。

次のコードは df3 に対して、上から順に処理を行います。

filter() — type_jp が「国立」の行だけ残す
sort() — 偏差値の降順に並べる
drop_nulls() — 偏差値が NULL の行を落とす
select() — 大学名と偏差値だけにする
head() — 先頭 5行を取る

(df3
.filter(pl.col.type_jp == '国立')
.sort('difficulty_SD', descending=True)
.drop_nulls('difficulty_SD')
.select('name_jp', 'difficulty_SD')
.head(5)
)

shape: (5, 2)

name_jp	difficulty_SD
str	f64
"東京大学"	70.5
"一橋大学"	67.9
"京都大学"	65.6
"東京工業大学"	65.0
"浜松医科大学"	64.4

グループ処理#

type_jp のユニークな値を確認します。国立・公立・私立の3種類があります。

df3.select(pl.col('type_jp').unique())

shape: (3, 1)

type_jp
cat
"国立"
"公立"
"私立"

カテゴリ列ごとに集計するときは group_by() と agg() を使います。

group_by() — 指定した列の値ごとにデータをまとめる
agg() — グループごとに集計する（件数、合計、平均など）

次の例では pl.len() で各グループの行数を数えます。

df3.group_by('type_jp').agg(pl.len())

shape: (3, 2)

type_jp	len
cat	u32
"国立"	86
"公立"	101
"私立"	626

件数だけでなく、偏差値の最小値・中央値・平均値・最大値も同時に求められます。キーワード引数で出力列名を指定します。

(df3
.group_by('type_jp')
.agg(
    count = pl.len(),
    min = pl.col('difficulty_SD').min(),
    median = pl.col('difficulty_SD').median(),
    mean = pl.col('difficulty_SD').mean(),
    max = pl.col('difficulty_SD').max(),
)
)

shape: (3, 6)

type_jp	count	min	median	mean	max
cat	u32	f64	f64	f64	f64
"私立"	626	35.0	38.5	40.801034	70.0
"公立"	101	40.0	50.0	50.042391	69.7
"国立"	86	35.7	51.7	52.917073	70.5

グラフ#

Polars 自体には描画機能はありませんが、hvplot をインポートすると .hvplot から対話的なグラフを作れます。地図に重ねるときは geoviews も必要です。

conda install -c conda-forge hvplot geoviews

棒グラフ#

次のコードは、都道府県ごとに大学の数を数え、多い順に並べて棒グラフにします。描画用のメソッドは .hvplot の下にあります。

x と y に軸のラベルを指定する
rot=90 で X 軸のラベルを縦向きにする
frame_width=900 でグラフの幅を 900ピクセルにする

x_label = "都道府県"
y_label = "大学の数"
(df3
.group_by(pl.col("state_jp").alias(x_label))
.agg(
    pl.len().alias(y_label)
)
.sort(y_label, descending=True)
.hvplot.bar(
    x=x_label, y=y_label, 
    rot=90, frame_width=900
)
)

スタック棒グラフ#

次は都道府県だけでなく、大学の種類（国立・公立・私立）でも分けて積み上げます。先のコードとの違いは3点です。

group_by() に type_jp を足し、都道府県 × 種類でグループ化する。
並べ替えは「都道府県ごとの合計」で行う。over() で式の中にグループ集計を書ける（over() の使い方）。
by="type_jp" で種類ごとに色を分け、stacked=True で積み上げる。

(df3
.group_by(
    pl.col("state_jp").alias(x_label), 
    "type_jp"
)
.agg(
    pl.len().alias(y_label)
)
.sort(pl.col(y_label).sum().over(x_label), descending=True)
.hvplot.bar(
    x=x_label, y=y_label, by="type_jp", 
    stacked=True, rot=90, 
    frame_width=900, frame_height=450
)
)

経度と緯度に点を打ち、大学の種類で色分けして地図に重ねます。

by="type_jp" — 種類ごとに色を分ける
hover_cols=['name_jp'] — マウスを乗せたときに大学名を出す
tiles=True — 背景に地図タイルを敷く

geo=True を併せて指定すると、geoviews の投影設定と競合して描画に失敗することがあります。tiles=True だけで地図になります。

df3.hvplot.points(
    "longitude",
    "latitude",
    by="type_jp",
    hover_cols=["name_jp"],
    tiles=True,
    frame_width=600,
)