【保存版】pandas基礎：データフレームの作成・整形・結合・集計を“実務の型”で身につける

import pandas as pd

# CSV読み込み（日付パース/型指定/欠損値の文字列指定）

df = pd.read\_csv(
"sales.csv",
parse\_dates=\["date"],
dtype={"store": "category", "product": "category"},
na\_values=\["", "NA", "null"]
)

# 先頭/末尾/サマリ

print(df.head())
print(df.tail(3))
print(df.info())
print(df.describe(numeric\_only=True))

# 列選択
cols = ["date", "store", "qty", "price"]
df2 = df[cols]

# 行フィルタ（ブール）

mask = (df\["qty"] > 0) & (df\["price"] > 0)
df3 = df.loc\[mask]

# 位置ベース（iloc）、ラベルベース（loc）

row5 = df.iloc\[5]          # 5行目（0始まり）
subset = df.loc\[:, \["date", "store", "qty"]]

# 単一セルの高速アクセス

cell = df.at\[0, "qty"]

# 新列生成とメソッドチェーン
out = (
    df
    .assign(amount=lambda d: d["qty"] * d["price"],  # 売上金額
            ym=lambda d: d["date"].dt.to_period("M").astype(str))
    .rename(columns={"store": "store_id"})
)

# 列削除

out = out.drop(columns=\["product"])  # 不要なら落とす

# 欠損の確認
na_counts = df.isna().sum()

# 数値は中央値/平均、カテゴリは最頻値で補完の例

num\_cols = \["qty", "price"]
cat\_cols = \["store", "product"]

from statistics import median
fill\_values = {"qty": df\["qty"].median(), "price": df\["price"].median()}
df\["qty"] = df\["qty"].fillna(fill\_values\["qty"])
df\["price"] = df\["price"].fillna(fill\_values\["price"])

# 重複行の検出と削除（キーを指定）

dups = df.duplicated(subset=\["date", "store", "product"], keep="last")
df = df.loc\[\~dups].copy()

# 店舗×月の売上合計/数量合計
monthly = (
    out
    .groupby(["ym", "store_id"], as_index=False)
    .agg(sales=("amount", "sum"), qty=("qty", "sum"))
)

# 上位商品（単純集計）

rank = df\["product"].value\_counts().head(10).reset\_index(names=\["product", "count"])

# 月×店舗の売上ピボット（行：月、列：店舗）
pv = pd.pivot_table(
    data=monthly,
    index="ym", columns="store_id",
    values="sales", aggfunc="sum", fill_value=0
)

# ロング↔ワイド変換

long\_df = pv.reset\_index().melt(id\_vars="ym", var\_name="store\_id", value\_name="sales")

stores = pd.read_csv("stores.csv", parse_dates=["open_date"], dtype={"store": "category"})
# 左結合：売上に店舗属性を付与
joined = (
    df
    .merge(stores.rename(columns={"store": "store_id"}), on="store_id", how="left")
)

# 週次の売上集計（リサンプリング）
weekly = (
    out
    .set_index("date")
    .resample("W-MON")
    .agg(sales=("amount", "sum"), qty=("qty", "sum"))
    .reset_index()
)

# 移動平均（直近4週）

weekly\["ma4"] = weekly\["sales"].rolling(window=4, min\_periods=1).mean()

# CSV（日本語環境のExcel向け：UTF-8 BOM）
monthly.to_csv("monthly_sales.csv", index=False, encoding="utf-8-sig")

# Excel（複数シート）

with pd.ExcelWriter("report.xlsx") as xw:
monthly.to\_excel(xw, sheet\_name="monthly", index=False)
rank.to\_excel(xw, sheet\_name="rank", index=False)

# Parquet（高速/省サイズ）

monthly.to\_parquet("monthly.parquet", index=False)

# ベクトル化：行ループより列演算
out["unit_price"] = out["amount"] / out["qty"].where(out["qty"] != 0, other=pd.NA)

# pipeで処理を段階化

def add\_amount(d: pd.DataFrame) -> pd.DataFrame:
return d.assign(amount=d\["qty"] \* d\["price"])

def add\_ym(d: pd.DataFrame) -> pd.DataFrame:
return d.assign(ym=d\["date"].dt.to\_period("M").astype(str))

result = df.pipe(add\_amount).pipe(add\_ym)

# queryで可読性UP（※列名に空白/記号がない前提）

filtered = result.query("qty > 0 and price > 0 and store == 'A01'")

import pandas as pd

def load\_sales(path: str) -> pd.DataFrame:
return pd.read\_csv(path, parse\_dates=\["date"], dtype={"store": "category", "product": "category"})

def make\_features(df: pd.DataFrame) -> pd.DataFrame:
return (
df.assign(amount=lambda d: d\["qty"] \* d\["price"],
ym=lambda d: d\["date"].dt.to\_period("M").astype(str))
)

def aggregate\_monthly(d: pd.DataFrame) -> pd.DataFrame:
return (
d.groupby(\["ym", "store"], as\_index=False)
.agg(sales=("amount", "sum"), qty=("qty", "sum"))
)

def pivot\_monthly(monthly: pd.DataFrame) -> pd.DataFrame:
return pd.pivot\_table(monthly, index="ym", columns="store", values="sales", aggfunc="sum", fill\_value=0)

if **name** == "**main**":
df = load\_sales("sales.csv")
monthly = aggregate\_monthly(make\_features(df))
pv = pivot\_monthly(monthly)
with pd.ExcelWriter("report.xlsx") as xw:
monthly.to\_excel(xw, sheet\_name="monthly", index=False)
pv.to\_excel(xw, sheet\_name="pivot")
print("Saved report.xlsx")

# 1) 条件で置換（マスク書き換え）
mask = (df["qty"] < 0)
df.loc[mask, "qty"] = 0

# 2) カテゴリ順序を固定

cat = pd.CategoricalDtype(\["S", "M", "L"], ordered=True)
df\["size"] = df\["size"].astype(cat)

# 3) 文字列→数値（通貨/カンマ除去）

df\["price"] = (df\["price"].astype(str)
.str.replace(",", "", regex=False)
.astype(float))

# 4) 正規表現で抽出

df\["sku"] = df\["text"].str.extract(r"SKU-(\d+)")

# 5) 異常値のWinsorize（上位1%を上限）

q99 = df\["amount"].quantile(0.99)
df\["amount\_clip"] = df\["amount"].clip(upper=q99)

# 6) 複数条件の一括集計

agg = df.groupby("store").agg(
sales=("amount", "sum"),
cnt=("amount", "size"),
avg=("amount", "mean")
).reset\_index()