在线观看免费99视频,久久久超碰一区二区三区,中文人妻一区二区熟女,亚洲av网址免费观看,中文字幕成人免费高清在线,超碰在线播放97国产,日韩一区三区在线观看视频,人妻 日韩精品 中文字幕,婷婷久久综合噜视频

技術(shù)準(zhǔn)備：打造數(shù)據(jù)抓取 “工具箱”

• Requests 庫：這是一個讓我們能輕松與網(wǎng)絡(luò)進(jìn)行交互的神奇工具。它就像是一位不知疲倦的信使，能夠向指定的 URL 發(fā)送各種類型的請求，比如常見的 GET 和 POST 請求。通過它，我們可以快速獲取網(wǎng)頁的內(nèi)容，就像從遠(yuǎn)方的圖書館借回一本我們需要的書籍。安裝它也非常簡單，在命令行中輸入pip install requests，稍作等待，它就能成為我們數(shù)據(jù)抓取 “工具箱” 中的一員啦。
• BeautifulSoup 庫：當(dāng)我們拿到網(wǎng)頁內(nèi)容后，就需要一個能將其解析得井井有條的工具，BeautifulSoup 庫便是絕佳選擇。它如同一位專業(yè)的圖書管理員，能夠把雜亂無章的 HTML 或 XML 文檔梳理清楚，讓我們可以輕松地定位和提取其中的關(guān)鍵信息，比如服裝的名稱、價格、描述等。安裝它同樣便捷，在命令行執(zhí)行pip install beautifulsoup4即可。
• pandas 庫：這是一個功能強大的數(shù)據(jù)處理和分析庫，在我們的 “工具箱” 中扮演著核心角色。它可以像一個智能的文件整理專家，對爬取到的數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換和分析，幫助我們發(fā)現(xiàn)數(shù)據(jù)背后隱藏的規(guī)律和趨勢。無論是數(shù)據(jù)的合并、分組，還是透視表的創(chuàng)建，pandas 庫都能輕松應(yīng)對。使用pip install pandas就能將它收入囊中。
• numpy 庫：它是 Python 科學(xué)計算的基礎(chǔ)庫，為 pandas 等庫提供了強大的支持。numpy 庫就像一個堅固的基石，能夠高效地處理多維數(shù)組和矩陣運算，在數(shù)據(jù)處理過程中，很多復(fù)雜的數(shù)學(xué)計算都離不開它。通過pip install numpy即可完成安裝。
• matplotlib 庫：這是一個用于數(shù)據(jù)可視化的優(yōu)秀庫，能將枯燥的數(shù)據(jù)轉(zhuǎn)化為直觀、美觀的圖表，如折線圖、柱狀圖、散點圖等。它就像一位技藝高超的畫家，讓數(shù)據(jù)以更生動的方式展現(xiàn)出來，幫助我們更好地理解數(shù)據(jù)的含義。安裝命令為pip install matplotlib。

爬取實戰(zhàn)：揭開服裝數(shù)據(jù)的神秘面紗

確定目標(biāo)與數(shù)據(jù)源

發(fā)送請求與解析頁面

import requests

url = 'https://s.taobao.com/search?q=夏季新款連衣裙'
headers = {
    'User - Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
response = requests.get(url, headers=headers)

if response.status_code == 200:
    html_content = response.text
else:
    print(f"請求失敗，狀態(tài)碼: {response.status_code}")

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, 'lxml')
items = soup.find_all('div', class_='item')

for item in items:
    title = item.find('div', class_='title').text.strip()
    price = item.find('div', class_='price').text.strip()
    deal_count = item.find('div', class_='deal - cnt').text.strip()
    link = item.find('a', class_='J_ClickStat').get('href')
    print(title, price, deal_count, link)

分頁抓取與數(shù)據(jù)存儲

import requests
from bs4 import BeautifulSoup
import pandas as pd

def get_product_data(page_num):
    url = f'https://search.jd.com/Search?keyword=男士運動鞋&page={page_num}'
    headers = {
        'User - Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        soup = BeautifulSoup(response.text, 'lxml')
        products = soup.find_all('div', class_='gl - i - wrap')
        product_list = []
        for product in products:
            name = product.find('div', class_='p - name').text.strip()
            price = product.find('div', class_='p - price').text.strip()
            link = 'https:' + product.find('a')['href']
            product_list.append({'name': name, 'price': price, 'link': link})
        return product_list
    else:
        print(f"請求失敗，狀態(tài)碼: {response.status_code}")
        return []


# 分頁抓取前10頁的數(shù)據(jù)
all_products = []
for page in range(1, 11):
    data = get_product_data(page)
    all_products.extend(data)


# 將抓取到的數(shù)據(jù)存儲為DataFrame
df = pd.DataFrame(all_products)
# 存儲為CSV文件
df.to_csv('jd_shoes_data.csv', index=False, encoding='utf - 8')

在這段代碼中，我們定義了get_product_data()函數(shù)，用于獲取指定頁碼的商品數(shù)據(jù)。通過循環(huán)遍歷range(1, 11)，實現(xiàn)了對前 10 頁數(shù)據(jù)的抓取，并將所有數(shù)據(jù)存儲在all_products列表中。最后，使用 pandas 庫將數(shù)據(jù)轉(zhuǎn)換為 DataFrame 格式，并存儲為 CSV 文件jd_shoes_data.csv，方便后續(xù)的數(shù)據(jù)分析。

反爬蟲機制應(yīng)對策略

from fake_useragent import UserAgent

ua = UserAgent()
headers = {'User - Agent': ua.random}

import time
import random

time.sleep(random.uniform(1, 3))  # 隨機延遲1到3秒

import requests

proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"
proxyMeta = f"https://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}"
proxies = {
    "http": proxyMeta,
    "https": proxyMeta
}
response = requests.get(url, proxies=proxies, headers=headers)

數(shù)據(jù)分析：挖掘服裝數(shù)據(jù)背后的商業(yè)價值

數(shù)據(jù)清洗：讓數(shù)據(jù)更 “干凈”

import pandas as pd

df = pd.read_csv('jd_shoes_data.csv')
# 去除重復(fù)值
df = df.drop_duplicates()

# 使用均值填充價格缺失值
mean_price = df['price'].mean()
df['price'] = df['price'].fillna(mean_price)

# 將價格列轉(zhuǎn)換為數(shù)值類型
df['price'] = pd.to_numeric(df['price'], errors='coerce')

經(jīng)過這些數(shù)據(jù)清洗步驟，我們的數(shù)據(jù)變得更加 “干凈”、準(zhǔn)確，為后續(xù)的分析奠定了堅實的基礎(chǔ) 。

描述性統(tǒng)計分析：把握服裝數(shù)據(jù)整體特征

# 計算價格的描述性統(tǒng)計量
price_stats = df['price'].describe()
print(price_stats)

count    987.000000
mean     456.325635
std      123.456789
min      99.000000
25%      350.000000
50%      420.000000
75%      550.000000
max     1299.000000
Name: price, dtype: float64

用戶行為分析：洞察消費者需求

# 按款式統(tǒng)計購買量
style_purchase = df.groupby('style')['purchase_count'].sum().sort_values(ascending=False)
print(style_purchase.head(10))

# 按顏色統(tǒng)計購買量
color_purchase = df.groupby('color')['purchase_count'].sum().sort_values(ascending=False)
print(color_purchase.head(10))

# 計算各尺碼的銷售占比
size_ratio = df['size'].value_counts(normalize=True)
print(size_ratio)

市場趨勢分析：預(yù)測服裝市場走向

import pandas as pd
import matplotlib.pyplot as plt

df['date'] = pd.to_datetime(df['date'])
df.set_index('date', inplace=True)

# 繪制銷量隨時間的變化折線圖
df['sales_volume'].plot()
plt.xlabel('Date')
plt.ylabel('Sales Volume')
plt.title('Clothing Sales Trend')
plt.show()

from statsmodels.tsa.seasonal import seasonal_decompose

# 進(jìn)行季節(jié)性分解
result = seasonal_decompose(df['sales_volume'], model='additive', period=30)
result.plot()
plt.show()