使用 Python 抓取佐治亚州亚特兰大律师数据的技术指南

php中文网 2024-10-15 11:05:52

在本指南中，我们将探讨如何使用 python 从法律网站上抓取律师数据，重点关注佐治亚州亚特兰大的律师。这些信息对于那些想要寻找律师、研究律师事务所或收集附近律师数据的人来说非常有价值。我们将使用流行的 python 库创建一个强大的抓取工具，可以帮助您收集亚特兰大地区律师的信息。

先决条件
在我们开始之前，请确保您已安装以下软件：

python 3.x
pip（python 包安装程序）

您需要安装这些库：

pip install requests lxml csv

设置刮刀
首先，让我们导入必要的库并设置标头和 cookie：

from lxml import html
import os
import csv
import requests
cookies = {
 ‘optanonalertboxclosed’: ‘2024–08–29t14:38:29.268z’,
 ‘_ga’: ‘ga1.2.1382693123.1724942310’,
 ‘_gid’: ‘ga1.2.373246331.1724942310’,
 ‘_gat’: ‘1’,
 ‘optanonconsent’: ‘isiabglobal=false&amp;datestamp=fri+aug+30+2024+00%3a17%3a14+gmt%2b0600+(bangladesh+standard+time)&amp;version=5.9.0&amp;landingpath=notlandingpage&amp;groups=0_106263%3a1%2c0_116595%3a1%2c0_104533%3a1%2c101%3a1%2c1%3a1%2c0_116597%3a1%2c103%3a1%2c104%3a1%2c102%3a1%2c3%3a1%2c0_104532%3a1%2c2%3a1%2c4%3a1&amp;awaitingreconsent=false’,
 ‘_ga_jhnlz3fy7v’: ‘gs1.2.1724954588.3.1.1724955436.0.0.0’,
}
headers = {
 ‘accept’: ‘text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7’,
 ‘accept-language’: ‘en-us,en;q=0.9,bn;q=0.8’,
 ‘cache-control’: ‘no-cache’,
 ‘dnt’: ‘1’,
 ‘pragma’: ‘no-cache’,
 ‘sec-ch-ua’: ‘“chromium”;v=”128", “not;a=brand”;v=”24", “google chrome”;v=”128"’,
 ‘sec-ch-ua-mobile’: ‘?0’,
 ‘sec-ch-ua-platform’: ‘“windows”’,
 ‘sec-fetch-dest’: ‘document’,
 ‘sec-fetch-mode’: ‘navigate’,
 ‘sec-fetch-site’: ‘cross-site’,
 ‘sec-fetch-user’: ‘?1’,
 ‘upgrade-insecure-requests’: ‘1’,
 ‘user-agent’: ‘mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/128.0.0.0 safari/537.36’,
}

提出请求
现在，让我们向网站发出请求以获取律师数据：

response = requests.get(
 ‘https://www.kslaw.com/people?capability_id=&amp;locale=en&amp;office_id=1&amp;page=1&amp;per_page=400&amp;q=&amp;school_id=&amp;starts_with=&amp;title_id',
 cookies=cookies,
 headers=headers,
)

解析 html
我们将使用 lxml 来解析 html 内容：

webp = html.fromstring(response.content)
all_people_elems = webp.xpath(“//*[@id=’people_grid’]/div[@class=’person’]”)

将数据保存到 csv
让我们创建一个函数来将抓取的数据保存到 csv 文件中：

def save_csv(filename, data_list, isfirst=false, removeatstarting=true):
 “””save data to csv file”””
 if isfirst:
 if os.path.isfile(filename):
 if removeatstarting:
 os.remove(filename)
 else:
 pass
with open(f’{filename}’, “a”, newline=’’, encoding=’utf-8-sig’) as fp:
 wr = csv.writer(fp, dialect=’excel’)
 wr.writerow(data_list)
# initialize the csv file
people_file = f”kslaw_people.csv”
save_csv(people_file, [‘url’, ‘name’, ‘status’, ‘fax’, ‘telephone’, ‘email’, ‘address’], isfirst=true)

提取律师数据
现在，让我们循环遍历律师元素并提取相关信息：

for each_people in all_people_elems:
 name = each_people.xpath(“.//h2/a/text()”)[0]
 href = each_people.xpath(“.//h2/a/@href”)[0]
 full_url = f”https://www.kslaw.com{href}" if href else “URL not found”
 status = each_people.xpath(“.//p/text()”)[0].strip()
 fax = ‘ — ‘
 address = ‘ — ‘
# Extract the Atlanta telephone number
 phone_numbers = each_people.xpath(“.//p[@class=’contacts’]/a[starts-with(@href, ‘tel:’)]/text()”)
 phone_numbers = [phone.strip() for phone in phone_numbers]
 phone_numbers_str = ‘, ‘.join(phone_numbers) if phone_numbers else “Phone numbers not found”
# Extract the email address
 email = each_people.xpath(“.//p[@class=’contacts’]/a[contains(@href, ‘mailto:’)]/text()”)
 email = email[0].strip() if email else “Email not found”
data_list = [full_url, name, status, fax, phone_numbers_str, email, address]
 save_csv(people_file, data_list)
 print(data_list)

结论
此 python 脚本允许您从特定法律网站抓取律师数据，重点关注佐治亚州亚特兰大的律师。通过运行此脚本，您可以快速编制律师事务所列表并找到附近的律师。对于那些希望与律师联系或对亚特兰大法律环境进行研究的人来说，这些数据非常宝贵。

请记住负责任地使用这些数据，并遵守网站的服务条款和相关法律。始终尊重您所收集数据的个人的隐私。

对于那些寻求寻找律师或研究律师事务所的人来说，这些抓取的数据可以提供一个起点。然而，重要的是通过额外的研究来补充这些信息，例如阅读评论、检查律师协会记录以及亲自联系律师以确保他们适合您的法律需求。

通过利用python和网络抓取技术，您可以有效地收集佐治亚州亚特兰大律师的信息，简化在法律领域寻找法律代表或进行市场研究的过程。

立即学习“Python免费学习笔记（深入）”；