在互联网时代，URL（统一资源定位符）是指示信息位置的基本地址。在网页开发或数据分析等多个领域，处理 URL 是常见的需求，而有时我们只需要提取 URL 的某些部分（例如：域名、路径、查询参数）来使用。在这种情况下，Python 的 urllib.parse 模块中的 urlparse() 函数是一个强大的工具。
本文将详细介绍 urlparse() 函数的基本用法、常用的 .netloc 属性的意义和使用案例，以及 urlparse() 返回的 ParseResult 对象的多种属性。
1. urlparse() 是什么？
urlparse() 是一个将 URL 字符串按照 RFC 1738（WWW 中的统一资源定位符）和 RFC 3986（统一资源标识符（URI）：通用语法）标准分解为多个组成部分的函数。分解后的每个组件都被封装在一个名为 ParseResult 的特殊对象中返回。
基本用法
urlparse() 函数需要从 urllib.parse 模块中导入使用。
from urllib.parse import urlparse
url = 'https://user:pass@www.example.com:8080/path/to/resource?name=Alice&age=30#section1'
parsed_url = urlparse(url)
print(parsed_url)
# 输出: ParseResult(scheme='https', netloc='user:pass@www.example.com:8080', path='/path/to/resource', params='', query='name=Alice&age=30', fragment='section1')
parsed_url 对象可以像元组一样通过索引访问，也可以通过命名属性访问。后者更具可读性。
2. ParseResult 对象的主要属性
urlparse() 返回的 ParseResult 对象具有以下属性。
scheme
-
意义： 表示 URL 的协议部分。 （
http,https,ftp,mailto等） -
示例：
'https'
netloc （网络位置）
-
意义： 包含主机名（域名），端口号，以及可选的用户认证信息（
user:pass@）部分。 -
示例：
'user:pass@www.example.com:8080' -
使用： 提取特定网络服务的域名，或检查端口号以用于网络连接时很有用。后面会更详细地讨论。
path
-
意义： 表示网络服务器内的特定资源路径。
-
示例：
'/path/to/resource'
params （路径参数）
-
意义： 以分号（
;）分隔的路径参数。虽然在 RFC 中有定义，但在现代网页中几乎不使用，主要使用查询（query）。 -
示例：
';sessionid=xyz'（不常使用）
query
-
意义：问号（
?）后面的查询字符串。用于以键值对的形式将数据传递给服务器。 -
示例：
'name=Alice&age=30' -
使用： 与
urllib.parse.parse_qs()函数共同使用可以很方便地解析为字典形式。
from urllib.parse import parse_qs
query_params = parse_qs(parsed_url.query)
print(query_params)
# 输出: {'name': ['Alice'], 'age': ['30']}
fragment
-
意义： 哈希（
#）后面的片段标识符。通常用于在网页内移动到特定部分，不会被发送到服务器，只由浏览器处理。 -
示例：
'section1'
3. .netloc 属性的深入分析
.netloc 是 urlparse() 结果中特别重要的属性。 netloc 是 网络位置（Network Location） 的缩写，包含与 URL 中 web 服务器地址有关的关键信息。
netloc 的组成元素
netloc 可以由以下元素组成：
-
用户信息（Userinfo）： 可以包含用户名和密码，形式为
user:password@。出于安全原因，通常在普通网页 URL 中不使用，但在 FTP 等其他协议中可以看到。 -
主机（Host）： 域名（
www.example.com）或 IP 地址（192.168.1.1）。 -
端口（Port）： 紧随其后的端口号。使用 HTTP 的默认端口 80，HTTPS 的默认端口 443 时，
netloc中可省略端口号。
示例：
| URL | netloc 结果 | 说明 |
|---|---|---|
https://www.example.com |
www.example.com |
仅包含域名（省略 HTTPS 默认端口 443） |
http://myhost:8000/app |
myhost:8000 |
包含主机和端口 |
ftp://user:pass@ftp.example.org |
user:pass@ftp.example.org |
包含用户信息和主机 |
.netloc 的使用原因和场景
-
提取与验证域名：
-
可以通过
netloc快速提取域名部分，以确认请求来自哪一个网站并应用安全策略，或者仅允许特定域名。 -
使用
parsed_url.hostname属性可以获得不包含端口号的主机名。
-
url = 'https://www.example.com:8080/path'
parsed = urlparse(url)
print(parsed.netloc) # 'www.example.com:8080'
print(parsed.hostname) # 'www.example.com'
print(parsed.port) # 8080 (int)
-
URL 重新构建或更改：
-
虽然由
urlparse()分解得到的ParseResult对象是不可变的（immutable），但可以使用.replace()方法更改某个属性以创建一个新的ParseResult对象。这种更改后的对象可以再次传递给urlunparse()函数，从而轻松重新构建新的 URL。 -
例如，在实现对特定域名的重定向时，可以仅更改
netloc来生成新的 URL。
-
from urllib.parse import urlparse, urlunparse
original_url = 'https://old.example.com/data'
parsed_original = urlparse(original_url)
# 仅更改域名生成新 URL
new_netloc = 'new.example.com'
modified_parsed = parsed_original._replace(netloc=new_netloc)
new_url = urlunparse(modified_parsed)
print(new_url) # 输出: https://new.example.com/data
-
比较 URL 的相同性（基于域名/端口）：
- 在需要检查两个 URL 是否指向同一服务器时，比较
netloc属性非常有用。
- 在需要检查两个 URL 是否指向同一服务器时，比较
url1 = 'https://api.myapp.com/v1/users'
url2 = 'https://api.myapp.com:443/v2/products' # 443 为 HTTPS 默认端口
url3 = 'https://oldapi.myapp.com/v1/users'
parsed1 = urlparse(url1)
parsed2 = urlparse(url2)
parsed3 = urlparse(url3)
print(parsed1.netloc == parsed2.netloc) # True (默认端口被省略的情况下可视为同一)
print(parsed1.hostname == parsed2.hostname) # True
print(parsed1.netloc == parsed3.netloc) # False
4. urlparse() 和 urlsplit() 的区别
urllib.parse 模块中有一个与 urlparse() 非常相似的 urlsplit() 函数。两个函数的主要区别在于处理 params 属性的方式。
-
urlparse()： 单独分离params属性。 -
urlsplit()： 将params属性包含在path属性中返回。返回的不是ParseResult而是SplitResult对象，并且没有params属性。
由于现代网页开发中几乎不使用 params，因此在很多情况下使用 urlsplit() 是可以的。然而，urlparse() 提供了更常见和更完整的分隔。
结论：URL 分析的必备工具
Python 的 urlparse() 函数是一个强大的工具，可以系统地分解复杂的 URL 字符串，并提取必要的部分进行使用。特别是 .netloc 属性提供了 URL 的核心主机和端口信息，在基于域名的逻辑处理或 URL 重新构建时非常有用。
对所有处理 URL 的 Python 开发者来说，urlparse() 是必须掌握的知识。在使用这个函数时，可以更加高效地控制和利用 URL 数据。
目前沒有評論。