百度百科网页爬取结果为空怎么办？（为空.百科.网页...）

解决百度百科网页爬取结果为空的问题

在使用XPath爬取百度百科数据时，经常会遇到空结果的情况。本文分析可能原因并提供解决方案。

问题：使用lxml库和XPath表达式//div[contains(@class,"lemma-summary") or contains(@class,"lemmawgt-lemmasummary")]//text()提取百度百科词条摘要信息时，结果为空。

原因：百度百科的网页结构和重定向机制。服务器返回302状态码，表示需要重定向到新的URL。原始代码未处理重定向，导致爬取的页面并非目标页面。

解决方案：在代码中添加重定向处理。以下为改进后的代码：

import urllib.request
import urllib.parse
from lxml import etree

def fetch_baike_summary(keyword):
    url = 'https://baike.baidu.com/item/' + urllib.parse.quote(keyword)
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    }
    req = urllib.request.Request(url=url, headers=headers)
    try:
        with urllib.request.urlopen(req) as response:
            if response.getcode() == 302:
                url = response.geturl()
                req = urllib.request.Request(url=url, headers=headers)
                with urllib.request.urlopen(req) as response:
                    html = response.read().decode('utf-8', errors='ignore')
            else:
                html = response.read().decode('utf-8', errors='ignore')
        tree = etree.HTML(html)
        summary = tree.xpath('//div[contains(@class,"lemma-summary") or contains(@class,"lemmaWgt-lemmaSummary")]//text()')
        return ''.join([item.strip() for item in summary])
    except Exception as e:
        return f"Error: {e}"

if __name__ == "__main__":
    keyword = input("请输入关键词：")
    result = fetch_baike_summary(keyword)
    print(f"查询结果：{result}")

改进之处：

• 增加了对302重定向的处理，获取重定向后的URL并重新请求。
• 使用with语句管理资源，确保正确关闭连接。
• 使用更健壮的错误处理机制，捕获并报告异常。
• 代码更清晰易读，并进行了适当的命名。

此代码能够正确处理重定向，并提取百度百科词条摘要信息。 记住，频繁爬取可能会对服务器造成负担，请遵守网站的robots.txt规则。

以上就是百度百科网页爬取结果为空怎么办？的详细内容，更多请关注知识资源分享宝库其它相关文章！