如何提取正文内容 BeautifulSoup的输出

2025-06-23 05:58:45
推荐回答(1个)
回答1:

  创建一个新网站,一开始没有内容,通常需要抓取其他人的网页内容,一般的操作步骤如下:
  根据url下载网页内容,针对每个网页的html结构特征,利用正则表达式,或者其他的方式,做文本解析,提取出想要的正文。
  为每个网页写特征分析这个还是太耗费开发的时间,我的思路是这样的。
  Python的BeautifulSoup包大家都知道吧,
  import BeautifulSoup
soup = BeautifulSoup.BeautifulSoup(html)

  利用这个包先把html里script,style给清理了:
  [script.extract() for script in soup.findAll('script')]
[style.extract() for style in soup.findAll('style')]

  清理完成后,这个包有一个prettify()函数,把代码格式给搞的标准一些:
  soup.prettify()

  然后用正则表达式,把所有的HTML标签全部清理了:
  reg1 = re.compile("<[^>]*>")
content = reg1.sub('',soup.prettify())