爬取网页并输出JSON数据

有些时候我们需要爬取一些结构性比较强的网页，并且需要将网页中的信息以JSON的方式返回回来。

我们就可以使用 LLMRequestsChain 类去实现，具体可以参考下面代码

为了方便理解，我在例子中直接使用了Prompt的方法去格式化输出结果，而没用使用上个案例中用到的 StructuredOutputParser去格式化，也算是提供了另外一种格式化的思路

  1. from langchain.prompts import PromptTemplate
  2. from langchain.llms import OpenAI
  3. from langchain.chains import LLMRequestsChain, LLMChain
  5. llm = OpenAI(model_name="gpt-3.5-turbo", temperature=0)
  7. template = """在 >>> 和 <<< 之间是网页的返回的HTML内容。
  8. 网页是新浪财经A股上市公司的公司简介。
  9. 请抽取参数请求的信息。
  11. >>> {requests_result} <<<
  12. 请使用如下的JSON格式返回数据
  13. {{
  14.   "company_name":"a",
  15.   "company_english_name":"b",
  16.   "issue_price":"c",
  17.   "date_of_establishment":"d",
  18.   "registered_capital":"e",
  19.   "office_address":"f",
  20.   "Company_profile":"g"
  22. }}
  23. Extracted:"""
  25. prompt = PromptTemplate(
  26.     input_variables=["requests_result"],
  27.     template=template
  28. )
  30. chain = LLMRequestsChain(llm_chain=LLMChain(llm=llm, prompt=prompt))
  31. inputs = {
  32.   "url": "https://vip.stock.finance.sina.com.cn/corp/go.php/vCI_CorpInfo/stockid/600519.phtml"
  33. }
  35. response = chain(inputs)
  36. print(response['output'])

我们可以看到，他很好的将格式化后的结果输出了出来

爬取网页并输出JSON数据 - 图1