利用 langchain 和 LLM 来给 PDF 做总结

from langchain.document_loaders import UnstructuredPDFLoader
from langchain.llms import OpenAI
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate

# 加载 PDF 文件
pdf_loader = UnstructuredPDFLoader("path_to_your_pdf_file.pdf")
documents = pdf_loader.load()

# 获取 PDF 的纯文本内容
pdf_text = ' '.join([doc.page_content for doc in documents])

# 创建 LLM 对象 (使用 OpenAI GPT)
llm = OpenAI(temperature=0.7, openai_api_key="your_openai_api_key")

# 定义总结的 Prompt
prompt_template = """
请总结以下内容：
{pdf_text}
总结：
"""

prompt = PromptTemplate(
    input_variables=["pdf_text"],
    template=prompt_template,
)

# 创建 LLMChain
chain = LLMChain(llm=llm, prompt=prompt)

# 使用 LLM 生成总结
summary = chain.run(pdf_text)
print("PDF 总结：\n", summary)

PDF summary:
 总结内容：

1. **演讲者信息**：
   - 演讲者：José Antonio Santos Cadenas
   - 职位：软件工程师
   - 教育背景：Telematic Systems 硕士
   - 工作经历：Kurento Media Server (KMS) 管理员
   - 联系方式：santoscadenas@gmail.com

2. **GStreamer 静态管道**：
   - 使用 `gst-launch` 命令创建复杂的媒体管道，例如将视频文件转码。
   - 示例：`gst-launch-1.0 filesrc location=sample.mp4 ! qtdemux ! avdec_h264 ! queue ! vp8enc ! webmmux ! filesink location=sample.webm`

3. **GStreamer 动态元素**：
   - GStreamer 提供了一些动态元素（如 `autovideosrc`, `autovideosink`, `decodebin`, `playbin`），简化了动态管道的创建。
   - 示例：`gst-launch-1.0 filesrc location=sample.mp4 ! decodebin ! vp8enc ! webmmux ! filesink location=sample.webm`

4. **动态管道不依赖于媒体**：
   - 动态管道可以根据媒体流而不是外部条件创建。
   - 例如：根据用户操作添加或替换元素。

5. **创建动态管道的要求**：
   - 需要深入理解 GStreamer 的工作原理，包括媒体如何在 pads 之间流动、协商如何进行、流线程如何工作以及 probes 如何工作。

6. **在播放时添加和移除元素**：
   - 错误方式：直接调用 `gst_pad_unlink`，可能导致死锁或竞争条件。
   - 正确方式：使用 probe 等待 pad 空闲，确保在断开连接时不会影响媒体流。

7. **在 tee 后添加元素**：
   - tee 会处理断开的 pads，但建议在 idle 或 block 回调中处理元素连接，以避免状态更改或协商期间的问题。

8. **注意协商**：
   - 在 tee 后连接元素时，需要注意协商可能会影响其他分支，建议使用 `capsfilter` 或转换器来简化协商。

9. **移除元素**：
   - 有时需要允许元素处理所有队列中的缓冲区（例如录制时），断开连接后需要发送 EOS 并等待管道末端处理。

10. **实时管道建议**：
    - 在实时管道中，元素应配置为尽可能快地工作，并添加队列以分离不同线程中的处理。

11. **总结建议**：
    - 动态管道不容易，理解要尝试的操作及其对管道其他部分的影响。
    - 断开连接前阻塞 pads，连接前同步新元素的状态，始终先连接 sink 元素以避免媒体泄漏。

12. **联系方式和资源**：
    - 演讲者邮箱：santoscadenas@gmail.com
    - Kurento 相关链接：[Kurento](http://www.kurento.org), [GitHub](http://www.github.com/kurento), [Twitter](https://twitter.com/kurentoms)
    - 其他相关组织：[NUBOMEDIA](http://www.nubomedia.eu), [FI-WARE](http://www.fi-ware.org), [EU](http://ec.europa.eu)

from langchain.document_loaders import UnstructuredPDFLoader
from langchain.llms import OpenAI
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate

pdf_loader = UnstructuredPDFLoader("path_to_your_pdf_file.pdf")
documents = pdf_loader.load()

pdf_text = ' '.join([doc.page_content for doc in documents])

llm = OpenAI(temperature=0.7, openai_api_key="your_openai_api_key")

prompt_template = """
请总结以下内容：
{pdf_text}
总结：
"""

prompt = PromptTemplate(
    input_variables=["pdf_text"],
    template=prompt_template,
)

chain = LLMChain(llm=llm, prompt=prompt)

summary = chain.run(pdf_text)
print("PDF 总结：\n", summary)