Agent上班流程 搞定网页爬取和数据提取 Crawl4AI带你体验高效AI

嘿，大家好！这里是一个专一于AI智能体的频道！

当天我要跟大家分享一个超级棒的开源工具——Crawl4AI。这个工具简直是构建AI Agent的福音，它智能化了网页爬取和数据提取的环节，让开发者们能更高效地构建智能Agent来搜集和剖析消息。

首先，Crawl4AI是齐全开源且收费的，这象征着开发者们可以无门槛地经常使用它。它的外围亮点是AI驱动，能够智能识别和解析网页元素，大小节俭了咱们的期间和精神。而且，Crawl4AI还能将提取的数据转换成结构化的格局，比如JSON或markdown，让数据剖析变得便捷多了。

接上去，我给大家便捷引见一下如何经常使用Crawl4AI。首先，你须要装置它，命令很便捷，一行代码就搞定。而后，创立一个Python脚本，初始化网络爬虫，从URL提取数据。Crawl4AI还允许滚动阅读、多个URL爬取、媒体标签提取、元数据提取，甚至是截图性能，性能十分片面。

from crawl4ai import WebCrawlercrawler = WebCrawler()crawler.warmup()result = crawler.run(url="https://openai.com/api/pricing/")print(result.markdown)

重点来了，Crawl4AI还能用大型言语模型（LLM）来定义提取战略，把提取的数据转换成结构化格局。这象征着，你可以依据须要定制数据提取的规定，让Crawl4AI依照你的批示去抓取网页上的消息。

mport osfrom crawl4ai import WebCrawlerfrom crawl4ai.extraction_strategy import LLMExtractionStrategyfrom pydantic import BaseModel, Fieldclass OpenAIModelFee(BaseModel):model_name: str = Field(..., description="Name of the OpenAI model.")input_fee: str = Field(..., description="Fee for input token for the OpenAI model.")output_fee: str = Field(..., description="Fee for output token ßfor the OpenAI model.")url = 'https://openai.com/api/pricing/'crawler = WebCrawler()crawler.warmup()result = crawler.run(url=url,word_count_threshold=1,extraction_strategy= LLMExtractionStrategy(provider= "openai/gpt-4o", api_token = os.getenv('OPENAI_API_KEY'),schema=OpenAIModelFee.schema(),extraction_type="schema",instruction="""从爬取的内容中，提取一切提到的模型称号以及它们的输入和输入token费用。不要遗漏整个内容中的任何模型。一个提取的模型JSON格局应如下所示：{"model_name": "GPT-4", "input_fee": "US$10.00 / 1M tokens", "output_fee": "US$30.00 / 1M tokens"}。"""),bypass_cache=True,)print(result.extracted_content)

更凶猛的是，Crawl4AI可以和Praison CrewAI集成，让数据的解决愈加高效。你可以创立一个工具文件，包装Crawl工具，而后性能AI Agent经常使用Crawl启动网页抓取和数据提取。

举个例子，你可以设置一个AI Agent，它的角色是网页抓取专家，专门担任从网上抓取模型定价消息。另一个Agent或者是数据荡涤专家，确保搜集的数据准确无误，格局规范。还有一个Agent是数据剖析专家，专一于从数据中提取有价值的洞察。

import osfrom crawl4ai import WebCrawlerfrom crawl4ai.extraction_strategy import LLMExtractionStrategyfrom pydantic import BaseModel, Fieldfrom praisonai_tools import BaseToolclass ModelFee(BaseModel):llm_model_name: str = Field(..., description="Name of the model.")input_fee: str = Field(..., description="Fee for input token for the model.")output_fee: str = Field(..., description="Fee for output token for the model.")class ModelFeeTool(BaseTool):name: str = "ModelFeeTool"description: str = "从给定的定价页面中提取模型的输入和输入token费用。 "def _run(self, url: str):crawler = WebCrawler()crawler.warmup()result = crawler.run(url=url,word_count_threshold=1,extraction_strategy= LLMExtractionStrategy(provider="openai/gpt-4o",api_token=os.getenv('OPENAI_API_KEY'),schema=ModelFee.schema(),extraction_type="schema",instruction="""从爬取的内容中，提取一切提到的模型称号以及它们的输入和输入token费用。不要遗漏整个内容中的任何模型。一个提取的模型JSON格局应如下所示：{"model_name": "GPT-4", "input_fee": "US$10.00 / 1M tokens", "output_fee": "US$30.00 / 1M tokens"}。"""),bypass_cache=True,)return result.extracted_contentif __name__ == "__main__":# Test the ModelFeeTooltool = ModelFeeTool()url = "https://www.openai.com/pricing"result = tool.run(url)print(result)

性能yaml

framework: crewaitopic: extract model pricing from websitesroles:web_scraper:backstory: 一个网络爬虫专家，对从在线资源中提取结构化数据有深入的了解。https://www.anthropic.com/pricing从各种网站搜集模型定价数据role: Web Scrapertasks:scrape_model_pricing:description: 从提供的网站列表中抓取模型定价消息。expected_output: 蕴含模型定价数据的原始HTML或JSON。tools:- 'ModelFeeTool'data_cleaner:backstory: 数据荡涤专家，确保一切搜集的数据准确无误且格局正确。goal: 荡涤并整顿抓取到的定价数据role:>

总之，Crawl4AI是一个弱小的工具，它让AI Agent能够以更高的效率和准确性口头网页爬取和数据提取义务。它的开源个性、AI驱动的才干以及多性能性，关于想要构建智能且数据驱动的Agent的开发者来说，相对是一个贵重的资源。

本文转载自​​，作者：​​