电子发烧友App

硬声App

0
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心
发布
  • 发文章

  • 发资料

  • 发帖

  • 提问

  • 发视频

创作活动

完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>

3天内不再提示
电子发烧友网>电子资料下载>电子资料>robotstxt robots.txt解析器

robotstxt robots.txt解析器

2022-06-22 | zip | 0.04 MB | 次下载 | 免费

资料介绍

授权协议 Apache
开发语言 C/C++ Python
操作系统 跨平台
软件类型 开源软件
所属分类 程序开发常用工具包

软件简介

谷歌开源的 robots.txt 解析器

Google 称过去 25 年 Robots Exclusion Protocol (REP)协议一直是一种约定的标准,给网站管理员人员和爬虫工具开发者带来了很多不确定性。Google 现在宣布它将率先致力于让 REP 成为一个行业标准,作为这个努力的一部分,它开源了自己使用的 robots.txt 解析器,源代码托管在 GitHub 上,采用 Apache License 2.0 许可证。robots.txt 解析器是一个 C++ 库,用于解析和匹配 robots.txt 文件中的规则,它已经有约 20 年历史了,包含了 1990 年代写的代码。

 

下载该资料的人也在下载 下载该资料的人还在阅读
更多 >

评论

查看更多

下载排行

本周

  1. 1基于STM32的步进电机驱动设计
  2. 1.09 MB  |  4次下载  |  免费
  3. 2步进电机驱动器细分原理及细分设置表说明
  4. 0.20 MB  |  3次下载  |  免费
  5. 3电机PWM驱动模块思路与代码
  6. 0.25 MB  |  3次下载  |  免费
  7. 4汽车电气系统常识相关资料介绍
  8. 3.53 MB  |  2次下载  |  1 积分
  9. 5IGBT的主要参数和注意事项
  10. 0.35 MB  |  2次下载  |  1 积分
  11. 6硬盘无刷电机驱动
  12. 0.31 MB  |  2次下载  |  免费
  13. 7Labview列表控件实现报警列表的功能
  14. 0.04 MB  |  2次下载  |  1 积分
  15. 8STM32驱动28BYJ-48步进电机
  16. 0.38 MB  |  2次下载  |  免费

本月

  1. 1储能逆变器资料原理图,pcb,源代码)
  2. 0.64 MB  |  65次下载  |  免费
  3. 2从0开始学单片机入门教程
  4. 3.54 MB  |  19次下载  |  免费
  5. 3电路基本基础
  6. 19.34 MB  |  14次下载  |  免费
  7. 4微型激光雕刻机kell源码
  8. 0.02 MB  |  13次下载  |  免费
  9. 5MOS管、三极管、IGBT之间的区别与联系
  10. 0.52 MB  |  11次下载  |  免费
  11. 6变频器和逆变器工作原理
  12. 0.75 MB  |  11次下载  |  免费
  13. 7RTL8370MB交换机原理图
  14. 0.79 MB  |  10次下载  |  免费
  15. 8MOSFET和IGBT栅极驱动器电路学习笔记之栅极驱动参考
  16. 0.70 MB  |  10次下载  |  免费

总榜

  1. 1matlab软件下载入口
  2. 未知  |  935014次下载  |  免费
  3. 2protel99se软件下载(可英文版转中文版)
  4. 78.1 MB  |  537722次下载  |  免费
  5. 3MATLAB 7.1 下载 (含软件介绍)
  6. 未知  |  419984次下载  |  免费
  7. 4OrCAD10.5下载,OrCAD10.5中文版软件
  8. 817182  |  234240次下载  |  免费
  9. 5Altium DXP2002下载入口
  10. 未知  |  233004次下载  |  免费
  11. 6数据采集系统基础知识视频
  12. 16.3 MB  |  192989次下载  |  免费
  13. 7电路仿真软件multisim 10.0免费下载
  14. 340992  |  191109次下载  |  免费
  15. 8十天学会AVR单片机与C语言视频教程 下载
  16. 158M  |  183226次下载  |  免费