淘宝商品数据快速抓取策略与实践

 无论是谁,如果单凭人工的方式去收集淘宝、天猫等平台的商品数据信息,工作量是巨大的,如果借助有采集软件的第三方公司操作,则可实现对大数据的轻松掌握,但是外包给第三方公司需要支付一定的费用,包含技术费、人工成本费、服务费等,各种费用算下来每条链接的采集费用可能需要高达6分钱,有些甚至更高,一年下来采集的总费用真的不能小觑。但是 数据采集技术真的那么难吗?只有第三方公司可以采集吗?

编辑

万邦淘宝/天猫获得淘宝商品评论 API 返回值说明

item_review- 获得淘宝商品评论 

taobao.item_review

公共参数


名称 类型 必须 描述
key String 调用key(必须以GET方式拼接在URL中)
secret String 调用密钥
api_name String API接口名称(包括在请求地址中)[item_search,item_get,item_search_shop等]
cache String [yes,no]默认yes,将调用缓存的数据,速度比较快
result_type String [json,jsonu,xml,serialize,var_export]返回数据格式,默认为json,jsonu输出的内容中文可以直接阅读
lang String [cn,en,ru]翻译语言,默认cn简体中文
version String API版本

请求参数

请求参数:num_iid=600530677643&data=&page=1

参数说明:num_iid:淘宝商品ID
sort:排序 0:默认排序 ,1: 最新排序

响应参数

Version: Date:

名称 类型 必须 示例值 描述
items
items[] 0
商品评论数据

请求示例

	-- 请求示例 url 默认请求参数已经URL编码处理
curl -i "https://api-gw.onebound.cn/taobao/item_review/?key=<您自己的apiKey>&secret=<您自己的apiSecret>&num_iid=600530677643&data=&page=1"

响应示例

{
  "items": {
    "total_results": 227,
    "totalpage": 23,
    "page_size": 10,
    "page": "1",
    "item": [
      {
        "rate_content": "外形美观,穿着也可以,只是鞋面材料有点过软,鞋面再硬点就更好穿了",
        "rate_date": "2024-08-20 13:09:05",
        "pics": [],
        "display_user_nick": "花***4",
        "auction_sku": "颜色分类:三色带 浅黄色(升级版)、39 (偏小一码)",
        "add_feedback": null,
        "add_feedback_images": null,
        "rate_id": 1247413852914,
        "video": null
      },
      {
        "rate_content": "穿着还算舒服,有点小贵。",
        "rate_date": "2024-09-20 13:20:11",
        "pics": [],
        "display_user_nick": "t***5",
        "auction_sku": "颜色分类:三色带 粉色(升级版)、39 (偏小一码)",
        "add_feedback": null,
        "add_feedback_images": null,
        "rate_id": 1250070244224,
        "video": null
      },
      {
        "rate_content": "面料材质:很舒适,外观漂亮?值得购买",
        "rate_date": "2024-06-19 13:13:27",
        "pics": [
          "//img.alicdn.com/bao/uploaded/i3/O1CN01DGPvZ11OEHaGM4kqQ_!!0-rate.jpg"
        ],
        "display_user_nick": "c***4",
        "auction_sku": "颜色分类:三色带 浅黄色(升级版)、38 (偏小一码)",
        "add_feedback": null,
        "add_feedback_images": null,
        "rate_id": 1242465571347,
        "video": null
      },
      {
        "rate_content": "宝贝快速收妥[点赞],此款拖鞋已连续多年购买,做工严谨材质一 流[点赞],式样养眼[点赞],鞋底软和又防滑[点赞],五星好评必须的[点赞][玫瑰][买买买]",
        "rate_date": "2024-05-11 10:24:16",
        "pics": [
          "//img.alicdn.com/bao/uploaded/i2/O1CN01Akc9SW1aLrW2Ye9KQ_!!0-rate.jpg",
          "//img.alicdn.com/bao/uploaded/i2/O1CN01PqXN3V1aLrWBysTKo_!!0-rate.jpg",
          "//img.alicdn.com/bao/uploaded/i2/O1CN01fLl9bW1aLrW9ybyYz_!!0-rate.jpg"
        ],
        "display_user_nick": "t***4",
        "auction_sku": "颜色分类:三色带 浅黄色(升级版)、37 (偏小一码)",
        "add_feedback": null,
        "add_feedback_images": null,
        "rate_id": 1238495237368,
        "video": null
      },
      {
        "rate_content": "质量真的很好防滑,款式简单大方,颜色很好看无色差,码数也非常标准,是我最喜欢的一款拖鞋,喜欢的赶紧下手购买吧。",
        "rate_date": "2024-05-11 10:24:16",
        "pics": [
          "//img.alicdn.com/bao/uploaded/i4/O1CN01T1REHA1aLrW2Yco17_!!0-rate.jpg",
          "//img.alicdn.com/bao/uploaded/i3/O1CN01YJvybD1aLrW9yXgHU_!!0-rate.jpg",
          "//img.alicdn.com/bao/uploaded/i2/O1CN01yFumUv1aLrWCvZESI_!!0-rate.jpg"
        ],
        "display_user_nick": "t***4",
        "auction_sku": "颜色分类:三色带 粉色(升级版)、38 (偏小一码)",
        "add_feedback": null,
        "add_feedback_images": null,
        "rate_id": 1238495237362,
        "video": null
      },
      {
        "rate_content": "防滑 很舒服 挺好看的",
        "rate_date": "2024-06-08 21:33:16",
        "pics": [],
        "display_user_nick": "t***4",
        "auction_sku": "颜色分类:三色带 浅黄色(升级版)、38 (偏小一码)",
        "add_feedback": null,
        "add_feedback_images": null,
        "rate_id": 1241354162161,
        "video": null
      },
      {
        "rate_content": "拖鞋好漂亮时尚,物流一 流,客服态度好,五星。",
        "rate_date": "2024-05-24 21:43:19",
        "pics": [
          "//img.alicdn.com/bao/uploaded/i3/O1CN01GrT6Kt1NZWKPUslHL_!!0-rate.jpg"
        ],
        "display_user_nick": "汪***佳",
        "auction_sku": "颜色分类:三色带 粉色(升级版)、39 (偏小一码)",
        "add_feedback": null,
        "add_feedback_images": null,
        "rate_id": 1240085903246,
        "video": null
      },
      {
        "rate_content": "拖鞋收到了,今天才来评价,特别的好,而且还很软,穿着很是舒服,没想到这么底的价格能买到这么好的鞋子,我太喜欢了,谢谢商家[点赞][玫瑰]",
        "rate_date": "2024-05-11 10:24:16",
        "pics": [
          "//img.alicdn.com/bao/uploaded/i2/O1CN01uBMsQz1aLrWEZes61_!!0-rate.jpg",
          "//img.alicdn.com/bao/uploaded/i1/O1CN01g4JnID1aLrWAkPhSH_!!0-rate.jpg",
          "//img.alicdn.com/bao/uploaded/i3/O1CN01sSQkNQ1aLrWAEsjSH_!!0-rate.jpg"
        ],
        "display_user_nick": "t***4",
        "auction_sku": "颜色分类:三色带 粉色(升级版)、36 (偏小一码)",
        "add_feedback": null,
        "add_feedback_images": null,
        "rate_id": 1238495237366,
        "video": null
      },
      {
        "rate_content": "拖鞋收到了[微笑]挺好的,好看,也好穿[微笑]颜色也好看[微笑]价格不贵,穿着轻便,物流快客服态度好,快递都挺好的[微笑]",
        "rate_date": "2024-05-11 10:24:16",
        "pics": [
          "//img.alicdn.com/bao/uploaded/i3/O1CN01AlhvmI1aLrWCvhcdc_!!0-rate.jpg",
          "//img.alicdn.com/bao/uploaded/i3/O1CN018uUPpO1aLrWAEnUu7_!!0-rate.jpg",
          "//img.alicdn.com/bao/uploaded/i2/O1CN01s2jAeO1aLrWAkNoo0_!!0-rate.jpg"
        ],
        "display_user_nick": "t***4",
        "auction_sku": "颜色分类:三色带 粉色(升级版)、37 (偏小一码)",
        "add_feedback": null,
        "add_feedback_images": null,
        "rate_id": 1238495237364,
        "video": null
      },
      {
        "rate_content": "第三次回购,除了味道有点大,其他没毛病。",
        "rate_date": "2024-06-03 16:53:27",
        "pics": [],
        "display_user_nick": "k***4",
        "auction_sku": "颜色分类:三色带 浅黄色(升级版)、39 (偏小一码)",
        "add_feedback": null,
        "add_feedback_images": null,
        "rate_id": 1240985211624,
        "video": null
      }
    ],
    "_ddf": "cdy"
  },
  "secache": "0740b9ff547d32e2f52943a965e313da",
  "secache_time": 1729474341,
  "secache_date": "2024-10-21 09:32:21",
  "translate_status": "",
  "translate_time": 0,
  "language": {
    "default_lang": "cn",
    "current_lang": "cn"
  },
  "error": "",
  "reason": "",
  "error_code": "0000",
  "cache": 0,
  "api_info": "today:17 max:10000 all[2343=17+6+2320];expires:2030-10-30",
  "execution_time": "1.472",
  "server_time": "Beijing/2024-10-21 09:32:21",
  "client_ip": "61.131.237.50",
  "call_args": {
    "num_iid": "722328050704",
    "page": "1"
  },
  "api_type": "taobao",
  "translate_language": "zh-CN",
  "translate_engine": "google_new",
  "server_memory": "3.77MB",
  "request_id": "gw-3.6715af2412c20",
  "last_id": "3627317520"
}


请使用浏览器的分享功能分享到微信等