从Web1.0到Web2.0，互联网场域发生了巨大改变，相关技术在其中的作用也随之改变。对技术定性不同，其法律效力也有所不同。传统搜索引擎场景中，爬虫协议可被认定为行业惯例或技术规范。但当其适用场景从搜索引擎转到互联网移动媒介时，爬虫协议的效力发生变化，搜索引擎的行业惯例无法判断移动媒介场景下涉及爬虫协议的互联网竞争行为。“今日头条诉微梦创科不正当竞争案”正是爬虫协议在新场景中适用时所引发的典型案例。面对新场景下爬虫协议法律效力不清的困境，采用后果取向型裁判方法 ，直接考量经营者与消费者的相关利益、公共利益，评判竞争行为的正当性是更有效的做法。