当前位置 : 主页 > 网页制作 > HTTP/TCP >

消耗懒惰的http请求

来源:互联网 收集:自由互联 发布时间:2021-06-16
我正在尝试丰富数据,我可以使用的界面是一个Web表单. 由于远程端的数据质量非常差,我会进行一系列不同的搜索,直到得到匹配为止.有时我会在第一次请求时受到打击,有时即使我尝试了
我正在尝试丰富数据,我可以使用的界面是一个Web表单.
由于远程端的数据质量非常差,我会进行一系列不同的搜索,直到得到匹配为止.有时我会在第一次请求时受到打击,有时即使我尝试了5次不同的搜索,我也找不到任何东西.

我以为我可以使用Clojures懒惰来缩短第一场比赛的搜索次数,但显然由于副作用,每次都要求所有5次不同的搜索.

这是我的问题的一个非常简单的再现:

(ns lazy-web-lookup.core
  (:require [clj-http.client :as http]))

(defn found?
  "Determines if the search was successful"
  [result]
  (= (:found result) "yes"))

(first (filter #(found? %) (map #(hash-map :no %
                                           :found (:body (http/get "http://localhost/random"))) [1 2 3 4 5])))

http:// localhost / random随机返回字符串“yes”或“no”.

无论如何,我可以调整以上内容来做我想做的事情,还是我在咆哮错误的树?

实际上只有分块(通常为1)32个元素才能实现分块序列.非分块seqs一次实现一个. map和filter之类的函数保留了seq参数的chunked / unchunked“mode”.

因此,如果您确保将非分块的seq传递给它们,您可以使用常规的Clojure序列函数而不会损害任何数量的惰性.这里有两种可能的方法,第二种方法可能更适用于您的情况:

>制作你的seq而不管它是否会被分块;然后,如果碰巧被分块,请将其包装在“unchunking seq”中:

(defn unchunk [xs]
  (lazy-seq
    (if-let [xs (seq xs)]
      (cons (first xs) (unchunk (rest xs))))))

user=> (->> (range 40) (unchunk) (map #(println "THIS IS" %)) first)
THIS IS 0

user=> (->> (range 40) (map #(println "THIS IS" %)) first)
THIS IS 0
THIS IS 1
THIS IS 2
...

要将此方法与问题文本中的示例一起使用,您必须在向量[1 2 3 4 5]上取消seq.
>以某种方式生成您的初始seq(转换管道中最里面的seq),这种情况不会发生输出.这可能涉及明确编写您自己的生产者:

(defn my-seq-producer [& args]
  (lazy-seq
    (if ...
      (cons (foo) (my-seq-producer ...))))

这里要注意的关键是你在一个有条件的内部lazy-seq中包含一个cons调用.如果条件中的测试不满足,条件将产生nil,并且lazy seq在实现时将变为空;否则(foo)将作为输出的第一个元素产生,然后是“休息”序列的一部分,没有任何分块.

特别是,如果您编写自己的生成器,通过HTTP获取的lazy seq项目,您将能够使用核心序列函数对其进行转换,同时保留完全惰性.

判断哪个seq是chunked哪个不是最简单的方法是使用chunked-seq?功能,虽然有两个警告:

>您应该使用chunked-seq?在你感兴趣的seq上调用seq的结果,而不是原始的seq本身.这是因为你的seq可能是一个包含在LazySeq对象中的chunked-seq-thunk.事实上,这是范围的情况.

(chunked-seq? (range 40))
;= false

(chunked-seq? (seq (range 40)))
;= true

> seq可以部分分块;例如,你可能会在一个chunked seq的前面加上一些东西,从而产生一个seq而不是chunked,但它仍然有一个chunked“rest”.明确的unchunking很愉快地解决了这个问题,因为它并没有真正检查底层seq是否被分块.

1考虑一个矢量,其尾部长度小于32个元素.

网友评论