溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇“URL去重的方法有哪些”文章的知識點大部分人都不太理解，所以小編給大家總結了以下內容，內容詳細，步驟清晰，具有一定的借鑒價值，希望大家閱讀完這篇文章能有所收獲，下面我們一起來看看這篇“URL去重的方法有哪些”文章吧。
URL 去重在我們日常工作中和面試中很常遇到，比如這些：
可以看出，包括阿里，網易云、優酷、作業幫等知名互聯網公司都出現過類似的面試題，而且和 URL 去重比較類似的，如 IP 黑/白名單判斷等也經常出現在我們的工作中，所以我們本文就來“盤一盤”URL 去重的問題。
在不考慮業務場景和數據量的情況下，我們可以使用以下方案來實現 URL 的重復判斷：
以上方案的具體實現如下。
Set 集合天生具備不可重復性，使用它只能存儲值不相同的元素，如果值相同添加就會失敗，因此我們可以通過添加 Set 集合時的結果來判定 URL 是否重復，實現代碼如下：
public class URLRepeat {
// 待去重 URL
public static final String[] URLS = {
"www.apigo.cn",
"www.baidu.com",
"www.apigo.cn"
};
public static void main(String[] args) {
Set<String> set = new HashSet();
for (int i = 0; i < URLS.length; i++) {
String url = URLS[i];
boolean result = set.add(url);
if (!result) {
// 重復的 URL
System.out.println("URL 已存在了：" + url);
}
}
}
}
程序的執行結果為：
URL 已存在了：www.apigo.cn
從上述結果可以看出，使用 Set 集合可以實現 URL 的判重功能。
使用 Redis 的 Set 集合的實現思路和 Java 中的 Set 集合思想思路是一致的，都是利用 Set 的不可重復性實現的，我們先使用 Redis 的客戶端 redis-cli 來實現一下 URL 判重的示例：
從上述結果可以看出，當添加成功時表示 URL 沒有重復，但添加失敗時（結果為 0）表示此 URL 已經存在了。
我們再用代碼的方式來實現一下 Redis 的 Set 去重，實現代碼如下：
// 待去重 URL
public static final String[] URLS = {
"www.apigo.cn",
"www.baidu.com",
"www.apigo.cn"
};
@Autowired
RedisTemplate redisTemplate;
@RequestMapping("/url")
public void urlRepeat() {
for (int i = 0; i < URLS.length; i++) {
String url = URLS[i];
Long result = redisTemplate.opsForSet().add("urlrepeat", url);
if (result == 0) {
// 重復的 URL
System.out.println("URL 已存在了：" + url);
}
}
}
以上程序的執行結果為：
URL 已存在了：www.apigo.cn
以上代碼中我們借助了 Spring Data 中的 RedisTemplate 實現的，在 Spring Boot 項目中要使用 RedisTemplate 對象我們需要先引入 spring-boot-starter-data-redis 框架，配置信息如下：
<!-- 添加操作 RedisTemplate 引用 -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
然后需要再項目中配置 Redis 的連接信息，在 application.properties 中配置如下內容：
spring.redis.host=127.0.0.1
spring.redis.port=6379
#spring.redis.password=123456 # Redis 服務器密碼，有密碼的話需要配置此項
經過以上兩個步驟之后，我們就可以在 Spring Boot 的項目中正常的使用 RedisTemplate 對象來操作 Redis 了。
我們也可以借助數據庫實現 URL 的重復判斷，首先我們先來設計一張 URL 的存儲表，如下圖所示：
此表對應的 SQL 如下：
/*==============================================================*/
/* Table: urlinfo */
/*==============================================================*/
create table urlinfo
(
id int not null auto_increment,
url varchar(1000),
ctime date,
del boolean,
primary key (id)
);
/*==============================================================*/
/* Index: Index_url */
/*==============================================================*/
create index Index_url on urlinfo
(
url
);
其中 id 為自增的主鍵，而 url 字段設置為索引，設置索引可以加快查詢的速度。
我們先在數據庫中添加兩條測試數據，如下圖所示：
我們使用 SQL 語句查詢，如下圖所示：
如果結果大于 0 則表明已經有重復的 URL 了，否則表示沒有重復的 URL。
我們也可以使用數據庫的唯一索引來防止 URL 重復，它的實現思路和前面 Set 集合的思想思路非常像。
首先我們先為字段 URL 設置了唯一索引，然后再添加 URL 數據，如果能添加成功則表明 URL 不重復，反之則表示重復。
創建唯一索引的 SQL 實現如下：
create unique index Index_url on urlinfo
(
url
);
布隆過濾器（Bloom Filter）是1970年由布隆提出的。它實際上是一個很長的二進制向量和一系列隨機映射函數。布隆過濾器可以用于檢索一個元素是否在一個集合中。它的優點是空間效率和查詢時間都遠遠超過一般的算法，缺點是有一定的誤識別率和刪除困難。
布隆過濾器的核心實現是一個超大的位數組和幾個哈希函數，假設位數組的長度為 m，哈希函數的個數為 k。
以上圖為例，具體的操作流程：假設集合里面有 3 個元素 {x, y, z}，哈希函數的個數為 3。首先將位數組進行初始化，將里面每個位都設置位 0。對于集合里面的每一個元素，將元素依次通過 3 個哈希函數進行映射，每次映射都會產生一個哈希值，這個值對應位數組上面的一個點，然后將位數組對應的位置標記為 1，查詢 W 元素是否存在集合中的時候，同樣的方法將 W 通過哈希映射到位數組上的 3 個點。如果 3 個點的其中有一個點不為 1，則可以判斷該元素一定不存在集合中。反之，如果 3 個點都為 1，則該元素可能存在集合中。注意：此處不能判斷該元素是否一定存在集合中，可能存在一定的誤判率。可以從圖中可以看到：假設某個元素通過映射對應下標為 4、5、6 這 3 個點。雖然這 3 個點都為 1，但是很明顯這 3 個點是不同元素經過哈希得到的位置，因此這種情況說明元素雖然不在集合中，也可能對應的都是 1，這是誤判率存在的原因。
我們可以借助 Google 提供的 Guava 框架來操作布隆過濾器，實現我們先在 pom.xml 中添加 Guava 的引用，配置如下：
<!-- 添加 Guava 框架 -->
<!-- https://mvnrepository.com/artifact/com.google.guava/guava -->
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>28.2-jre</version>
</dependency>
URL 判重的實現代碼：
public class URLRepeat {
// 待去重 URL
public static final String[] URLS = {
"www.apigo.cn",
"www.baidu.com",
"www.apigo.cn"
};
public static void main(String[] args) {
// 創建一個布隆過濾器
BloomFilter<String> filter = BloomFilter.create(
Funnels.stringFunnel(Charset.defaultCharset()),
10, // 期望處理的元素數量
0.01); // 期望的誤報概率
for (int i = 0; i < URLS.length; i++) {
String url = URLS[i];
if (filter.mightContain(url)) {
// 用重復的 URL
System.out.println("URL 已存在了：" + url);
} else {
// 將 URL 存儲在布隆過濾器中
filter.put(url);
}
}
}
}
以上程序的執行結果為：
URL 已存在了：www.apigo.cn
除了 Guava 的布隆過濾器，我們還可以使用 Redis 的布隆過濾器來實現 URL 判重。在使用之前，我們先要確保 Redis 服務器版本大于 4.0（此版本以上才支持布隆過濾器），并且開啟了 Redis 布隆過濾器功能才能正常使用。
以 Docker 為例，我們來演示一下 Redis 布隆過濾器安裝和開啟，首先下載 Redis 的布隆過器，然后再在重啟 Redis 服務時開啟布隆過濾器，如下圖所示：
布隆過濾器使用布隆過濾器正常開啟之后，我們先用 Redis 的客戶端 redis-cli 來實現一下布隆過濾器 URL 判重了，實現命令如下：
在 Redis 中，布隆過濾器的操作命令不多，主要包含以下幾個：
bf.add 添加元素； bf.exists 判斷某個元素是否存在； bf.madd 添加多個元素； bf.mexists 判斷多個元素是否存在； bf.reserve 設置布隆過濾器的準確率。
接下來我們使用代碼來演示一下 Redis 布隆過濾器的使用：
import redis.clients.jedis.Jedis;
import utils.JedisUtils;
import java.util.Arrays;
public class BloomExample {
// 布隆過濾器 key
private static final String _KEY = "URLREPEAT_KEY";
// 待去重 URL
public static final String[] URLS = {
"www.apigo.cn",
"www.baidu.com",
"www.apigo.cn"
};
public static void main(String[] args) {
Jedis jedis = JedisUtils.getJedis();
for (int i = 0; i < URLS.length; i++) {
String url = URLS[i];
boolean exists = bfExists(jedis, _KEY, url);
if (exists) {
// 重復的 URL
System.out.println("URL 已存在了：" + url);
} else {
bfAdd(jedis, _KEY, url);
}
}
}
/**
* 添加元素
* @param jedis Redis 客戶端
* @param key key
* @param value value
* @return boolean
*/
public static boolean bfAdd(Jedis jedis, String key, String value) {
String luaStr = "return redis.call('bf.add', KEYS[1], KEYS[2])";
Object result = jedis.eval(luaStr, Arrays.asList(key, value),
Arrays.asList());
if (result.equals(1L)) {
return true;
}
return false;
}
/**
* 查詢元素是否存在
* @param jedis Redis 客戶端
* @param key key
* @param value value
* @return boolean
*/
public static boolean bfExists(Jedis jedis, String key, String value) {
String luaStr = "return redis.call('bf.exists', KEYS[1], KEYS[2])";
Object result = jedis.eval(luaStr, Arrays.asList(key, value),
Arrays.asList());
if (result.equals(1L)) {
return true;
}
return false;
}
}以上程序的執行結果為：
URL 已存在了：www.apigo.cn
以上就是關于“URL去重的方法有哪些”這篇文章的內容，相信大家都有了一定的了解，希望小編分享的內容對大家有幫助，若想了解更多相關的知識內容，請關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
