|
|
<?php
|
|
|
/**
|
|
|
* url地址相关的操作类
|
|
|
*
|
|
|
* @file addressMaker.class.php
|
|
|
* @author gently
|
|
|
* @date 2017.12.31
|
|
|
*
|
|
|
*
|
|
|
*/
|
|
|
!defined('ROOT_DIR') && die('Access Denied.');
|
|
|
|
|
|
class addressMaker{
|
|
|
|
|
|
const LINK_URL = 'https://github.com/privacy-protection-tools/anti-AD';
|
|
|
|
|
|
/**
|
|
|
* 分离域名
|
|
|
*
|
|
|
* @param $str_domain
|
|
|
* @return string
|
|
|
*/
|
|
|
public static function extract_main_domain($str_domain){
|
|
|
if(empty($str_domain)){
|
|
|
return "";
|
|
|
}
|
|
|
|
|
|
$str_reg = '/^(?:(?:[a-z0-9\-]*[a-z0-9]\.)*?|\.)?([a-z0-9\-]*[a-z0-9](';
|
|
|
/************start CN域名的特殊处理规则，其中包括了各行政区特别后缀的cn域名*****************************/
|
|
|
$str_reg .= '\.ac\.cn|\.ah\.cn|\.bj\.cn|\.com\.cn|\.cq\.cn|\.fj\.cn|\.gd\.cn|\.gov\.cn|\.gs\.cn';
|
|
|
$str_reg .= '|\.gx\.cn|\.gz\.cn|\.ha\.cn|\.hb\.cn|\.he\.cn|\.hi\.cn|\.hk\.cn|\.hl\.cn|\.hn\.cn';
|
|
|
$str_reg .= '|\.jl\.cn|\.js\.cn|\.jx\.cn|\.ln\.cn|\.mo\.cn|\.net\.cn|\.nm\.cn|\.nx\.cn|\.org\.cn';
|
|
|
$str_reg .= '|\.qh\.cn|\.sc\.cn|\.sd\.cn|\.sh\.cn|\.sn\.cn|\.sx\.cn|\.tj\.cn|\.tw\.cn|\.xj\.cn';
|
|
|
$str_reg .= '|\.xz\.cn|\.yn\.cn|\.zj\.cn|\.edu.cn';
|
|
|
/************end CN域名的特殊处理规则，其中包括了各行政区特别后缀的cn域名******************************/
|
|
|
$str_reg .= '|\.cn|\.com|\.net|\.org|\.me|\.co|\.info|\.cc|\.tv';
|
|
|
$str_reg .= '|\.pw|\.biz|\.top|\.win|\.bid|\.cf|\.club|\.ne|\.de|\.la|\.us|\.mobi|\.hn|\.asia';
|
|
|
$str_reg .= '|\.jp|\.tw|\.am|\.hk|\.site|\.live|\.xyz|\.space|\.fr|\.es|\.nl|\.au|\.in|\.ru';
|
|
|
$str_reg .= '|\.su|\.world|\.io|\.trade|\.bet|\.im|\.fm|\.today|\.wang|\.rocks|\.vip|\.eu|\.run';
|
|
|
$str_reg .= '|\.online|\.website|\.cricket|\.date|\.men|\.ca|\.xxx|\.name|\.pl|\.be|\.il|\.gov|\.it';
|
|
|
$str_reg .= '|\.cl|\.tk|\.cz|\.hu|\.ro|\.vg|\.ws|\.nu|\.vn|\.lt|\.edu|\.lv|\.mx|\.by|\.gr|\.br|\.fi';
|
|
|
$str_reg .= '|\.pt|\.dk|\.se|\.at|\.id|\.ve|\.ir|\.ma|\.ch|\.nf|\.bg|\.ua|\.is|\.hr|\.shop|\.xin|\.si|\.or';
|
|
|
$str_reg .= '|\.sk|\.kz|\.tt|\.so|\.gg|\.ms|\.ink|\.pro|\.work|\.click|\.link|\.ly|\.ai|\.tech|\.kr|\.to';
|
|
|
$str_reg .= '|\.uk|\.ad|\.ac|\.md|\.ml|\.cm|\.re|\.ph|\.my|\.lu|\.network|\.sh|\.fun|\.az|\.cx|\.ga';
|
|
|
$str_reg .= '|\.ae|\.bz|\.gq|\.gs|\.pk|\.sex|\.stream|\.support|\.pub|\.nz|\.ng|\.zw|\.sx|\.studio|\.media|\.zone';
|
|
|
$str_reg .= '|\.icu|\.ie|\.li|\.bar|\.video|\.wiki|\.ltd|\.cash|\.pink|\.loan|\.gdn|\.app|\.ovh|\.land|\.st|\.how';
|
|
|
$str_reg .= '|\.kim|\.download|\.ag|\.technology|\.company|\.guru|\.gt|\.sg|\.photo|\.digital|\.one|\.tr';
|
|
|
$str_reg .= '|\.show|\.sncf|\.uz|\.as|\.ee|\.fyi|\.cloud|\.group|\.promo|\.party|\.services|\.life|\.no';
|
|
|
$str_reg .= '|\.watch|\.works|\.buzz|\.best|\.center|\.host|\.style|\.press|\.solutions|\.exchange|\.wtf';
|
|
|
$str_reg .= '|\.delivery|\.page|\.webcam|\.cam|\.supply|\.accountant|\.systems|\.agency|\.science|\.awe';
|
|
|
$str_reg .= '|\.gd|\.review|\.tc|\.mn|\.cool|\.monster|\.do|\.bi|\.news|\.boom|\.lol|\.events|\.jobs';
|
|
|
$str_reg .= '|\.ooo|\.social|\.ninja|\.blue|\.plus|\.racing|\.ht|\.tl|\.cat|\.tf|\.al|\.vc|\.cr';
|
|
|
$str_reg .= ')';
|
|
|
|
|
|
$str_reg .= '(\.hk|\.tw|\.uk|\.jp|\.kr|\.th|\.au|\.ua|\.so|\.br|\.sg|\.pt|\.ec|\.ar|\.my';
|
|
|
$str_reg .= '|\.tr|\.bd|\.mk|\.za|\.mt|\.sm|\.ge|\.kg|\.ke|\.de|\.ve|\.es|\.ru|\.pk|\.mx';
|
|
|
$str_reg .= '|\.nz|\.py|\.pe|\.ph|\.pl|\.ng|\.pa|\.fj';
|
|
|
|
|
|
$str_reg .= ')?)$/';
|
|
|
if(preg_match($str_reg, $str_domain, $matches)){
|
|
|
return strval($matches[1]);
|
|
|
}
|
|
|
|
|
|
return "";
|
|
|
|
|
|
}
|
|
|
|
|
|
/**
|
|
|
* 从 easylist类源文件中提取可用地址
|
|
|
*
|
|
|
* @param String $str_easylist 原始的easylist列表字符串
|
|
|
* @param Boolean $strict_mode 严格模式，启用时将屏蔽该域所在的主域名，例如www.baidu.com，将获取到baidu.com并写入最终列表
|
|
|
* @param Array $arr_whitelist 白名单列表
|
|
|
* @return array
|
|
|
*/
|
|
|
public static function get_domain_from_easylist($str_easylist, $strict_mode = false, $arr_whitelist = array()){
|
|
|
$strlen = strlen($str_easylist);
|
|
|
if($strlen < 10){
|
|
|
return array();
|
|
|
}
|
|
|
|
|
|
$str_easylist = $str_easylist . "\n"; //防止最后一行没有换行符
|
|
|
|
|
|
$i = 0;
|
|
|
$arr_domains = array();
|
|
|
while($i < $strlen){
|
|
|
$end_pos = strpos($str_easylist, "\n", $i);
|
|
|
$line = trim(substr($str_easylist, $i, $end_pos - $i));
|
|
|
$i = $end_pos + 1;
|
|
|
if(empty($line) || strlen($line) < 3){
|
|
|
continue;
|
|
|
}
|
|
|
|
|
|
if($line{0} != '|' || $line{1} != '|'){
|
|
|
continue;
|
|
|
}
|
|
|
|
|
|
if(preg_match('/^\|\|([0-9a-z\-\.]+[a-z]+)\^(\$([^=]+?,)?(image|third-party|script)(,[^=]+)?)?$/', $line, $matches)){
|
|
|
|
|
|
if(substr($matches[1], 0, 4) == 'www.'){
|
|
|
$row = substr($matches[1], 4);
|
|
|
}else{
|
|
|
$row = $matches[1];
|
|
|
}
|
|
|
$main_domain = self::extract_main_domain($matches[1]);
|
|
|
if($strict_mode && (!array_key_exists($main_domain, $arr_whitelist) || ($arr_whitelist[$main_domain] >= 1))){
|
|
|
$arr_domains[$main_domain] = array($main_domain);
|
|
|
}else{
|
|
|
$arr_domains[$main_domain][] = $row;
|
|
|
}
|
|
|
}
|
|
|
}
|
|
|
|
|
|
return $arr_domains;
|
|
|
}
|
|
|
|
|
|
/**
|
|
|
* 从hosts或dnsmasq类文件中提取地址
|
|
|
*
|
|
|
* @param String $str_hosts 原始的hosts字符串
|
|
|
* @param Boolean $strict_mode 严格模式，启用时将屏蔽该域所在的主域名，例如www.baidu.com，将获取到baidu.com并写入最终列表
|
|
|
* @param Array $arr_whitelist 白名单
|
|
|
* @return array
|
|
|
*/
|
|
|
public static function get_domain_list($str_hosts, $strict_mode = false, $arr_whitelist = array()){
|
|
|
$strlen = strlen($str_hosts);
|
|
|
if($strlen < 3){
|
|
|
return array();
|
|
|
}
|
|
|
|
|
|
$str_hosts = $str_hosts . "\n"; //防止最后一行没有换行符
|
|
|
|
|
|
$i = 0;
|
|
|
$arr_domains = array();
|
|
|
while($i < $strlen){
|
|
|
$end_pos = strpos($str_hosts, "\n", $i);
|
|
|
$line = trim(substr($str_hosts, $i, $end_pos - $i));
|
|
|
$i = $end_pos + 1;
|
|
|
if(empty($line) || ($line{0} == '#')){//注释行忽略
|
|
|
continue;
|
|
|
}
|
|
|
$line = strtolower(preg_replace('/[\s\t]+/', "/", $line));
|
|
|
|
|
|
if((strpos($line, '127.0.0.1') === false) &&
|
|
|
(strpos($line, '::') === false) &&
|
|
|
(strpos($line, '0.0.0.0') === false)){
|
|
|
continue;
|
|
|
}
|
|
|
|
|
|
$row = explode('/', $line);
|
|
|
if(strpos($row[1], '.') === false){
|
|
|
continue;
|
|
|
}
|
|
|
$main_domain = self::extract_main_domain($row[1]);
|
|
|
if($strict_mode && (!array_key_exists($main_domain, $arr_whitelist) || ($arr_whitelist[$main_domain] >= 1))){
|
|
|
$arr_domains[$main_domain] = array($main_domain);
|
|
|
}else{
|
|
|
$arr_domains[$main_domain][] = $row[1];
|
|
|
}
|
|
|
}
|
|
|
|
|
|
return $arr_domains;
|
|
|
}
|
|
|
|
|
|
private static function write_conf_header($fp, $header, $arr_params = array()){
|
|
|
$header = str_replace('{DATE}', date('YmdHis'), $header);
|
|
|
$header = str_replace('{URL}', self::LINK_URL, $header);
|
|
|
|
|
|
foreach($arr_params as $keyword => $val){
|
|
|
$header = str_replace('{' . $keyword . '}', $val, $header);
|
|
|
}
|
|
|
return fwrite($fp, $header);
|
|
|
}
|
|
|
|
|
|
/**
|
|
|
* 写入结果到最终文件
|
|
|
*
|
|
|
* @param array $arr_src
|
|
|
* @param $arr_format
|
|
|
* @param array $arr_whitelist
|
|
|
* @return false|int
|
|
|
*/
|
|
|
public static function write_to_file(array $arr_src, array $arr_format, array $arr_whitelist = array()){
|
|
|
|
|
|
if(count($arr_src) < 1){
|
|
|
return false;
|
|
|
}
|
|
|
|
|
|
foreach($arr_whitelist as $wlk => $wlv){
|
|
|
if(-1 === $wlv){
|
|
|
unset($arr_whitelist[$wlk]);
|
|
|
}
|
|
|
}
|
|
|
|
|
|
$str_result = '';
|
|
|
$line_count = 0;
|
|
|
|
|
|
$arr_written = [];
|
|
|
foreach($arr_src as $main_domain => $arr_subdomains){
|
|
|
|
|
|
if(array_key_exists($main_domain, $arr_whitelist) && ($arr_whitelist[$main_domain] > 0)){
|
|
|
continue;
|
|
|
}
|
|
|
|
|
|
if(empty($main_domain)){//不匹配记录（一般是不合法域名或者未收录的后缀）
|
|
|
continue;
|
|
|
}
|
|
|
|
|
|
|
|
|
if(
|
|
|
(1 !== $arr_format['full_domain'])
|
|
|
&& (!array_key_exists($main_domain, $arr_whitelist))
|
|
|
&& (in_array($main_domain, $arr_subdomains)
|
|
|
|| in_array('www.' . $main_domain, $arr_subdomains)
|
|
|
|| in_array('.' . $main_domain, $arr_subdomains)
|
|
|
)
|
|
|
){
|
|
|
$str_result .= str_replace('{DOMAIN}', $main_domain, $arr_format['format']) . "\n";
|
|
|
$line_count ++;
|
|
|
continue;
|
|
|
}
|
|
|
|
|
|
$arr_subdomains = array_fill_keys($arr_subdomains, 2);
|
|
|
|
|
|
foreach($arr_subdomains as $subdomain => $__){
|
|
|
if(array_key_exists($subdomain, $arr_whitelist)){
|
|
|
continue;
|
|
|
}
|
|
|
|
|
|
$arr_tmp_domain = explode('.', $subdomain);
|
|
|
$tmp_domain_len = count($arr_tmp_domain);
|
|
|
if($tmp_domain_len < 3){
|
|
|
$str_result .= str_replace('{DOMAIN}', $subdomain, $arr_format['format']) . "\n";
|
|
|
$line_count ++;
|
|
|
$arr_written[$subdomain] = 2;
|
|
|
continue;
|
|
|
}
|
|
|
|
|
|
$matched_flag = false;
|
|
|
for($pos = 3; $pos <= $tmp_domain_len; $pos ++){
|
|
|
$arr_tmp = array_slice($arr_tmp_domain, -1 * $pos);
|
|
|
$tmp = implode('.', $arr_tmp);
|
|
|
|
|
|
if(array_key_exists($tmp, $arr_whitelist)){
|
|
|
$matched_flag = $arr_whitelist[$tmp] === 1;
|
|
|
break;
|
|
|
}
|
|
|
|
|
|
if(($tmp === $subdomain) || array_key_exists($tmp, $arr_subdomains)){
|
|
|
if(!array_key_exists($tmp, $arr_written)){
|
|
|
$str_result .= str_replace('{DOMAIN}', $tmp, $arr_format['format']) . "\n";
|
|
|
$line_count ++;
|
|
|
$arr_written[$tmp] = 2;
|
|
|
}
|
|
|
$matched_flag = 1 !== $arr_format['full_domain'];
|
|
|
break;
|
|
|
}
|
|
|
}
|
|
|
|
|
|
if($matched_flag){
|
|
|
continue;
|
|
|
}
|
|
|
|
|
|
if(!array_key_exists($subdomain, $arr_written)){
|
|
|
$str_result .= str_replace('{DOMAIN}', $subdomain, $arr_format['format']) . "\n";
|
|
|
$line_count ++;
|
|
|
$arr_written[$subdomain] = 3;
|
|
|
}
|
|
|
}
|
|
|
}
|
|
|
unset($arr_written);
|
|
|
|
|
|
$fp = fopen(ROOT_DIR . $arr_format['filename'], 'w');
|
|
|
$write_len = self::write_conf_header($fp, $arr_format['header'], array('COUNT' => $line_count));
|
|
|
$write_len += fwrite($fp, $str_result);
|
|
|
return $write_len;
|
|
|
}
|
|
|
} |