博客 (48)

因 MySQL 8 默认使用 utf8mb4 字符集，如果是从 MySQL 5-7 等低版本迁移的，那么仍然是 utf8（相当于 utf8mb3）。

这在保存字符串时有可能会报错：

An error occurred while saving the entity changes. See the inner exception for details.

Incorrect string value: '\xF0\xA1\x90\x93\xE6\x9D...' for column 'Html' at row 1

即使连接字符串上加上 CharSet=utf8 或 CharSet=utf8mb3 或 CharSet=utf8mb4 也没用。

那么只能把数据库的字符集改为 utf8mb4。

更改字符集和排序方式前必须先备份数据库！

1. 更改现有数据库的字符集和排序规则

   ALTER DATABASE mydatabase 
   CHARACTER SET utf8mb4 
   COLLATE utf8mb4_unicode_ci;

2. 更改现有表的字符集和排序规则

   ALTER TABLE mytable 
   CONVERT TO CHARACTER SET utf8mb4 
   COLLATE utf8mb4_unicode_ci;

3. 更改现有列的字符集和排序规则

   当列单独设置了字符集时执行，未设置的不需要执行，会继承表的字符集

   ALTER TABLE mytable 
   MODIFY mycolumn VARCHAR(255) 
   CHARACTER SET utf8mb4 
   COLLATE utf8mb4_unicode_ci

数据库中可能存在许多表，数据表中可能存在许多列，使用下面的命令可以生成批量执行的命令：

1. 更改所有表的默认字符集和排序规则

   USE database_name; -- 替换为你的数据库名
   
   SELECT CONCAT('ALTER TABLE `', TABLE_SCHEMA, '`.`', TABLE_NAME, '` CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;') 
   FROM information_schema.TABLES 
   WHERE TABLE_SCHEMA = 'database_name'; -- 再次替换为你的数据库名

2. 更改所有列的字符集和排序规则

   USE database_name; -- 使用你的数据库名
   
   SELECT CONCAT('ALTER TABLE `', TABLE_SCHEMA, '`.`', TABLE_NAME, '` MODIFY `', COLUMN_NAME, '` ', COLUMN_TYPE, ' CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;') 
   FROM information_schema.COLUMNS 
   WHERE TABLE_SCHEMA = 'database_name'; -- 使用你的数据库名

另外给出几条查询语句：

1. 查看特定数据库的字符集和排序规则

   SELECT DEFAULT_CHARACTER_SET_NAME, DEFAULT_COLLATION_NAME
   FROM information_schema.SCHEMATA
   WHERE SCHEMA_NAME = 'your_database_name';

2. 查看特定表的字符集和排序规则

   SELECT TABLE_SCHEMA, TABLE_NAME, TABLE_COLLATION
   FROM information_schema.TABLES
   WHERE TABLE_SCHEMA = 'your_database_name';

3. 查看特定列的字符集和排序规则

   SELECT COLUMN_NAME, CHARACTER_SET_NAME, COLLATION_NAME 
   FROM information_schema.COLUMNS 
   WHERE TABLE_SCHEMA = 'your_database_name' AND TABLE_NAME = 'your_table_name';

语言集成查询（LINQ）为 C# 和 VB 提供语言级查询功能和高阶函数 API，让你能够编写具有很高表达力度的声明性代码。

LINQ 有两种写法：查询语法和方法语法，查询语法又称查询表达式语法。

查询语法：

from 变量名 in 集合 where 条件 select 结果变量

方法语法：

集合.Where(变量名 => 条件)

LINQ 的标准查询运算符及语法示例

cats.Select(cat => cat.color)

from cat in cats
select cat.color

families.SelectMany(family => family.members
.Select(member => member.name))

from family in families
from member in family.members
select member.name

cats.Where(cat => cat.color == "white")

from cat in cats
where cat.color == "white"
select cat

cats.OrderBy(cat => cat.age)

from cat in cats
order by cat.age
select cat

cats.Reverse()

families.Join(
    members,
    family => family.familyId,
    member => member.familyId,
    (family, member) => new
    {
        family.familyId,
        member.name,
    })

families.GroupJoin(
    members,
    family => family.familyId,
    member => member.familyId,
    (family, familyMembers) => new
    {
        family.familyId,
        name = familyMembers.FirstOrDefault()?.name
    })

from family in families
join member in members on family.familyId equals member.familyId
select new
{
    family.familyId,
    member.name,
}

from family in families
join member in members on family.familyId equals member.familyId into g
from member in g.DefaultIfEmpty()
select new
{
    family.familyId,
    name = member?.name,
}

了解立即执行与延迟执行可以大大改善性能。

方法一：

在 DbContext.cs 文件中找到 OnConfiguring 方法，添加代码：

#if DEBUG
    optionsBuilder.EnableSensitiveDataLogging();
    optionsBuilder.LogTo(Console.WriteLine); // 输出日志到控制台
    //optionsBuilder.LogTo(message => Debug.WriteLine(message)); // 输出日志到“输出”窗口
#endif

搞定。

若原来是 => 形式的，改为 { } 形式写法即可。

方法二：使用 Logging

打开 DbContext 文件，添加

using Microsoft.Extensions.Logging;
using Microsoft.Extensions.Logging.Debug;

将

optionsBuilder.UseMySql

替换为

optionsBuilder.UseLoggerFactory(MyLoggerFactory).UseMySql

添加方法

public static readonly LoggerFactory MyLoggerFactory = new LoggerFactory(new[] {
    new DebugLoggerProvider()
});

即可在“输出”窗口看到生成的 SQL 语句了。

查询占用带宽的设备 IP 地址：

查看 IP 地址对应的 MAC 地址：

或

IP 流量限制：

端口映射：

经常有人碰到这样一种情况，我的 918+ 有 4 个硬盘呢，怎么空间很快就没了，最重要的是，自己查看统计了所有文件占用情况，和实际的占用空间不符。这个首先可以肯定的就是空间必然是文件占用了。但是呢，有些文件是不能从 File Station 里面直接看到的，所以很多用户就搞不懂了，有时候文件删除了，空间也不见增加。今天，就来教大家一个大招，让这些不能直接看到的文件无处遁形。

一、SSH 登陆群晖

这里我们要用到一个叫 putty 的软件

putty下载链接：点此下载

在开始之前，我们要开启群晖的 SSH 或是 telnet 服务功能（控制台 - 终端机和 SNMP - 勾选启动 SSH 功能）。

打开 putty，在主机名称输入群晖的局域网 IP 地址，然后点击下面的【打开】。

会弹出一个黑色的窗口。登入账号输入管理员：admin，按回车，然后输入 admin 的密码，要注意的是，输入密码的时候，光标是不会动的，你尽管输就行。有些用户看到代码就头疼，其实我们用到的都是些非常简单基础的命令代码，你只要照着这个步骤一步一步去做，肯定能成功，成功把空间腾出来后，你会很有成就感，哈哈！

切换到 root 权限，输入 sudo -i，按回车，然后也是输入 admin 的密码。

MAC 电脑用终端也可以登录 ：

1. 打开终端

2. 输入命令：ssh -p 999 admin@192.168.1.9

3. 上面 999 为自定义端口号，admin 为自己的用户名

二、查询文件

到这里我们就登陆到群晖里面了，在这里可以执行命令。

输入 cd /volume1 命令后按回车，意思是进入存储空间 1（若您的储存空间为 2，则改成 volume2，依此类推）。

输入 du -ah --max-depth=1，可以查看当前目录文件大小，这个过程可能会需要数分钟到数小时不等，依您的文件数及空间大小而定。实测 8TB 机械硬盘耗时两个多小时。

三、删除文件

像上面图片中的 @download 就是 Download Station 的缓存文件，有时候操作不当，会造成缓存不能自动删除，这个时候就需要使用代码的方法来删除缓存，才能释放存储空间了。

比如要删除 Download Station 的缓存文件夹，就是上图的 @download 文件夹，可以使用下面这个命令：rm -rf /volume1/@download

这个命令要慎用，一旦删除就不能恢复了！

四、还有哪些文件占用存储空间而不能直接查询

除了 Download Station的缓存文件之外，还有 File Station 里面删除了文件，但启用了回收站，文件实际上还没彻底删除，也会造成删除文件，空间没有增加的情况。这个时候清空一下回收站即可。

清除某个文件夹回收站：

也可以直接一次性清空所有文件夹的回收站：

还有 Drive 的版本控制和 Drive本身自带的回收站；

@synologydrive/@sync/repo 是 Synology Drive Client 的缓存目录，我删除这个目录就释放了 5TB 的空间。

除此之外，还有 Cloud Station 保留的版本，Snapshot Replication 套件生成的快照文件等。

如果发现 /volume1/@synologydrive/@sync/repo/ 这个目录占用空间过大，请参考这篇文章。

论坛出现动态页面打开或刷新非常慢（超过半分钟），甚至打不开，该页无法显示，502 Bad Gateway 等情况，TTFB 计时需要好几秒。

切换 nginx 版本、php 版本 等均无效果，甚至购买新的 ECS 重新搭建环境也是效果甚微。

最终在阿里云 RDS 管理中，手动主备库切换，问题得以解决。

因此大概率是原主库有问题（有损坏的表需要修复或锁等情况）。

查询故障时间段的慢 SQL，发现某表的锁等待时间特别长，不知道是不是这个表的原因导致的。

次日，提交工单得到回复是原主库（现备库）会自动修复，经再次主备库切换测试得到了肯定的结果。

再次日，又遇到同样的打开慢的情况，这次直接找到慢 SQL 中锁等待时间较长的表，优化（OPTIMIZE TABLE）（虽然是 InnoDB），立刻解决了问题。

public static class EntityFrameworkCoreExtension
{
    private static DbCommand CreateCommand(DatabaseFacade facade, string sql, out DbConnection connection, params object[] parameters)
    {
        var conn = facade.GetDbConnection();
        connection = conn;
        conn.Open();
        var cmd = conn.CreateCommand();
        cmd.CommandText = sql;
        cmd.Parameters.AddRange(parameters);
        return cmd;
    }

    public static DataTable SqlQuery(this DatabaseFacade facade, string sql, params object[] parameters)
    {
        var command = CreateCommand(facade, sql, out DbConnection conn, parameters);
        var reader = command.ExecuteReader();
        var dt = new DataTable();
        dt.Load(reader);
        reader.Close();
        conn.Close();
        return dt;
    }

    public static List<T> SqlQuery<T>(this DatabaseFacade facade, string sql, params object[] parameters) where T : class, new()
    {
        var dt = SqlQuery(facade, sql, parameters);
        return dt.ToList<T>();
    }

    public static List<T> ToList<T>(this DataTable dt) where T : class, new()
    {
        var propertyInfos = typeof(T).GetProperties();
        var list = new List<T>();
        foreach (DataRow row in dt.Rows)
        {
            var t = new T();
            foreach (PropertyInfo p in propertyInfos)
            {
                if (dt.Columns.IndexOf(p.Name) != -1 && row[p.Name] != DBNull.Value)
                {
                    p.SetValue(t, row[p.Name], null);
                }
            }
            list.Add(t);
        }
        return list;
    }
}

调用示例：

var data = db.Database.SqlQuery<List<string>>("SELECT 'title' FROM `table` WHERE `id` = {0};", id);

测试表数据量 152 万条，测试跳过 100 万取 10 条。

测试一：直接使用 limit 跳过 1000000 取 10，耗时 2.4s；

SELECT *
FROM `pre_forum_post`
ORDER BY `pid`
LIMIT 1000000, 10
> OK
> 时间: 2.394s

测试二：先使用 limit 跳过 1000000 取 1，再使用配合 where 条件，使用 limit 取 10，耗时 0.2s。

SELECT *
FROM `pre_forum_post` 
WHERE `pid` >= (
		SELECT `pid` 
		FROM `pre_forum_post` 
		ORDER BY `pid` 
		LIMIT 1000000, 1
		)
ORDER BY `pid`
LIMIT 10
> OK
> 时间: 0.207s

两次测试耗时相差约 10 倍。测试取 100 条或取 1 条，耗时都相差约 10 倍。

但若测试跳过条数较小时，测试一效率更高，因此应按照项目的实际需要选择适当的查询方法。

按产品类型查询：费用 - 费用分析，右侧可筛选产品，可按月按天查询，自动合计

按实例查询：费用 - 费用账单，搜索实例ID，按月查询

另：已通过提交工单确认无法查询 OSS 按 Bucket 的账单及 CDN 按域名的账单。

“DatabaseFacade”未包含“ExecuteSqlCommand”的定义，并且找不到可接受第一个“DatabaseFacade”类型参数的可访问扩展方法“ExecuteSqlCommand”(是否缺少 using 指令或程序集引用?)

参：原生 SQL 查询

思路：（以 Entity Framework Core 5.0 为例）

先借用 SELETE 的 IQueryable 语句，将 SELETE 关键字替换成 DELETE，再使用 FromSqlRaw 执行。这样可准确使用真实的数据库表名和字段名。

如：

using Microsoft.EntityFrameworkCore;

string sql = db.表.Where(c => c.Date < minDate).ToQueryString();
sql = Regex.Replace(sql, @"SELECT\s.*?\sFROM", "DELETE FROM", RegexOptions.Singleline); // SET @__minDate_0 = '2020-01-14'; DELETE FROM `表` AS `d` WHERE `d`.`Date` < @__minDate_0
sql = Regex.Replace(sql, @"\sAS\s`(.*?)`", "", RegexOptions.Singleline); // SET @__minDate_0 = '2020-01-14'; DELETE FROM `表` WHERE `d`.`Date` < @__minDate_0
sql = Regex.Replace(sql, @"`([^`]*?)`\.`", "`", RegexOptions.Singleline); // SET @__minDate_0 = '2020-01-14'; DELETE FROM `表` WHERE `Date` < @__minDate_0
db.Database.ExecuteSqlRaw(sql);

以上例子针对 MySQL，且未考虑字符串内容中包含符号 ` 的情况。实例操作中应严格防范 SQL 注入。

封装成方法：

using Microsoft.EntityFrameworkCore;

const RegexOptions ro = RegexOptions.Singleline;

/// <summary>
/// 组装一个 DELETE SQL 语句
/// </summary>
/// <typeparam name="T">数据库表实体类</typeparam>
/// <param name="queryableWithConditions">IQueryable，可带筛选条件</param>
/// <returns></returns>
public static string AssembleDeleteSql<T>(IQueryable<T> queryableWithConditions) where T : class
{
    // MySQL 版
    string sql = queryableWithConditions.ToQueryString(); // SET @__minDate_0 = '2020-01-14'; SELECT `d`.`Date`, `d`.`Code6` FROM `表` AS `d` WHERE `d`.`Date` < @__minDate_0
    sql = Regex.Replace(sql, @"SELECT\s.*?\sFROM", "DELETE FROM", ro); // SET @__minDate_0 = '2020-01-14'; DELETE FROM `表` AS `d` WHERE `d`.`Date` < @__minDate_0
    sql = Regex.Replace(sql, @"\sAS\s`(.*?)`", "", ro); // SET @__minDate_0 = '2020-01-14'; DELETE FROM `表` WHERE `d`.`Date` < @__minDate_0
    sql = Regex.Replace(sql, @"`([^`]*?)`\.`", "`", ro); // SET @__minDate_0 = '2020-01-14'; DELETE FROM `表` WHERE `Date` < @__minDate_0
    return sql;
}
/// <summary>
/// 组装一个 UPDATE SQL 语句
/// </summary>
/// <typeparam name="T">数据库表实体类</typeparam>
/// <param name="queryableWithConditions">IQueryable，可带筛选条件</param>
/// <param name="columnsAndValues">需要更改的字段和值</param>
/// <returns></returns>
public static string AssembleUpdateSql<T>(IQueryable<T> queryableWithConditions, Dictionary<string, object> columnsAndValues) where T : class
{
    // MySQL 版
    string sql = queryableWithConditions.ToQueryString(); // SET @__minDate_0 = '2020-01-14'; SELECT `d`.`Date`, `d`.`Code6` FROM `表` AS `d` WHERE `d`.`Date` < @__minDate_0
    sql = Regex.Replace(sql, @"SELECT\s.*?\sFROM", "UPDATE", ro); // SET @__minDate_0 = '2020-01-14'; UPDATE `表` AS `d` WHERE `d`.`Date` < @__minDate_0
    sql = Regex.Replace(sql, @"\sAS\s`(.*?)`", "", ro); // SET @__minDate_0 = '2020-01-14'; UPDATE `表` WHERE `d`.`Date` < @__minDate_0
    sql = Regex.Replace(sql, @"`([^`]*?)`\.`", "`", ro); // SET @__minDate_0 = '2020-01-14'; UPDATE `表` WHERE `Date` < @__minDate_0
    string sets = string.Join(",", columnsAndValues.Select(c => $"`{c.Key.Replace("`", @"\`")}` = '{c.Value.ToString().Replace("'", @"\'")}'"));
    sql = Regex.Replace(sql, @"`\s*WHERE", $"` SET {sets} WHERE", ro); // SET @__minDate_0 = '2020-01-14'; UPDATE `表` SET `field1` = 'value1', `field2` = 'value2' WHERE `Date` < @__minDate_0
    return sql;
}

调用示例：

using Microsoft.EntityFrameworkCore;

// 删除记录
DateTime minDate = DateTime.Today.AddYears(-1).AddMonths(-1);
string sql = AssembleDeleteSql(db.表.Where(c => c.Date < minDate));
db.Database.ExecuteSqlRaw(sql);

// 更新记录
var sets = new Dictionary<string, object>();
foreach (var p in db.Model.FindEntityType(typeof(表)).GetProperties())
{
    switch (p.Name)
    {
        case nameof(表.字段一): sets.Add(p.GetColumnBaseName(), 123); break;
        case nameof(表.字段二): sets.Add(p.GetColumnBaseName(), 456); break;
    }
}
DateTime minDate = DateTime.Today.AddYears(-1).AddMonths(-1);
string sql = AssembleUpdateSql(db.表.Where(c => c.Date < minDate), sets);
db.Database.ExecuteSqlRaw(sql);