Logo Logo Logo
浅色
深色
跟随系统

博客 (11)

升级 MySQL 8.0 后将字符集从 utf8 改为 utf8mb4

因 MySQL 8 默认使用 utf8mb4 字符集，如果是从 MySQL 5-7 等低版本迁移的，那么仍然是 utf8（相当于 utf8mb3）。

这在保存字符串时有可能会报错：

An error occurred while saving the entity changes. See the inner exception for details.

Incorrect string value: '\xF0\xA1\x90\x93\xE6\x9D...' for column 'Html' at row 1

即使连接字符串上加上 CharSet=utf8 或 CharSet=utf8mb3 或 CharSet=utf8mb4 也没用。

那么只能把数据库的字符集改为 utf8mb4。


更改字符集和排序方式前必须先备份数据库！


  1. 更改现有数据库的字符集和排序规则

    ALTER DATABASE mydatabase 
CHARACTER SET utf8mb4 
COLLATE utf8mb4_unicode_ci;

  2. 更改现有表的字符集和排序规则

    ALTER TABLE mytable 
CONVERT TO CHARACTER SET utf8mb4 
COLLATE utf8mb4_unicode_ci;

  3. 更改现有列的字符集和排序规则

    当列单独设置了字符集时执行，未设置的不需要执行，会继承表的字符集

    ALTER TABLE mytable 
MODIFY mycolumn VARCHAR(255) 
CHARACTER SET utf8mb4 
COLLATE utf8mb4_unicode_ci


数据库中可能存在许多表，数据表中可能存在许多列，使用下面的命令可以生成批量执行的命令：

  1. 更改所有表的默认字符集和排序规则

    USE database_name; -- 替换为你的数据库名

SELECT CONCAT('ALTER TABLE `', TABLE_SCHEMA, '`.`', TABLE_NAME, '` CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;') 
FROM information_schema.TABLES 
WHERE TABLE_SCHEMA = 'database_name'; -- 再次替换为你的数据库名

  2. 更改所有列的字符集和排序规则

    USE database_name; -- 使用你的数据库名

SELECT CONCAT('ALTER TABLE `', TABLE_SCHEMA, '`.`', TABLE_NAME, '` MODIFY `', COLUMN_NAME, '` ', COLUMN_TYPE, ' CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;') 
FROM information_schema.COLUMNS 
WHERE TABLE_SCHEMA = 'database_name'; -- 使用你的数据库名


另外给出几条查询语句：

  1. 查看特定数据库的字符集和排序规则

    SELECT DEFAULT_CHARACTER_SET_NAME, DEFAULT_COLLATION_NAME
FROM information_schema.SCHEMATA
WHERE SCHEMA_NAME = 'your_database_name';

  2. 查看特定表的字符集和排序规则

    SELECT TABLE_SCHEMA, TABLE_NAME, TABLE_COLLATION
FROM information_schema.TABLES
WHERE TABLE_SCHEMA = 'your_database_name';

  3. 查看特定列的字符集和排序规则

    SELECT COLUMN_NAME, CHARACTER_SET_NAME, COLLATION_NAME 
FROM information_schema.COLUMNS 
WHERE TABLE_SCHEMA = 'your_database_name' AND TABLE_NAME = 'your_table_name';
xoyozo 22 天前
274
Character set 'utf8mb3' is not supported by .Net Framework.

.NET Framework 项目中使用 MySql.Data.EntityFramework 连接 MySQL 8.0 时遇到以下错误：

NotSupportedException: Character set 'utf8mb3' is not supported by .Net Framework.

解决方法：

Nuget 中将 MySql.Data 和 MySql.Data.EntityFramework 更新到最新版。

xoyozo 23 天前
170
从零搭建一台阿里云 ECS（Windows Server）并迁移网站

  1. 购买 ECS

  2. 解析域名、挂载磁盘（若有另购）、修改实例名称、配置安全组、设置快照策略、安装云监控插件并在应用分组添加服务器、云安全中心防勒索安装客户端并配置策略资产

  3. 远程连接进入 ECS（若解析未生效可以先用 IP）

  4. 开启 Windows 防火墙（使用推荐设置）

  5. Windows 更新

  6. 安装 IIS：服务器管理器-添加角色和功能-勾选“Web 服务器(IIS)”包括管理工具

    建议勾选：

    默认已勾选项

    按需安装 IP 和域限制

    常见 HTTP 功能（不建议安装 WebDAV 发布）

    跟踪（即“失败请求跟踪”）

    请求监视器、日志记录工具、

    按需安装 ASP

    按需安装 ASP.NET 4.8（会同时勾选 .NET Extensibility 4.8、ISAPI 扩展、ISAPI 筛选器）

    按需安装 WebSocket 协议

    应用程序初始化（建议安装）

    管理服务（用于 Web 部署）

  7. 细节：设置任务栏；设置桌面图标；个性化-颜色-勾选“标题栏和窗口边框”；设置输入法；

  8. 更改远程桌面端口

  9. 按需安装：

    下载 URL 重写（文件名：rewrite_amd64_zh-CN.msi）

    下载 MySQL Connector/NET（文件名：mysql-connector-net-8.0.19.msi）

    下载 ASP.NET Core 运行时 Hosting Bundle（文件名：dotnet-hosting-*.*.*-win.exe）

    下载 .NET 桌面运行时 Windows x64（文件名：windowsdesktop-runtime-*.*.*-win-x64.exe）

    下载 Web Deploy（文件名：WebDeploy_amd64_zh-CN.msi）

  10. 服务：设置“ASP.NET State Service”自动启动

  11. IIS 日志：路径（如 D:\wwwlogs），每小时（统一设置一个全局的就行了，不需要设置每个网站），按需勾选“使用本地时间进行文件命名和滚动更新”

  12. IIS 导入证书：个人、允许导出证书。参

  13. 设置默认网站的 https

  14. 设置权限：设置网站所在分区（如 D 盘），安全，添加 IIS_IUSRS，全部拒绝（防止跨站）

  15. 添加用户：为每个网站创建用户（既能防止跨站，又能跟踪进程），密码不能改、不过期，仅隶属于 IIS_IUSRS，并添加到每个网站的根目录

  16. 创建网站：设置访问物理路径的用户；设置应用程序池的“标识”用户；编辑绑定：勾选需要服务器名称指示；检查域名是否绑全；设置写入目录；

  17. 重复上面两步

  18. 检查所有网站用户是否仅隶属于 IIS_IUSRS（在“组”页面双击 Users 和 IIS_IUSRS 查看成员）

  19. 在应用程序池列表页面检查 CLR 版本、管托管道模式和标识；在网站列表页面检查绑定和路径

  20. 设置 Web 部署

  21. 设置“IP 地址和域限制”

  22. 废弃旧服时再次检查：IIS 中各功能设置、hosts、安装的应用程序、启动项、服务、防火墙等

  23. 更改默认端口

  24. 解析各网站域名

  25. 其它：资源管理器-查看-选项-查看-去掉“始终显示图标，从不显示缩略图”前的勾


>> 关于域名解析

因各地域名解析生效时间不可控，一般国内域名 1 天内，国际域名 2 天内。

  • 若网站数据库在 RDS、上传文件在 OSS，则解析 48 小时后直接停止原网站即可；（比较理想的）

  • 文件上传到 ECS 的可使用 FTP 等工具定时同步文件，或直接停止原网站。（网友会遇到新文章中图片无法显示等问题）

  • 还有一种方法是新网站提前解析一个备用域名，确保完全生效后再修改正式域名的解析，原网站无条件跳转到备用域名，如果数据库中有保存完整网址路径的，关闭原网站并解绑备用域名之后，进行批量替换。（缺点是可能会影响在搜索引擎的网站权重）

  • 部分有定时器的网站要注意，如果两个网站的定时器都正常开启会导致意外的，需要停止其中一个网站的定时器。

当然每种方法都有优缺点，选择可以接受且方便的一种即可。


更多文章：

从零搭建一台阿里云 ECS（Alibaba Cloud Linux / CentOS / Linux）并迁移网站

xoyozo 7 个月前
1,595
记一次 Discuz! 论坛升级（阿里云）

本文记录于 2021 年 9 月。



升级前期望（最新正式版）最终选择
操作系统CentOS 6.5Alibaba Cloud Linux 3Alibaba Cloud Linux 3
管理面板lnmp宝塔面板 Linux 版 7.7.0宝塔面板 Linux 版 7.7.0
Web 服务nginx 1.6nginx 1.21nginx 1.21
脚本语言PHP 5.6PHP 8.0PHP 7.4
数据库
RDS MySQL 5.6RDS MySQL 8.0RDS MySQL 5.6
论坛程序
Discuz! X3.2 GBKDiscuz! X3.5 UTF-8（即将发布）Discuz! X3.4 GBK


版本选择原因：

  • Alibaba Cloud Linux 完全兼容 CentOS，相比于 CentOS 较短的生命周期，Alibaba Cloud Linux 3 将于 2029 年 4 月 30 日结束生命周期。

  • Discuz! X3.4 不支持 PHP 8.0，安装时即报错，打开页面时一片空白。

  • MySQL 8.0 和阿里云 RDS 的 MySQL 7.5 不支持 MyISAM，而数据表 pre_common_member_grouppm 和 pre_forum_post 使用联合主键且自动递增字段不是第一主键，使用 InnoDB 引擎创建表时会报“1075 - Incorrect table definition; there can be only one auto column and it must be defined as a key”错误，而擅自更改主键次序会影响业务逻辑。因此，在必须选择阿里云 RDS 的情况下，只能选择 MySQL 5.6。（2023年8月注：查看如何更改为 InnoDB）

  • Discuz! X3.5 正式版尚未发布（截止发稿），即便发布，插件也可能不能得到及时更新。相比之下，X3.4 首个版本发布距今已有 4 年，相关第三方插件已经非常成熟。


完整升级步骤：

  1. 备份原网站程序、RDS 数据库；

  2. 购买新的 ECS、RDS，挂载磁盘，安装云监控；

  3. 迁移（或还原）数据库到新的 RDS；

  4. 安装宝塔面板并配置；

  5. 安装 nginx 及 PHP；

  6. 创建网站、配置 SSL、伪静态、防盗链、可写目录禁执行等（.conf）；

  7. 配置 hosts；

  8. 上传原网站程序到新的站点目录下；

  9. 按 Discuz! X 升级文档升级 X3.2 至 X3.4；详情见下文 ↓；

  10. 配置 OSS、Redis、更新缓存等；

  11. 测试论坛基本功能是否正常；检查附件是否正常显示；全面检查控制台配置；

  12. 逐个开启插件并检查兼容性；

  13. 按二开备忘录逐个按需进行二开；

  14. 逐个修改调用论坛接口的项目及直接调用论坛数据库的项目；

  15. 调试 MAGAPP 接口；

  16. 尝试强制 https 访问；

  17. 将以上所有修改后的程序保留备份；发布升级公告并关闭论坛；重复以上步骤；修改域名解析；开启论坛；

  18. 配置 IP 封禁、定时器、日志、自动备份、配置其它 ECS 的 hosts 等；

  19. 查看搜索引擎中收录的地址，是否有无法访问的情况；

  20. 尝试将历史遗留的本地附件全部转移到 OSS；


Discuz! X 升级步骤及注意点：

  • 升级前务必先修改 ./config/ 目录下的数据库/缓存连接信息，以防出现新站连接老库的情况；

  • 按官方文档进行升级；

  • 【问题】运行到 ./install/update.php?step=data&op=notification 时白屏。

    【排查】尝试切换到 PHP 5.6 后成功（但该版本过于陈旧不能使用）；尝试升级 CPU 和内存 PHP 7.4 上升级仍不成功。

    【原因】DB::result_first() 方法不对 SQL 语句追加“limit 1”，而是 SELECT 所有记录后在 PHP 端取第一条数据；

    【解决】打开文件 update.php，查找 elseif($_GET['op'] == 'notification')，该节点的功能是在表 home_notification 中查找 category <= 0 的数据并修复它，如果数据库中所有 category 都大于 0，直接注释其内部 if 代码段继续升级即可（或改为 if(false && ...)）。

  • 【问题】发布主题遇到错误：(1062) Duplicate entry '*' for key 'pid'

    【原因】forum_post 中的 pid 不是自动增长的，而是由表 forum_post_tableid 中自动增长的 pid 生成的。如果生成的 pid 值已在 forum_post 表中存在，则会出现此错误。

    【解决】迁移数据库时应关闭论坛，以防止 forum_post 表有新数据插入。

  • 【问题】打开帖子页面 ./thread-***-1-1.html 显示 404 Not Found，而 ./forum.php?mod=viewthread&tid=*** 可以正常打开

    【原因】未配置伪静态（可在宝塔面板中选择）

  • 【问题】打开 UCenter 时报错：UCenter info: MySQL Query Error SQL:SELECT value FROM [Table]vars WHERE name='noteexists'

    【解决】打开文件 ./uc_server/data/config.inc.php 配置数据库连接

  • 【问题】打开登录 UCenter 后一片空白

    【解决】将目录 ./uc_server/data/ 设为可写

  • 需要将原来安装的插件文件移回 ./source/plugin/ 目录，并设置可写；

  • 界面-表情管理，界面-编辑器设置-Discuz!代码


后续 Discuz! X3.4 R 小版本升级注意事项：

  1. 确认插件是否支持新版本（如短信通）

  2. 先创建一个新网站测试二开代码

  3. 保留 /config/、/data/、/uc_client/data/、/uc_server/data/、/source/plugin/，其它移入 old

  4. 上传文件

  5. 移回其它需要的文件，如：

  6. -- 勋章/loading/logo/nv 等：/static/image/common/

  7. -- 表情：/static/image/smiley/

  8. -- 水印：/static/image/common/watermark.*

  9. -- 风格：/template/default/style/t2/nv.png 等

  10. -- 默认头像：/uc_server/images/noavatar_***.gif

  11. -- 根目录 favicon.ico 等

  12. -- 及其它非 DZ 文件

  13. 再次检查可写目录的写入权限和禁止运行 PHP 效果。

xoyozo 3 年前
3,053
Could not find type mapping for column with data type 'datetime'. Skipping column.

该问题将在 MySQL Connector/NET 8.0.24 中修复，参考：https://bugs.mysql.com/bug.php?id=102381

xoyozo 3 年前
2,170
NuGet 上用于 Connector/NET 提供程序的新 MySQL Entity Framework Core 包

您好，MySQL Connector/NET  社区，

从 8.0.23  版本开始，我们的  Entity Framework Core 提供程序有了一个新名称。主要目标是保持对 Microsoft Entity Framework Core 不同版本的支持，并确保这些版本与我们的发行版保持紧密联系。同样，此新命名在包装目的方面更为具体。因此，名称的“数据”部分已删除。

之前：

    MySql.Data.EntityFrameworkCore v8.0.x

现在：

    MySql.EntityFrameworkCore v8.0.x

现在，Microsoft 维护的不仅是 Entity Framework Core 的单个版本，我们还需要找到一种方法来命名程序包并维护 Entity Framework Core 和 MySQL 版本之间的相关性。这就是我们想到使用软件包元数据的时候。软件包的版本现在由两部分组成，第一部分对应于当前支持的 Microsoft Entity Framework Core 版本，然后是一个“加号”，指示我们包含 MySQL 版本的元数据。

    MySql.EntityFrameworkCore v5.0.0+MySQL8.0.23
    MySql.EntityFrameworkCore v3.1.10+MySQL8.0.23

好吧，还有另外一种未来情况需要考虑。如果 Microsoft 没有为我们的较新的 Connector/NET 版本及时发布 Entity Framework Core 的新版本怎么办？假设当前受支持的 Entity Framework Core 版本是5.0.0，所以我们的软件包看起来像这样 MySql.EntityFrameworkCore 5.0.0+MySQL8.0.23，并且在我们发布下一个版本 8.0.24 时，Microsoft Entity Framework Core 的最新版本仍然是 5.0.0。在这种情况下，我们将在版本中添加第四个数字，将包命名为：MySql.EntityFrameworkCore 5.0.0.1+MySQL8.0.23。

我们希望您发现此新的命名模型有用且更精确。始终欢迎您提供反馈，您的所有意见都会激励我们不断改进，以便我们为您提供高品质的产品。

最后，以下是一些可能对您有用的链接：

我们希望能与您保持联系！


D
转自 Daniel Valdez 3 年前
2,076
MySql.Data.EntityFramework 如何降级到 8.0.19

喜欢“数据库优先”的朋友会发现，一旦 nuget 中将 MySql.Data 与 MySql.Data.EntityFramework 升级到版本超过 8.0.19，将无法正常打开 .edmx 文件进行从数据库更新模型。这个问题从 8.0.20 开始出现，在经过等待试验后续多个更新版本后，笔者认为 Oracle 官方不会再针对 8.0.20 及以后的版本支持可视化更新实体模型。

于是面临两个选择：退回到 8.0.19 版本，或使用其它数据库连接组件（如 Pomelo）。

使用其它组件将会更改映射的属性名称，对 Include 延时加载等机制也会发生改变，对于代码量比较大的项目修改成本还是比较大的。那么用回 8.0.19 呢？

在服务器上卸载 8.0.20+ 版本的 mysql-connector-net，安装 8.0.19 版本，重启 IIS 或重启服务器。

项目中，MySql.Data 与 MySql.Data.EntityFramework 也降至 8.0.19，发布后发现，仍然提示：

未能加载文件或程序集“MySql.Data.EntityFramework, Version=8.0.19.0, Culture=neutral, PublicKeyToken=c5687fc88969c44d”或它的某一个依赖项。找到的程序集清单定义与程序集引用不匹配。 (异常来自 HRESULT:0x80131040)

几个月来，我一直认为是服务器上的高版本 mysql-connector-net 没有卸载干净，今天才发现原因是新发布的项目 bin 目录中的 MySql.Data.EntityFramework.dll 版本号仍然高于 8.0.19。手动替换成 8.0.19 后可正常访问。

既然 NuGet 已经将 MySql.Data.EntityFramework 的版本降至 8.0.19，而且 web.config 中所有的版本号也都一致，解决方案的 packages 目录下的也只有 MySql.Data.EntityFramework.8.0.19 这一个版本，甚至连项目源代码中的 bin 目录下的该文件版本也是 8.0.19，可发布后的 MySql.Data.EntityFramework.dll 版本却仍高于 8.0.19？

于是在解决方案中找到以下路径：

\obj\Release\Package\PackageTmp\bin\MySql.Data.EntityFramework.dll

重新发布时，这个文件并没有按照 NuGet 中的版本来覆盖，因此只需要在发布前删除整个 \obj\ 目录再次发布即可解决问题。

xoyozo 3 年前
2,392
无法将类型为 MySql.Data.MySqlClient.MySqlProviderServices 的对象强制转换为类型 System.Data.Common.DbProviderServices

image.png

---------------------------

Microsoft Visual Studio

---------------------------

无法加载“*.edmx”: 无法将类型为“MySql.Data.MySqlClient.MySqlProviderServices”的对象强制转换为类型“System.Data.Common.DbProviderServices”。

---------------------------

解决方法：

检查 Web.config <providers> 标签是否为重复的 MySql.Data.MySqlClient。

本例中发现一个为 Version=8.0.19，一个为 Version=8.0.19.0，实践保留 Version=8.0.19.0 的 <provider> 即可。


xoyozo 4 年前
5,700
如何升级 ASP.NET 项目 MySql.Data 和 Connector/NET 至 8.0.x

本教程教你如何升级 ASP.NET 项目中的 MySql.Data 和服务器安装的 Connector/NET 版本至 8.0.18。


使用 MySQL Application Configuration 升级 MySql.Data

双击打开 .edmx 文件后，解决方案资源管理器上会有 MySQL Application Configuration 的图标。（如果没有，点开“从数据库更新模型”一下即可）

image.png

勾选“Use MySQL with Entity Framework”，安装完成。

image.png

完成后发现，Nuget 中会自动安装或升级下面两个组件：

MySql.Data  8.0.18

MySql.Data.EntityFramework  8.0.18

并且在 Web.config 中会自动添加以下节点：

<system.data>
  <DbProviderFactories>
    <remove invariant="MySql.Data.MySqlClient" />
    <add name="MySQL Data Provider" invariant="MySql.Data.MySqlClient" description=".Net Framework Data Provider for MySQL" type="MySql.Data.MySqlClient.MySqlClientFactory, MySql.Data, Version=8.0.18, Culture=neutral, PublicKeyToken=c5687fc88969c44d" />
  </DbProviderFactories>
</system.data>

这段代码使 MySql.Data 8.0.18 的项目能够兼容运行在 Connector/NET 6.10.x 环境中。方便我们挨个升级服务器上的项目。


8.0.18 已经不再需要 MySql.Data.Entity 组件了，可以从 Nuget 中手动卸载。

xoyozo 4 年前
4,502
使用 VS 开发连接 MySQL 的 Web 项目的环境配置

前言：

本文适合 6.x 环境，8.x 请结合参考：如何升级 ASP.NET 项目 MySql.Data 和 Connector/NET 至 8.0.x

使用 ASP.NET Core 的同学请移步：ASP.NET Core 使用 DBFirst 模式连接 MySQL 数据库


安装


开发环境


软件安装：


版本选择：

  • MySQL for Visual Studio 最新版

  • Connector/NET 版本必须与 MySql.Data 和 MySql.Data.Entity 版本相同，否则会出现 MySql.Data.MySqlClient.MySqlConnection 无法强制转换的错误


生产环境


软件安装：

  • MySQL Server - 数据库

  • Connector/NET - ADO.NET 托管提供程序


版本选择：

  • MySQL Server 最新版

  • Connector/NET 应与项目中使用的 MySql.Data 和 MySql.Data.Entity 版本一致。（某些项目在确保 Web.config 的 MySql.Data 版本号与 MySql.Data 和 MySql.Data.Entity 版本一致的前提下，允许服务端的 Connector/NET 小版本略低于 MySql.Data 和 MySql.Data.Entity 版本，某些项目允许安装比 MySql.Data 和 MySql.Data.Entity 版本略高的 Connector/NET 版本，为确保不出问题，严格要求版本全部一致）


升级

  • MySQL for Visual Studio：直接更新至最新版

  • MySQL Server：直接更新至最新版

  • MySql.Data 和 MySql.Data.Entity：升级至两者共有的新版本，更改 Web.config 中 MySql.Data 的版本号，并更新开发环境和生产环境的 Connector/NET 至相同版本（详细步骤见下方说明）

  • Connector/NET：视是否有相同版本的 MySql.Data 和 MySql.Data.Entity，若有，同时升级。（详细步骤见下方说明）


关于 Connector/NET 和 MySql.Data 及 MySql.Data.Entity 版本一致的说明：

某些项目在确保 Web.config 的 MySql.Data 版本号与 MySql.Data 和 MySql.Data.Entity 版本一致的前提下，允许服务端的 Connector/NET 小版本略低于 MySql.Data 和 MySql.Data.Entity 版本；

某些项目允许安装比 MySql.Data 和 MySql.Data.Entity 版本略高的 Connector/NET 版本；

为确保不出问题，严格要求版本全部一致。

但服务器上同时运行多个项目，一旦出现问题涉及面就很广，为了尽量减少影响，列出下面的升级步骤：

  1. 升级开发环境的 Connector/NET

  2. 升级各项目的 MySql.Data 和 MySql.Data.Entity

  3. 更改 Web.config 中关于 MySql.Data 的版本号（若未自动更新，项目中搜索原版本号即可）

  4. 测试运行各项目

  5. 同时发布各项目，同时升级服务器上的 Connector/NET（升级 Connector/NET 仅需几十秒）

  6. 部分项目需要删除并重新上传 bin 目录才能生效

  7. 尽管如此，发布成功以后还是会有各种各样的问题导致无法正常打开，须要有针对性地去解决，所以升级还是要趁夜深人静的时候进行

xoyozo 6 年前
4,323
1 2

大家在看

Photoshop 去除图片背景色改为透明色（不留锯齿）
3Q20 是什么时间，2H20 是什么意思
无法向会话状态服务器发出会话状态请求
微信视频号发布视频时长限制、视频号助手/视频号小店电脑PC端
使用JQuery提示更新JScript IntelliSense 时发生错误的解决办法

最新发布

如何修改 Discuz! 网站标题
汽车驾驶自动化分级及各车企驾驶安全与辅助、智能领航和泊车辅助系统简介
升级 MySQL 8.0 后将字符集从 utf8 改为 utf8mb4
Character set 'utf8mb3' is not supported by .Net Framework.
如何配置在 Linux / CentOS 中安装 PHP 扩展 sqlsrv 以连接 SQL Server