Peacalm Notes

Lua C API中的迷惑行为 | Lua C API Confusions

There are some very confusing behaviors in Lua C API. Here are some explanations for these. (Tested on Lua 5.4) <h3 id="1-type-of-number-integer-string">1. Type of number, integer, string</h3> Operations like <code>lua_isnumber</code>, <code>lua_pushinteger</code>, <code>lua_isstring</code> don’t mean checking the value’s type: <ul> <li>Values with type <code>number</code> can also get true of <code>lua_isstring</code>. (Number is also string)</li> <li>There are no integer types in Lua. Values generated by <code>lua_pushinteger</code> have type <code>number</code>.</li> <li>Only values generated by <code>lua_pushinteger</code> can get true of <code>lua_isinteger</code>. (But get false after <code>lua_tostring</code>)</li> <li><code>lua_isnumber</code> gets true if the value is a real <code>number</code> or a <code>string</code> but convertible to number.</li> </ul> <code>lua_tostring</code> will implicitly convert number to string: <ul> <li>After calling <code>lua_tostring</code> on a value of type <code>number</code>, the value’s type will change to <code>string</code> implicitly, but it is still <code>lua_isnumber</code>.</li> <li>After calling <code>lua_tostring</code> on a value generated by <code>lua_pushinteger</code>, it cannot get true of <code>lua_isinteger</code> anymore. (String is always not integer)</li> </ul> <h4 id="test-cases">Test cases</h4> <table> <thead> <tr> <th>Lua value generated by</th> <th>lua_type</th> <th>lua_typename</th> <th>lua_isinteger</th> <th>lua_isnumber</th> <th>lua_isstring</th> </tr> </thead> <tbody> <tr> <td><code>lua_pushinteger</code></td> <td>LUA_TNUMBER : 3</td> <td>number</td> <td>true</td> <td>true</td> <td>true</td> </tr> <tr> <td><code>lua_pushinteger</code> then <code>lua_tostring</code></td> <td>LUA_TSTRING : 4</td> <td>string</td> <td>false</td> <td>true</td> <td>true</td> </tr> <tr> <td><code>lua_pushnumber</code>[1]</td> <td>LUA_TNUMBER : 3</td> <td>number</td> <td>false</td> <td>true</td> <td>true</td> </tr> <tr> <td><code>lua_pushnumber</code>[1] then <code>lua_tostring</code></td> <td>LUA_TSTRING : 4</td> <td>string</td> <td>false</td> <td>true</td> <td>true</td> </tr> <tr> <td><code>lua_pushstring</code> on string of number[2]</td> <td>LUA_TSTRING : 4</td> <td>string</td> <td>false</td> <td>true</td> <td>true</td> </tr> <tr> <td><code>lua_pushstring</code> on string of not number[3]</td> <td>LUA_TSTRING : 4</td> <td>string</td> <td>false</td> <td>false</td> <td>true</td> </tr> </tbody> </table> [1] Applies to all float or integer numbers. e.g. <code>lua_pushnumber(L, 0)</code>, <code>lua_pushnumber(L, 123)</code>, <code>lua_pushnumber(L, 0.1)</code>, etc. [2] e.g. “123”, “1.23”, “12.”, “.12”, “-1.23”, “+1.23”, “1.2e3”, “-1.2E-3”, etc. [3] e.g. “1.2.3”, “1+2”, “hello”, “inf”, etc. <h4 id="conclusion">Conclusion</h4> <ol> <li>Integer is not a type. Integer is a special case of number.</li> <li>Number is also string.</li> <li>String is also number if it is convertible to number.</li> <li>String is always not integer.</li> <li><code>lua_tostring</code> will implicitly convert number to string.</li> </ol> <h4 id="more-to-say">More to say</h4> Not like <code>lua_tostring</code>, <code>luaL_tolstring</code> won’t convert number to string. But it can convert any value to string, while <code>lua_tostring</code> will return NULL if the value is not a string or number. <h3 id="2-type-of-userdata-light-userdata">2. Type of userdata, light userdata</h3> Userdata and light userdata have different type ID, but they have a same type name. <code>lua_islightuserdata</code> is a subset of <code>lua_isuserdata</code>: <ul> <li><code>lua_isuserdata</code> returns true for both userdata and light userdata. (Light userdata is userdata)</li> <li><code>lua_islightuserdata</code> only returns true for light userdata.</li> </ul> <h4 id="test-cases-1">Test cases</h4> <table> <thead> <tr> <th>Lua value generated by</th> <th>lua_type</th> <th>lua_typename</th> <th>lua_islightuserdata</th> <th>lua_isuserdata</th> </tr> </thead> <tbody> <tr> <td><code>lua_pushlightuserdata</code></td> <td>LUA_TLIGHTUSERDATA : 2</td> <td>userdata</td> <td>true</td> <td>true</td> </tr> <tr> <td><code>lua_newuserdata</code></td> <td>LUA_TUSERDATA : 7</td> <td>userdata</td> <td>false</td> <td>true</td> </tr> </tbody> </table> <h4 id="conclusion-1">Conclusion</h4> <ol> <li>Type ID of light userdata is “LUA_TLIGHTUSERDATA” (value 2), type ID of userdata is “LUA_TUSERDATA” (value 7), but they have a same type name “userdata”.</li> <li>Light userdata is a subset of userdata, although they have different type ID.</li> <li>Light userdata is userdata.</li> </ol> <h3 id="3-metatable-of-light-userdata">3. Metatable of light userdata</h3> Light userdata (unlike heavy userdata) have no per-value metatables. All light userdata share the same metatable, which by default is not set (nil).

2024/10/22

"nullptr"是指针类型的吗？如何用C++的方式把"T"转换成"void" | Is "nullptr" a Pointer Type? How to Convert "T" to "void" by C++ Way

<h2 id="nullptr是指针类型吗">nullptr是指针类型吗？</h2> <code>nullptr</code>是C++里预定义的一个变量，它的类型是<code>std::nullptr_t</code>。判断一个类型是否是指针类型，可以用<code>std::is_pointer</code>来判断。测试<code>std::nullptr_t</code>是否是指针类型的代码如下： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">#include <myostream.h> myostream::ostream mycout(std::cout.rdbuf()); #define watch(...) MYOSTREAM_WATCH(mycout, " = ", "\n", "\n\n", __VA_ARGS__) int main() { // 确认nullptr就是std::nullptr_t类型 static_assert(std::is_same_v<decltype(nullptr), std::nullptr_t>, "Never happen"); watch(std::is_pointer_v<std::nullptr_t>, std::is_member_pointer_v<std::nullptr_t>, std::is_pointer_v<std::nullptr_t *> ); return 0; } </code></pre></td></tr></table> </div> </div>输出： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-txt" data-lang="txt">std::is_pointer_v<std::nullptr_t> = 0 std::is_member_pointer_v<std::nullptr_t> = 0 std::is_pointer_v<std::nullptr_t *> = 1 </code></pre></td></tr></table> </div> </div>可见<code>std::nullptr_t</code>并不是一个指针类型。只不过我们平时常用<code>nullptr</code>来赋值给任意指针类型，会给人一种<code>std::nullptr_t</code>是指针类型的错觉。 从上例中还可以看出<code>std::nullptr_t *</code>等类型是指针类型，它们是指向<code>std::nullptr_t</code>的指针类型。 <h3 id="原理">原理</h3> <code>std::nullptr_t</code>不是指针类型，但是却可以转换成任意指针类型，并且以0为值。它的一种实现方式如下： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">#ifdef _LIBCPP_HAS_NO_NULLPTR _LIBCPP_BEGIN_NAMESPACE_STD struct _LIBCPP_TEMPLATE_VIS nullptr_t { void* __lx; struct __nat {int __for_bool_;}; _LIBCPP_INLINE_VISIBILITY _LIBCPP_CONSTEXPR nullptr_t() : __lx(0) {} _LIBCPP_INLINE_VISIBILITY _LIBCPP_CONSTEXPR nullptr_t(int __nat::*) : __lx(0) {} _LIBCPP_INLINE_VISIBILITY _LIBCPP_CONSTEXPR operator int __nat::*() const {return 0;} template <class _Tp> _LIBCPP_INLINE_VISIBILITY _LIBCPP_CONSTEXPR operator _Tp* () const {return 0;} template <class _Tp, class _Up> _LIBCPP_INLINE_VISIBILITY operator _Tp _Up::* () const {return 0;} friend _LIBCPP_INLINE_VISIBILITY _LIBCPP_CONSTEXPR bool operator==(nullptr_t, nullptr_t) {return true;} friend _LIBCPP_INLINE_VISIBILITY _LIBCPP_CONSTEXPR bool operator!=(nullptr_t, nullptr_t) {return false;} }; inline _LIBCPP_INLINE_VISIBILITY _LIBCPP_CONSTEXPR nullptr_t __get_nullptr_t() {return nullptr_t(0);} #define nullptr _VSTD::__get_nullptr_t() _LIBCPP_END_NAMESPACE_STD #else // _LIBCPP_HAS_NO_NULLPTR namespace std { typedef decltype(nullptr) nullptr_t; } #endif // _LIBCPP_HAS_NO_NULLPTR </code></pre></td></tr></table> </div> </div>可见<code>std::nullptr_t</code>不是指针类型，可能是类似类的类型。所以当然可以构造出指向<code>std::nullptr_t</code>的指针类型了，例如<code>std::nullptr_t *</code>，<code>const std::nullptr_t *</code>等。那么<code>std::nullptr_t</code>是类类型吗？ <h3 id="nullptr是类类型吗">nullptr是类类型吗？</h3> 通过以上源码可以看出<code>std::nullptr_t</code>通过宏开关设置了两种实现方式，第一种就是一个普通的struct，是类类型，而第二种似乎是编译器内置的，不是类类型。所以<code>std::nullptr_t</code>的类型是依赖实现的，可能是类类型，也可能不是。 判断一个类型是否是类类型，可用std::is_class。测试代码如下： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 4 5 6 7 8 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">watch(std::is_class_v<std::nullptr_t>, std::is_union_v<std::nullptr_t>, std::is_null_pointer_v<std::nullptr_t>, std::is_scalar_v<std::nullptr_t>, std::is_object_v<std::nullptr_t>); watch(std::is_null_pointer_v<std::nullptr_t>, std::is_null_pointer_v<void*>); </code></pre></td></tr></table> </div> </div>Clang和GCC在 -std=c++17 下默认输出是一样的： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 4 5 6 7 8 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-txt" data-lang="txt">std::is_class_v<std::nullptr_t> = 0 std::is_union_v<std::nullptr_t> = 0 std::is_null_pointer_v<std::nullptr_t> = 1 std::is_scalar_v<std::nullptr_t> = 1 std::is_object_v<std::nullptr_t> = 1 std::is_null_pointer_v<std::nullptr_t> = 1 std::is_null_pointer_v<void*> = 0 </code></pre></td></tr></table> </div> </div>可见默认情况下<code>std::nullptr_t</code>也不是类类型，它就是独特的一个类型，可用<code>std::is_null_pointer</code>来判断。 （当然，如果在Clang下编译时手动添加宏定义_LIBCPP_HAS_NO_NULLPTR，那么<code>std::is_class_v<std::nullptr_t></code>就等于true了，它就是普通的类类型了。） <h3 id="nullptr能被取地址吗">nullptr能被取地址吗？</h3> nullptr是右值临时变量，无法取地址，但是我们可以使用<code>std::nullptr_t</code>重新定义一个新的"nullptr"左值，然后就可以对其取地址了。代码如下： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 4 5 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">// watch(nullptr, &nullptr); // error: cannot take the address of an rvalue of type 'nullptr_t' std::nullptr_t null1, null2; watch(null1, &null1); watch(null2, &null2); </code></pre></td></tr></table> </div> </div>输出： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 4 5 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-txt" data-lang="txt">null1 = nullptr &null1 = 0x16b1d3578 null2 = nullptr &null2 = 0x16b1d3570 </code></pre></td></tr></table> </div> </div><h2 id="如何用c的方式把t转换成void">如何用C++的方式把"T*"转换成"void*"</h2> 假如<code>T</code>是某种未知的模版类型，如何把<code>T*</code>的变量转换成<code>void*</code>类型呢？用C语言的强制类型转换很容易实现： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 4 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">template <typename T> void* c_cast(T* p) { // 使用C风格的强制类型转换 return (void*)(p); } </code></pre></td></tr></table> </div> </div>那么如何用C++的类型转换方式实现呢？ 事实上只用reinterpret_cast或static_cast是不行的，因为它们不能将 cv-qualified pointer 转换成 cv-unqualified pointer。所以必须首先使用const_cast将cv属性去掉，然后再使用reinterpret_cast或static_cast。如下： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 4 5 6 7 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">template <typename T> void* cpp_cast(T* p) { // 使用C++风格的强制类型转换 // return reinterpret_cast<void*>(p); // error return reinterpret_cast<void*>(const_cast<std::remove_cv_t<T>*>(p)); // OK // 或者用static_cast亦可 // return static_cast<void*>(const_cast<std::remove_cv_t<T>*>(p)); // OK } </code></pre></td></tr></table> </div> </div><h2 id="cv-qualified-stdnullptr_t及其指针">cv-qualified std::nullptr_t及其指针</h2> 经过以上讨论，知道std::nullptr_t不是指针类型，那么如下两个问题就可迎刃而解。 <h3 id="cv-qualified-stdnullptr_t-类型的变量能直接赋值给-stdnullptr_t-类型的变量吗">cv-qualified std::nullptr_t 类型的变量能直接赋值给 std::nullptr_t 类型的变量吗？</h3> 可以。 <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">const volatile std::nullptr_t p{0}; std::nullptr_t np = p; // OK </code></pre></td></tr></table> </div> </div><h3 id="cv-qualified-stdnullptr_t--类型的变量能直接赋值给-stdnullptr_t--类型的变量吗">cv-qualified std::nullptr_t * 类型的变量能直接赋值给 std::nullptr_t * 类型的变量吗？</h3> 不可以。需要用const_cast转换后方可赋值。 <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">const volatile std::nullptr_t * p{0}; // std::nullptr_t* np = p; // Error std::nullptr_t* np = const_cast<std::nullptr_t*>(p); // OK </code></pre></td></tr></table> </div> </div>

2023/6/15

成为Contributor | To Be a Contributor

说来惭愧，身为一名程序员，从业五年多，竟然最近一年才开始在开源世界为他人的项目贡献代码。最近我在阅读一个写得很棒的开源小代码库的时候发现他有一个typo错误（这个错误竟然已经存在了9年了都没有被发现😂，而且是一旦运行到这里就会引发Exception的），于是动手给他改正，并提了一个 <a href="https://github.com/ahupowerdns/luawrapper/pull/50">PR</a> 给维护者（虽然不是原作者），一天后就得到回复并最终被merge了。我很开心，至此我第二次成为他人项目的contributor，虽然只是一个小小的typo fix，但其实要读懂一个高级的代码并理解他的思想并不容易，特别是当你读一个比自己水平高很多的人写的代码的时候。 顺便提一下我第一次成为他人项目contributor是为其贡献一个小小的feature， see <a href="https://github.com/cparse/cparse/pull/94">PR</a>。 这两次经历其实是一脉相承的，起因是我想要寻找一个能在C++项目中使用的动态表达式解析器。第一次我找到了一个相关的小项目并简单阅读了一下代码发现它并不能完全满足我的需求，但看起来要满足我的一个需求其实改动并不复杂，于是我动手改了一下并提PR建议给维护者，经过简单讨论以后这个PR竟然被接受了。那时我也很开心。 之后我又考虑其他方案，但最终我觉得有时间还是应该去了解一下那个成熟的嵌入式脚本语言Lua。于是今年初我开始学习Lua（前年买的书终于开始读了……买书如山倒，看书如抽丝啊），和世界上大多数知名的成熟的通用的项目一样，他们为了通用性，并不会为某一种简单的具体的小应用场景贡献特别简单易用的API，顶多给出一个Example 让你看看学学怎么用。因此有些项目应用起来还有点小门槛呢! Lua也是这样，虽然它很简单，上手很容易，但是就是写起来稍微有点麻烦，于是我就想，学都学了，就顺便写一个小小的Wrapper库让它用起来更简单方便吧。于是不久我就写好了，正好也借此机会加深了对Lua的理解，也加强了熟练程度。 作为一名程序员，我信奉一句话： <blockquote> 想要成为一名优秀的程序员，你要多写代码，想要成为一名卓越的程序员，你要多读代码，特别是要多读卓越的代码。 </blockquote> 于是我又在Github上搜索类似的项目，然后就看到了这个几乎是十年前的项目，它是我目前搜到的同类中最好的。它提供了一些令我感觉Amazing的功能，然后我就开始了阅读这个项目代码的坎坷旅途，区区两千余行代码，竟然让我看了好几天😂，它击中了好多我的知识盲点，我是一边恶补知识盲点一边读这个代码的! 然后有一刻我发现有一个地方看着很奇怪，在深入看了这个点的上下文代码和相关功能的实现后，我最终确认这是一个 copy then paste then forget to modify 的 typo，于是便有了本文开头所说的事。 成为Contributor，虽然这是不值一文的小事，但却是我的一个小小的里程碑，仿佛一个人的出生一样的小小的里程碑。我想它是代表我不是只能写自己的代码，而是可以加入开源大世界的小小里程碑吧，故此留念。 写出卓越的代码，贡献给开源世界，得到全世界程序员的使用和认可，从而帮助程序员们，甚至不仅仅是程序员而是世上所有人们，帮助他们构建更美好的世界，是多少程序员们的终身追求啊！ 作为程序员，我们应该信奉另一句话： <blockquote> Build the World! </blockquote>

2023/5/17

查验C++类型推导结果 | Check C++ Type Deduction Result

<h2 id="如何查看类型">如何查看类型</h2> C++的类型系统是极其复杂的，基本类型与const, volatile, 指针，引用，数组，函数，类，成员变量，成员函数等特性的组合能生成许多不同的类型。类型推导是C++泛型编程/模版元编程的基础。那么如何查看某个类型或变量具体是什么类型呢？我使用的方法有 <ul> <li>C++内置的typeid</li> <li>boost::typeindex::type_id</li> <li>猜测类型并用std::is_same校验</li> <li>故意使编译报错在编译器给出的错误信息中查看目标的类型</li> </ul> 例如用typeid： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">const int a[3] = {}; std::cout << typeid(decltype(a)).name() << std::endl; // prints: A3_i </code></pre></td></tr></table> </div> </div>可见使用typeid获取的类型名不具有好的可读性。于是可以用boost::typeindex::type_id替代： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 4 5 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">// need include this header // #include <boost/type_index.hpp> const int a[3] = {}; std::cout << boost::typeindex::type_id<decltype(a)>().pretty_name() << std::endl; // prints: int [3] </code></pre></td></tr></table> </div> </div>可见虽然结果具有很好的可读性，但是却去掉了const属性，与真实输入类型不符合。 事实上，C++内置的typeid和Boost的type_id得出的结果都是对输入类型去掉了 const, volatile和引用属性的。 那有没有获取完整类型的方法呢？ C++中可以用std::is_same来判断两个类型是否相同，它没有对输入类型做任何改变。因此可以猜测一个结果然后用它来判断猜得是否正确： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 4 5 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">if (std::is_same_v<decltype(a), int [3]>) { // a has type: int [3] } else if (std::is_same_v<decltype(a), const int [3]>) { // a has type: const int [3] } </code></pre></td></tr></table> </div> </div>但是这样太麻烦了，如果不想猜呢？由于编译器编译阶段是知道变量或表达式的类型的，所以我们可以故意写某种会编译报错的代码，让我们想要查看的类型名展示在报错信息中： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 4 5 6 7 8 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">template <typename> struct EMPTY{}; // CE: compilation error; NX: not exists #define CETYPE(type) EMPTY<type>::NX() int main() { const int a[3] = {}; CETYPE(decltype(a)); } </code></pre></td></tr></table> </div> </div>编译报错信息是： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-txt" data-lang="txt">error: no member named 'NX' in 'EMPTY<const int[3]>' </code></pre></td></tr></table> </div> </div>于是可以看出a的类型是"const int[3]"。（也有编译器输出"int const[3]"，这是等效的写法，它们是相同的类型） <h2 id="类型推导示例">类型推导示例</h2> <h3 id="c-function">C function</h3> 预先定义好的用于类型推导的函数： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">void func(int) {} </code></pre></td></tr></table> </div> </div><div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">{ CETYPE(decltype(func)); // void (int) CETYPE(decltype(&func)); // void (*)(int) // implicitly convert to pointer if assigned by function name auto fcopy = func; CETYPE(decltype(fcopy)); // void (*)(int) const auto cfcopy = func; CETYPE(decltype(cfcopy)); // void (*const)(int) // same as above auto fptr = &func; CETYPE(decltype(fptr)); // void (*)(int) const auto cfptr = &func; CETYPE(decltype(cfptr)); // void (*const)(int) // static_cast on rvalue reference to function returns lvalue CETYPE(decltype(static_cast<void(&&)(int)>(func))); // void (&)(int) CETYPE(decltype(static_cast<void(&)(int)>(func))); // void (&)(int) // so, std::move on function returns lvalue reference CETYPE(decltype(std::move(func))); // void (&)(int) CETYPE(decltype(&std::move(func))); // void (*)(int) CETYPE(decltype(std::move(&func))); // void (*&&)(int) // explicitly define a rvalue reference to function decltype(func) && prfunc = func; CETYPE(decltype(prfunc)); // void (&&)(int) // again, std::move on rvalue reference to function also returns lvalue reference CETYPE(decltype(std::move(prfunc))); // void (&)(int) } // references { auto & lref = func; CETYPE(decltype(lref)); // void (&)(int) CETYPE(decltype(&lref)); // void (*)(int) const auto & clref = func; // 由于规定非成员函数不能有const属性，所以const被忽略掉 CETYPE(decltype(clref)); // void (&)(int) CETYPE(decltype(&clref)); // void (*)(int) auto && rref = func; CETYPE(decltype(rref)); // void (&)(int) CETYPE(decltype(&rref)); // void (*)(int) // ref of move const auto & clref_of_move = std::move(func); CETYPE(decltype(clref_of_move)); // void (&)(int) auto && rref_of_move = std::move(func); CETYPE(decltype(rref_of_move)); // void (&)(int) } // references of pointer { // &func is a rvalue pointer const auto & clref = &func; CETYPE(decltype(clref)); // void (*const &)(int) auto && rref = &func; CETYPE(decltype(rref)); // void (*&&)(int) // pfunc is a lvalue pointer auto pfunc = &func; // void (*)(int) const auto & clref = pfunc; CETYPE(decltype(clref)); // void (*const &)(int) auto && rref = pfunc; CETYPE(decltype(rref)); // void (*&)(int) // ref of move const auto & clref_of_move = std::move(pfunc); CETYPE(decltype(clref_of_move)); // void (*const &)(int) auto && rref_of_move = std::move(pfunc); CETYPE(decltype(rref_of_move)); // void (*&&)(int) } </code></pre></td></tr></table> </div> </div>定义如下两个模版函数，其参数声明分别是C++11以前的万能引用和C++11引入的新的万能引用。 <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 4 5 6 7 8 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">template<typename T> void larg(const T & t) { CETYPE(T); CETYPE(decltype(t)); } template<typename T> void rarg(T && t) { CETYPE(T); CETYPE(decltype(t)); } </code></pre></td></tr></table> </div> </div>将函数func用作以上两个模版函数的参数，类型推导结果如下： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">{ larg(func); // template<typename T> void larg(const T & t) { // CETYPE(T); // void (int) // CETYPE(decltype(t)); // void (&)(int) // } rarg(func); // template<typename T> void rarg(T && t) { // CETYPE(T); // void (&)(int) // CETYPE(decltype(t)); // void (&)(int) // } } { larg(std::move(func)); // template<typename T> void larg(const T & t) { // CETYPE(T); // void (int) // CETYPE(decltype(t)); // void (&)(int) // } rarg(std::move(func)); // template<typename T> void rarg(T && t) { // CETYPE(T); // void (&)(int) // CETYPE(decltype(t)); // void (&)(int) // } } { larg(&func); // template<typename T> void larg(const T & t) { // CETYPE(T); // void (*)(int) // CETYPE(decltype(t)); // void (*const &)(int) // } rarg(&func); // template<typename T> void rarg(T && t) { // CETYPE(T); // void (*)(int) // CETYPE(decltype(t)); // void (*&&)(int) // } } { auto pfunc = &func; // void (*)(int) larg(pfunc); // template<typename T> void larg(const T & t) { // CETYPE(T); // void (*)(int) // CETYPE(decltype(t)); // void (*const &)(int) // } rarg(pfunc); // template<typename T> void rarg(T && t) { // CETYPE(T); // void (*&)(int) // CETYPE(decltype(t)); // void (*&)(int) // } } { auto pfunc = &func; // void (*)(int) larg(std::move(pfunc)); // template<typename T> void larg(const T & t) { // CETYPE(T); // void (*)(int) // CETYPE(decltype(t)); // void (*const &)(int) // } rarg(std::move(pfunc)); // template<typename T> void rarg(T && t) { // CETYPE(T); // void (*)(int) // CETYPE(decltype(t)); // void (*&&)(int) // } } </code></pre></td></tr></table> </div> </div><h4 id="小结">小结</h4> 可见，函数模版参数<code>const T & t</code>与定义引用<code>const auto & r = ...</code>推导结果一致，函数模版参数<code>T && t</code>与定义引用<code>auto && r = ...</code>推导结果一致。 特别的，std::move 或 std::forward 作用于函数类型时返回的总是 lvalue <code>FunctionType&</code> 而不是<code>FunctionType&&</code>。这是因为 <code>static_cast<FunctionType&&>(func)</code> 返回的是 <code>FunctionType&</code> 而不是 <code>FunctionType&&</code>。 另外，由于C++规定不是成员函数的函数不能有const、valitale属性，所以 <code>const auto & clref = func;</code>得到clref的类型是<code>void (&)(int)</code>，const属性被忽略了。如果换成其他类型，则const属性会被保留，例如int，如下： <h3 id="int">Int</h3> <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 4 5 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">int i = 0; // const被保留 const auto & clref = i; CETYPE(decltype(clref)); // const int & CETYPE(decltype(&clref)); // const int * </code></pre></td></tr></table> </div> </div><div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">int i = 0; const int ci = 0; CETYPE(decltype(i)); // int CETYPE(decltype(ci)); // const int // 非单个标记符的左值，推导为T&。例如加一个小括号，或前置自增 CETYPE(decltype((i))); // int & CETYPE(decltype((ci))); // const int & CETYPE(decltype(++i)); // int & // 后置自增是一个右值，于是推导为T CETYPE(decltype(i++)); // int // 右值 CETYPE(decltype(i + ci)); // int // 右值引用 CETYPE(decltype(std::move(i))); // int && </code></pre></td></tr></table> </div> </div><div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">larg(i); // template<typename T> void larg(const T & t) { // CETYPE(T); // int // CETYPE(decltype(t)); // const int & // } rarg(i); // template<typename T> void rarg(T && t) { // CETYPE(T); // int & // CETYPE(decltype(t)); // int & // } larg(ci); // template<typename T> void larg(const T & t) { // CETYPE(T); // int // CETYPE(decltype(t)); // const int & // } rarg(ci); // template<typename T> void rarg(T && t) { // CETYPE(T); // const int & // CETYPE(decltype(t)); // const int & // } larg(std::move(i)); // template<typename T> void larg(const T & t) { // CETYPE(T); // int // CETYPE(decltype(t)); // const int & // } rarg(std::move(ci)); // template<typename T> void rarg(T && t) { // CETYPE(T); // const int // CETYPE(decltype(t)); // const int && // } rarg(3); // template<typename T> void rarg(T && t) { // CETYPE(T); // int // CETYPE(decltype(t)); // int && // } </code></pre></td></tr></table> </div> </div><h3 id="c-array">C array</h3> <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">char a[3]; CETYPE(decltype(a)); // char[3] CETYPE(decltype(&a)); // char (*)[3] CETYPE(decltype(&a[0])); // char * const auto & acr = a; CETYPE(decltype(acr)); // const char (&)[3] const auto & pacr = &a; CETYPE(decltype(pacr)); // char (*const &)[3] const auto & pa0cr = &a[0]; CETYPE(decltype(pa0cr)); // char *const & auto && arr = a; CETYPE(decltype(arr)); // char (&)[3] auto && parr = &a; CETYPE(decltype(parr)); // char (*&&)[3] auto pa = &a; auto && lparr = pa; CETYPE(decltype(lparr)); // char (*&)[3] auto && pa0rr = &a[0]; CETYPE(decltype(pa0rr)); // char *&& auto pa0 = &a[0]; auto && lpa0rr = pa0; CETYPE(decltype(lpa0rr)); // char *& </code></pre></td></tr></table> </div> </div><div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">const char a[3]; CETYPE(decltype(a)); // const char[3] CETYPE(decltype(&a)); // const char (*)[3] CETYPE(decltype(&a[0])); // const char * const auto & acr = a; CETYPE(decltype(acr)); // const char (&)[3] const auto & pacr = &a; CETYPE(decltype(pacr)); // const char (*const &)[3] const auto & pa0cr = &a[0]; CETYPE(decltype(pa0cr)); // const char *const & auto && arr = a; CETYPE(decltype(arr)); // const char (&)[3] auto && parr = &a; CETYPE(decltype(parr)); // const char (*&&)[3] auto pa = &a; auto && lparr = pa; CETYPE(decltype(lparr)); // const char (*&)[3] auto && pa0rr = &a[0]; CETYPE(decltype(pa0rr)); // const char *&& auto pa0 = &a[0]; auto && lpa0rr = pa0; CETYPE(decltype(lpa0rr)); // const char *& </code></pre></td></tr></table> </div> </div><div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">int ia[] = {}; int ia2[] = {1, 2}; int ia3[3] = {1}; CETYPE(decltype(ia)); // int[0] CETYPE(decltype(ia2)); // int[2] CETYPE(decltype(ia3)); // int[3] CETYPE(int[]); // int[] CETYPE(const int[]); // const int[] CETYPE(decltype(&ia)); // int (*)[0] </code></pre></td></tr></table> </div> </div><h3 id="c-string">C string</h3> 字面字符串常量，decltype推断结果如下： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 4 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">CETYPE(decltype("abcd")); // const char (&)[5] auto s = "abcd"; CETYPE(decltype(s)); // const char * </code></pre></td></tr></table> </div> </div><h2 id="c中的函数类型到底有多少种形式">C++中的函数类型到底有多少种形式？</h2> 影响函数类型的修饰属性都是正交的，因此把每一种属性的选项数量乘起来就是答案。根据一个函数类型是否是const的，是否是volatile的，是否有C语言风格的可变长实参，是没有成员函数引用属性还是具有成员函数左值引用或成员函数右值引用（请注意，这里一定是成员函数引用才算作函数类型签名，C语言函数的引用在此不算作函数类型），还有C++17以后一个函数是否是noexcept也认作不同的函数类型，所以根据这五种属性可以算出总共是<code>2 * 2 * 2 * 3 * 2 = 48</code>种！ 判断一个类型是否是函数类型，C++标准库中定义了<code>std::is_function</code>来实现这个判断。它的一种可能的实现方式就是把以上所说所有的函数类型形式都特化一遍，如下所示： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">// primary template template<typename> struct is_function : std::false_type { }; // specialization for regular functions template<typename Return, typename... Args> struct is_function<Return(Args...)> : std::true_type {}; // specialization for variadic functions such as std::printf template<typename Return, typename... Args> struct is_function<Return(Args..., ...)> : std::true_type {}; // specialization for function types that have cv-qualifiers template<typename Return, typename... Args> struct is_function<Return(Args...) const> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) volatile> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) const volatile> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) const> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) volatile> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) const volatile> : std::true_type {}; // specialization for function types that have ref-qualifiers template<typename Return, typename... Args> struct is_function<Return(Args...) &> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) const &> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) volatile &> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) const volatile &> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) &> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) const &> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) volatile &> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) const volatile &> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) &&> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) const &&> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) volatile &&> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) const volatile &&> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) &&> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) const &&> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) volatile &&> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) const volatile &&> : std::true_type {}; // specializations for noexcept versions of all the above (C++17 and later) template<typename Return, typename... Args> struct is_function<Return(Args...) noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) const noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) volatile noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) const volatile noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) const noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) volatile noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) const volatile noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) & noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) const & noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) volatile & noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) const volatile & noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) & noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) const & noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) volatile & noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) const volatile & noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) && noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) const && noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) volatile && noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args...) const volatile && noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) && noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) const && noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) volatile && noexcept> : std::true_type {}; template<typename Return, typename... Args> struct is_function<Return(Args..., ...) const volatile && noexcept> : std::true_type {}; </code></pre></td></tr></table> </div> </div>针对上文特别提起的引用属性举个例子： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 4 5 6 7 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">// 这两个是C语言函数的引用，判断为false std::is_function<void(&)(int)>::value; std::is_function<void(&&)(int)>::value; // 而这两个是成员函数的引用，判断为true std::is_function<void(int) &>::value; std::is_function<void(int) &&>::value; </code></pre></td></tr></table> </div> </div><h2 id="对函数类型进行add-pointercvr-remove-cvr等操作是什么结果">对函数类型进行add pointer/c/v/r, remove c/v/r等操作是什么结果？</h2> 以上48种函数类型形式其实可分成两类。 第一类是C语言函数形式的函数类型，上文也提到，C++规定它们不允许有const和volatile属性，当然它不是成员函数自然也不能有成员函数引用属性，只能有可变长实参属性和noexcept属性； 剩下的就是第二类，非C语言函数形式的函数类型，凡是具有const属性、volatile属性、成员函数引用属性的都属于这类，这一类更像是成员函数，但是不具有母类类型信息，不是完整的成员函数类型，姑且叫成员函数形式的函数类型或者不完整成员函数类型吧。 用cppreference的说法，也可以说成第一类是"not cv- or ref- qualified function type"，第二类是"cv- or ref- qualified function type". 不过也许说成C语言函数形式和成员函数形式，理解它们一个是完整的，一个是不完整的，可能能更好得理解它们为什么会有以下令人费解令人诧异的不同表现。 算一下，第一类有4种，第二类有44种。 <h3 id="add-reference-and-remove-reference">add reference and remove reference</h3> 针对C语言函数形式的函数类型添加引用结果如下： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">CETYPE(std::add_lvalue_reference_t<void(int)>); // void (&)(int) CETYPE(std::add_rvalue_reference_t<void(int)>); // void (&&)(int) CETYPE(std::add_lvalue_reference_t<void(int, ...)>); // void (&)(int, ...) CETYPE(std::add_rvalue_reference_t<void(int, ...)>); // void (&&)(int, ...) CETYPE(std::add_lvalue_reference_t<void(int) noexcept>); // void (&)(int) noexcept CETYPE(std::add_rvalue_reference_t<void(int) noexcept>); // void (&&)(int) noexcept CETYPE(std::add_lvalue_reference_t<void(int, ...) noexcept>); // void (&)(int, ...) noexcept CETYPE(std::add_rvalue_reference_t<void(int, ...) noexcept>); // void (&&)(int, ...) noexcept // 引用折叠 CETYPE(std::add_lvalue_reference_t<void (&)(int)>); // void (&)(int) CETYPE(std::add_rvalue_reference_t<void (&)(int)>); // void (&)(int) CETYPE(std::add_lvalue_reference_t<void (&&)(int)>); // void (&)(int) CETYPE(std::add_rvalue_reference_t<void (&&)(int)>); // void (&&)(int) </code></pre></td></tr></table> </div> </div>可见这些函数类型都被添加了引用，不过应该注意这个是常规引用（某种类型整体的引用），不是成员函数引用，这个引用不影响函数签名。顺便提一下，对以上输出的带引用的类型施加std::remove_reference_t当然也会回到原输入类型。 针对成员函数形式的函数类型add和remove引用结果如下： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">// add reference CETYPE(std::add_lvalue_reference_t<void(int) const>); // void (int) const CETYPE(std::add_rvalue_reference_t<void(int) volatile>); // void (int) volatile CETYPE(std::add_lvalue_reference_t<void(int, ...) volatile>); // void (int, ...) volatile CETYPE(std::add_rvalue_reference_t<void(int, ...) const>); // void (int, ...) const CETYPE(std::add_lvalue_reference_t<void(int) const noexcept>); // void (int) const noexcept CETYPE(std::add_rvalue_reference_t<void(int) volatile noexcept>); // void (int) volatile noexcept CETYPE(std::add_lvalue_reference_t<void(int) &>); // void (int) & CETYPE(std::add_rvalue_reference_t<void(int) &>); // void (int) & CETYPE(std::add_lvalue_reference_t<void(int) &&>); // void (int) && CETYPE(std::add_rvalue_reference_t<void(int) &&>); // void (int) && CETYPE(std::add_lvalue_reference_t<void(int) const &>); // void (int) const & CETYPE(std::add_rvalue_reference_t<void(int) volatile &>); // void (int) volatile & CETYPE(std::add_lvalue_reference_t<void(int) const && noexcept>); // void (int) const && noexcept // remove reference CETYPE(std::remove_reference_t<void(int) &>); // void (int) & CETYPE(std::remove_reference_t<void(int) &&>); // void (int) && CETYPE(std::remove_reference_t<void(int) const &>); // void (int) const & CETYPE(std::remove_reference_t<void(int) const &&>); // void (int) const && CETYPE(std::remove_reference_t<void(int) volatile &>); // void (int) volatile & CETYPE(std::remove_reference_t<void(int) & noexcept>); // void (int) & noexcept CETYPE(std::remove_reference_t<void(int) const & noexcept>); // void (int) const & noexcept CETYPE(std::remove_reference_t<void(int) volatile && noexcept>); // void (int) volatile && noexcept </code></pre></td></tr></table> </div> </div>可见无论是add还是remove reference，对输入的函数类型，都没有做任何更改。所以可得： <ul> <li>C语言函数形式的函数类型可以添加引用，而成员函数形式的函数类型本身自带的引用属性不会被更改。</li> </ul> 成员函数的引用，在这里由于成为了函数签名的一部分，属于函数类型的一部分，所以这时的引用就与普通常规引用大不相同，比普通引用的地位更高一等，是不能通过std::add_lvalue_reference, std::remove_reference等被改变的。 那么这类引用就太特殊了，凭什么都是函数类型，一些能被添加引用和去除引用，而另一种不能呢？是否应该把它定义为另外一类引用，或者另外起一个名字称为另外一类功能？然后与常规引用不冲突，再可以添加常规引用呢？那么可能就会出现形如<code>void (&)(int) const &&</code> 之类的东西了。😂复杂程度又增加了，不过好像又能够和第一类函数类型保持一致了，是好还是不好呢？ C++的选择是不这么做，否则的话，还要再提供一种成员引用的功能与之匹配。C++现在已经有一种成员指针的功能，即Pointer-to-member operator <code>.*</code>和<code>->*</code>，这已经够用了。而且，从函数类型完整性上也可以理解，C语言函数形式的函数类型是完整的，可以指向某个具体的函数实体，因此对它添加指针或引用是有意义的，而成员函数形式的函数类型是不完整的，缺乏母类信息，不能指向某个具体的成员函数，对它添加指针或引用是没有意义的，因此C++选择没有增加不必要的复杂度。 如果把尾置的引用当成函数类型的一部分，不把它理解成常规引用（某种类型整体的引用），而add/remove reference针对的是常规引用，那么也可以理解为： <ul> <li>成员函数形式的函数类型不能添加引用（常规引用）。</li> </ul> <h3 id="add-pointer-and-remove-pointer">add pointer and remove pointer</h3> <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">// C语言函数形式，能添加指针 CETYPE(std::add_pointer_t<void(int)>); // void (*)(int) CETYPE(std::add_pointer_t<void(int,...)>); // void (*)(int, ...) CETYPE(std::add_pointer_t<void(int,...) noexcept>); // void (*)(int, ...) noexcept // C语言函数指针类型，能去除指针 CETYPE(std::remove_pointer_t<void (*)(int)>); // void (int) CETYPE(std::remove_pointer_t<void (*)(int,...)>); // void (int, ...) CETYPE(std::remove_pointer_t<void (*)(int,...) noexcept>); // void (int, ...) noexcept // 成员函数形式，不能添加指针 CETYPE(std::add_pointer_t<void(int) const>); // void (int) const CETYPE(std::add_pointer_t<void(int,...) &>); // void (int, ...) & CETYPE(std::add_pointer_t<void(int) volatile &&>); // void (int) volatile && </code></pre></td></tr></table> </div> </div>可见： <ul> <li>C语言函数形式的函数类型可以添加指针，而成员函数形式的函数类型不能添加指针；</li> </ul> C语言函数形式的函数类型是完整的函数类型，但成员函数形式的函数类型是不完整的，因为它不具有包含它的母类的类型信息，所以不难理解它不能被添加指针。 实际上，如果强制为其添加指针，会导致编译报错，std::add_pointer_t里面规避了这点，对于不能添加指针的类型，返回了输入类型本身。 <h3 id="add-constvolatile-remove-constvolatile">add const/volatile, remove const/volatile</h3> <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">// C语言函数形式，不能添加cv CETYPE(std::add_const_t<void(int)>); // void (int) CETYPE(std::add_volatile_t<void(int,...)>); // void (int, ...) CETYPE(std::add_cv_t<void(int,...) noexcept>); // void (int, ...) noexcept // 成员函数形式，不能更改原有cv CETYPE(std::add_const_t<void(int) & noexcept>); // void (int) & noexcept CETYPE(std::add_volatile_t<void(int,...) const>); // void (int, ...) const CETYPE(std::add_cv_t<void(int) volatile &&>); // void (int) volatile && CETYPE(std::remove_cv_t<void(int) const>); // void (int) const CETYPE(std::remove_cv_t<void(int,...) volatile &>); // void (int, ...) volatile & CETYPE(std::remove_cv_t<void(int) const && noexcept>); // void (int) const && noexcept </code></pre></td></tr></table> </div> </div>可见： <ul> <li>C语言函数形式的函数类型不能添加cv属性，而成员函数形式的函数类型本身自带的cv属性也不能被更改。</li> </ul> 如果把尾置的cv属性当成函数类型的一部分，而add const/volatile, remove const/volatile 指的是针对某个类型整体之外添加或去除cv属性，那么也可以理解为： <ul> <li>成员函数形式的函数类型也不能添加cv属性。</li> </ul> 也就是，所有函数类型都不能添加cv属性。 <h3 id="is_reference-is_const-is_volatile">is_reference, is_const, is_volatile</h3> 对函数类型进行 std::is_const, std::is_references 判断： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">std::cout << std::boolalpha; // 成员函数形式，这些都输出 false std::cout << std::is_reference_v<void(int) &> << std::endl; std::cout << std::is_reference_v<void(int) &&> << std::endl; std::cout << std::is_reference_v<void(int) const &> << std::endl; std::cout << std::is_const_v<void(int) const > << std::endl; std::cout << std::is_const_v<void(int) const &> << std::endl; std::cout << std::is_volatile_v<void(int) volatile > << std::endl; std::cout << std::is_reference_v<void(int)> << std::endl; std::cout << std::is_const_v<void(int)> << std::endl; std::cout << std::is_volatile_v<void(int)> << std::endl; // C语言函数形式，这些都输出 true std::cout << std::is_reference_v<void (&)(int) > << std::endl; std::cout << std::is_reference_v<void (&&)(int)> << std::endl; std::cout << std::is_reference_v<void (&)(int) noexcept> << std::endl; </code></pre></td></tr></table> </div> </div>可见当const、volatile和引用等属性成为函数签名即成为函数类型的一部分的时候，这种属性就不能用 std::is_reference, std::is_const, std::is_volatile判断出来了，结果永远是false。而C语言函数形式的函数类型的引用不属于函数签名的一部分，可以通过std::is_reference判断出来。 <h3 id="小结-1">小结</h3> 由以上可得，对函数类型进行 add/remove const/volatile/reference 等操作时， 如果某种属性是属于函数签名的一部分，那么这种属性就是这个基本类型的一部分，它是不会被改变的。 而且，当某种属性属于函数签名的一部分时，是无法通过 is const/volatile/reference 等判断出是否具有这种属性的。 可以这样理解：把函数签名整体当成一个黑盒，黑盒内部的函数签名形式上是否具有某种属性是不可见的，也不可伸入黑盒内部对函数签名进行修改。 函数签名中具有尾置的const、volatile、引用的函数类型是不完整成员函数类型，不能对其添加指针和引用，否则可以。 所有函数类型都不能add const/volatile. <h2 id="如何判断一个类型是否是-stdfunction">如何判断一个类型是否是 std::function</h2> std::function是对函数的封装，它接受一个模板参数，该模版参数应该是一个函数类型。经过以上讨论，我们知道函数类型有48种形式，那么是否每一种std::function都支持呢？对于成员函数形式的函数类型我们知道它们是不完整的，对这些函数类型特化没有任何意义，那剩下的4种 C语言函数形式的函数类型 std::function是否都支持呢？事实是，目前（2023）std::function 只支持最基本的那一种，也就是只有这一种特化： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">template< class > class function; /* undefined */ template< class R, class... Args > class function<R(Args...)>; // 没有对其他形式特化 </code></pre></td></tr></table> </div> </div>验证举例： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 4 5 6 7 8 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">std::function<void(int)> f1; // OK! // 这些都会编译错误：implicit instantiation of undefined template。因为标准库中并没有为其特化。 // std::function<void(int, ...)> f2; // std::function<void(int) noexcept> f3 // std::function<void(int) const> f4; // std::function<void(int) &> f5; // std::function<void(int) &> f6; </code></pre></td></tr></table> </div> </div>上例中f2~f6会编译错误，说明std::function不支持这些函数类型。当然如果只声明f2~f6对应的那些类型而不用它们定义变量，是不会报错的，但是这没有意义，这只是声明了一个没有任何实现的类类型而已。 所以目前std::function只支持这一种最基本的函数类型形式， 要想判断一个类型是否是std::function类型，只需要对<code>Return(Args...)</code>这一种函数类型形式做一个特化即可。 <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">// 只需这一个primary template和一个特化 template <typename T> struct is_stdfunction : std::false_type {}; template <typename Return, typename... Args> struct is_stdfunction<std::function<Return(Args...)>> : std::true_type {}; // 以下这些特化都是不需要的，因为std::function的实现中并没有为其特化 // template <typename Return, typename... Args> // struct is_stdfunction<std::function<Return(Args..., ...)>> : std::true_type {}; // template <typename Return, typename... Args> // struct is_stdfunction<std::function<Return(Args...) noexcept>> : std::true_type {}; // template <typename Return, typename... Args> // struct is_stdfunction<std::function<Return(Args..., ...) noexcept>> : std::true_type {}; </code></pre></td></tr></table> </div> </div><h3 id="stdfunction如何处理可变长实参variadic-functions">std::function如何处理可变长实参(variadic functions)</h3> 此外，还需要说明的一个特例是可变长实参，std::function可以说是不支持这种函数类型，但也可以说是不完全支持，或部分支持。 std::function的特化中虽然不支持variadic这种函数类型形式，但是事实上我们可以将带有可变长实参的函数当成没有可变长实参的函数来用，然后再封装在std::function里面，不过这样虽然可行，但是却丢了可变长实参部分的功能。例如： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 4 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">// std::function<int(const char*, ...)> f1 = printf; // error: implicit instantiation of undefined template 'std::function<int (const char *, ...)>' std::function<int(const char*)> f2 = printf; // OK f2("printf no more arguments"); // OK // f2("printf %d", 1); // error: no matching function for call to object of type 'std::function<int (const char *)>' </code></pre></td></tr></table> </div> </div>也许这也没有多大实用性，所以严格来说，std::function对带有可变长实参的函数类型还是不支持的。那么应不应该支持一下呢？未来std::function会不会对带有variadic和noexcept的函数类型做一个特化呢？如果他想，其实是可以的，那时候我们的is_stdfunction的后三种特化就得用上了。不过，对noexcept的特化其实是不必要的，因为带有noexcept的函数指针，是可以转化成对应不带noexcept的函数指针的。例如： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">void f1(int) {} void f2(int) noexcept {} int main() { static_cast<decltype(&f1)>(&f2); // OK // static_cast<decltype(&f2)>(&f1); // error auto p1 = &f1; p1 = &f2; // OK auto p2 = &f2; // p2 = &f1; // error } </code></pre></td></tr></table> </div> </div>例中也看到了，反过来，不带有noexcept的函数指针是不能转化成对应的带有noexcept的函数指针的。这也可以理解，毕竟noexcept是更严格的限制，可是说是子集，而不带noexcept的是超集。 再有，针对可变长实参这个属性呢？当然，有可变长实参的函数指针与对应的没有可变长实参函数指针之间是不能相互转化的，例如： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">void f1(int) {} void f2(int, ...) {} int main() { // static_cast<decltype(&f1)>(&f2); // error // static_cast<decltype(&f2)>(&f1); // error auto p1 = &f1; // p1 = &f2; // error auto p2 = &f2; // p2 = &f1; // error } </code></pre></td></tr></table> </div> </div>这个std::function不对其特化，可能就是不想支持这种函数类型了吧，毕竟这是C语言遗留产物。 <h2 id="如何判断一个类型是否是-lambda">如何判断一个类型是否是 lambda</h2> lambda是C++中的匿名类型，每个新定义的lambda都具有各自不同的类型，一般来说我们无法判断一个类型是否是lambda。 但是有一种特殊的lambda，即捕获列表为空的（captureless）且不是generic的（使用auto声明参数类型的叫作generic lambda），这种特殊的lambda有一个独有的性质，就是它能够转换成与它的operator()对应的C语言风格的函数指针，并且指向它的operator()。 我们可以判断一个类型是否具有这种性质，假如具有，那么我们可以猜测这种类型大概率可能就是这种特殊的lambda，除非用户手动定义了一个具有这种性质的自定义类型，而通常很少有人这么做，也不该这么做。 所以虽然我们无法判断一个类型是否是lambda，但我们可以判断一个类型有可能是 captureless并且non-generic的lambda。判断方法如下： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">// Get a C function pointer type by a member function pointer type template <typename T> struct detect_cfunction { using type = void; }; template <typename Object, typename Return, typename... Args> struct detect_cfunction<Return (Object::*)(Args...)> { using type = Return (*)(Args...); }; template <typename Object, typename Return, typename... Args> struct detect_cfunction<Return (Object::*)(Args...) const> { using type = Return (*)(Args...); }; template <typename Object, typename Return, typename... Args> struct detect_cfunction<Return (Object::*)(Args..., ...)> { using type = Return (*)(Args..., ...); }; template <typename Object, typename Return, typename... Args> struct detect_cfunction<Return (Object::*)(Args..., ...) const> { using type = Return (*)(Args..., ...); }; #if __cplusplus >= 201703 template <typename Object, typename Return, typename... Args> struct detect_cfunction<Return (Object::*)(Args...) noexcept> { using type = Return (*)(Args...) noexcept; }; template <typename Object, typename Return, typename... Args> struct detect_cfunction<Return (Object::*)(Args...) const noexcept> { using type = Return (*)(Args...) noexcept; }; template <typename Object, typename Return, typename... Args> struct detect_cfunction<Return (Object::*)(Args..., ...) noexcept> { using type = Return (*)(Args..., ...) noexcept; }; template <typename Object, typename Return, typename... Args> struct detect_cfunction<Return (Object::*)(Args..., ...) const noexcept> { using type = Return (*)(Args..., ...) noexcept; }; #endif template <typename T> using detect_cfunction_t = typename detect_cfunction<T>::type; // Detect type of callee, which is a pointer to member function operator() template <typename T, typename = void> struct detect_callee { using type = void; }; #if __cplusplus < 201703 namespace std { template <typename T> using void_t = void; } #endif template <typename T> struct detect_callee<T, std::void_t<decltype(&T::operator())>> { using type = decltype(&T::operator()); }; template <typename T> using detect_callee_t = typename detect_callee<T>::type; // Detect C function style callee type template <typename T> using detect_c_callee_t = detect_cfunction_t<detect_callee_t<T>>; // Detect whether T maybe a captureless and non-generic lambda template <typename T> struct maybe_lambda : std::integral_constant< bool, !std::is_same<T, void>::value && std::is_convertible<T, detect_c_callee_t<T>>::value> {}; </code></pre></td></tr></table> </div> </div>举例： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">#define TEST(x) std::cout << #x << ": " << maybe_lambda<x>::value << std::endl; struct A {}; struct B { void operator()() {} }; struct C { void operator()() const volatile & {} }; int main() { std::cout << std::boolalpha; auto l1 = [](int){}; TEST(decltype(l1)); auto l2 = [](int, ...){}; TEST(decltype(l2)); const auto l3 = [](int){}; TEST(decltype(l3)); const auto & l4 = [](int){}; TEST(decltype(l4)); TEST(std::decay_t<decltype(l4)>); auto && l5 = [](int){}; TEST(decltype(l5)); TEST(std::decay_t<decltype(l5)>); auto l6 = [](auto){}; // generic lambda TEST(decltype(l6)); auto l7 = [&](int){}; TEST(decltype(l7)); auto l8 = [=](int){}; TEST(decltype(l8)); auto l9 = [](int) noexcept {}; TEST(decltype(l9)); auto l10 = [](int, ...) noexcept {}; TEST(decltype(l10)); auto l11 = [](auto) noexcept {}; TEST(decltype(l11)); auto l12 = [=](int) noexcept {}; TEST(decltype(l12)); TEST(A); TEST(B); TEST(B&); TEST(C); TEST(C&&); TEST(std::function<void(int)>); TEST(std::function<void(int)>&); TEST(int(int)); TEST(void(void)); TEST(void(int, ...)); TEST(int(&)(int)); TEST(int(*)(int)); TEST(void(*&)(int)); TEST(int); TEST(void); TEST(int*); TEST(void*); return 0; } </code></pre></td></tr></table> </div> </div>输出结果如下： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-txt" data-lang="txt">decltype(l1): true decltype(l2): true decltype(l3): true decltype(l4): false std::decay_t<decltype(l4)>: true decltype(l5): false std::decay_t<decltype(l5)>: true decltype(l6): false decltype(l7): false decltype(l8): false decltype(l9): true decltype(l10): true decltype(l11): false decltype(l12): false A: false B: false B&: false C: false C&&: false std::function<void(int)>: false std::function<void(int)>&: false int(int): false void(void): false void(int, ...): false int(&)(int): false int(*)(int): false void(*&)(int): false int: false void: false int*: false void*: false </code></pre></td></tr></table> </div> </div><h2 id="如何判断一个类型是否是可调用的">如何判断一个类型是否是可调用的</h2> 可调用基本类型（这里不包括其引用）分两种，一种是具有operator()的类类型，另一种是C语言函数类型及其指针。 <h3 id="1-判断一个类型是否具有operator的类类型">1. 判断一个类型是否具有operator()的类类型</h3> operator()分两种，一种是非模版函数，一种是模版函数。对于operator()不是模版函数的类型来说，可以用如下方法判断： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 4 5 6 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">// Whether T has a non-template member operator() template <typename T, typename = void> struct is_callable_class : std::false_type {}; template <typename T> struct is_callable_class<T, std::void_t<decltype(&T::operator())>> : std::true_type {}; </code></pre></td></tr></table> </div> </div>对于operator()是模版函数的类，目前还没找到判断方法。 举例： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">#define TEST(x) std::cout << #x << ": " << is_callable_class<x>::value << std::endl; struct A {}; struct B { void operator()() {} }; struct C { void operator()() const volatile & {} }; int main() { std::cout << std::boolalpha; auto l1 = [](int){}; TEST(decltype(l1)); auto l2 = [](int, ...){}; TEST(decltype(l2)); const auto l3 = [](int){}; TEST(decltype(l3)); const auto & l4 = [](int){}; TEST(decltype(l4)); TEST(std::decay_t<decltype(l4)>); auto && l5 = [](int){}; TEST(decltype(l5)); TEST(std::decay_t<decltype(l5)>); auto l6 = [](auto){}; // generic lambda TEST(decltype(l6)); auto l7 = [&](int){}; TEST(decltype(l7)); auto l8 = [=](int){}; TEST(decltype(l8)); TEST(A); TEST(B); TEST(B&); TEST(C); TEST(C&&); TEST(std::function<void(int)>); TEST(std::function<void(int)>&); TEST(int(int)); TEST(void(void)); TEST(void(int, ...)); TEST(int(&)(int)); TEST(int(*)(int)); TEST(void(*&)(int)); TEST(int); TEST(void); TEST(int*); TEST(void*); return 0; } </code></pre></td></tr></table> </div> </div>输出结果如下： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-txt" data-lang="txt">decltype(l1): true decltype(l2): true decltype(l3): true decltype(l4): false std::decay_t<decltype(l4)>: true decltype(l5): false std::decay_t<decltype(l5)>: true decltype(l6): false decltype(l7): true decltype(l8): true A: false B: true B&: false C: true C&&: false std::function<void(int)>: true std::function<void(int)>&: false int(int): false void(void): false void(int, ...): false int(&)(int): false int(*)(int): false void(*&)(int): false int: false void: false int*: false void*: false </code></pre></td></tr></table> </div> </div><h3 id="2-判断一个类型是否是c语言函数类型或其指针类型">2. 判断一个类型是否是C语言函数类型或其指针类型</h3> <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">// whether T is C function template <typename T> struct is_cfunction : std::false_type {}; template <typename Return, typename... Args> struct is_cfunction<Return(Args...)> : std::true_type {}; template <typename Return, typename... Args> struct is_cfunction<Return(Args..., ...)> : std::true_type {}; #if __cplusplus >= 201703 template <typename Return, typename... Args> struct is_cfunction<Return(Args...) noexcept> : std::true_type {}; template <typename Return, typename... Args> struct is_cfunction<Return(Args..., ...) noexcept> : std::true_type {}; #endif // whether T is C function pointer template <typename T> struct is_cfunction_pointer : std::integral_constant< bool, std::is_pointer<T>::value && is_cfunction<std::remove_pointer_t<T>>::value> {}; // Whether T is C style callable: C function or C function pointer template <typename T> struct is_callable_c : std::integral_constant< bool, is_cfunction<T>::value || is_cfunction_pointer<T>::value> {}; </code></pre></td></tr></table> </div> </div>举例： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">#define TEST(x) std::cout << #x << ": " << is_callable_c<x>::value << std::endl; struct A {}; struct B { void operator()() {} }; struct C { void operator()() const volatile & {} }; int main() { std::cout << std::boolalpha; auto l1 = [](int){}; TEST(decltype(l1)); auto l2 = [](int, ...){}; TEST(decltype(l2)); const auto l3 = [](int){}; TEST(decltype(l3)); const auto & l4 = [](int){}; TEST(decltype(l4)); TEST(std::decay_t<decltype(l4)>); auto && l5 = [](int){}; TEST(decltype(l5)); TEST(std::decay_t<decltype(l5)>); auto l6 = [](auto){}; // generic lambda TEST(decltype(l6)); auto l7 = [&](int){}; TEST(decltype(l7)); auto l8 = [=](int){}; TEST(decltype(l8)); TEST(A); TEST(B); TEST(B&); TEST(C); TEST(C&&); TEST(std::function<void(int)>); TEST(std::function<void(int)>&); TEST(int(int)); TEST(void(void)); TEST(void(int, ...)); TEST(int(&)(int)); TEST(int(*)(int)); TEST(void(*&)(int)); TEST(int); TEST(void); TEST(int*); TEST(void*); return 0; } </code></pre></td></tr></table> </div> </div>输出如下： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-txt" data-lang="txt">decltype(l1): false decltype(l2): false decltype(l3): false decltype(l4): false std::decay_t<decltype(l4)>: false decltype(l5): false std::decay_t<decltype(l5)>: false decltype(l6): false decltype(l7): false decltype(l8): false A: false B: false B&: false C: false C&&: false std::function<void(int)>: false std::function<void(int)>&: false int(int): true void(void): true void(int, ...): true int(&)(int): false int(*)(int): true void(*&)(int): false int: false void: false int*: false void*: false </code></pre></td></tr></table> </div> </div><h3 id="判断一个类型是否是可调用的">判断一个类型是否是可调用的</h3> 可调用类型就是以上两种情况的综合，is_callable_class或is_callable_c。另外，如果想包括其引用也判断为可调用类型的话，可以先将某类型decay，然后再判断是否是以上两种情况之一。 <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 4 5 6 7 8 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">// whether T is callable template <typename T> struct is_callable : std::integral_constant< bool, is_callable_class<T>::value || is_callable_c<T>::value> {}; // whether decay_t<T> is callable template <typename T> struct decay_is_callable : is_callable<std::decay_t<T>> {}; </code></pre></td></tr></table> </div> </div>举例： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">#define TEST(x) std::cout << #x << ": " << is_callable<x>::value << std::endl; struct A {}; struct B { void operator()() {} }; struct C { void operator()() const volatile & {} }; int main() { std::cout << std::boolalpha; auto l1 = [](int){}; TEST(decltype(l1)); auto l2 = [](int, ...){}; TEST(decltype(l2)); const auto l3 = [](int){}; TEST(decltype(l3)); const auto & l4 = [](int){}; TEST(decltype(l4)); TEST(std::decay_t<decltype(l4)>); auto && l5 = [](int){}; TEST(decltype(l5)); TEST(std::decay_t<decltype(l5)>); auto l6 = [](auto){}; // generic lambda TEST(decltype(l6)); auto l7 = [&](int){}; TEST(decltype(l7)); auto l8 = [=](int){}; TEST(decltype(l8)); TEST(A); TEST(B); TEST(B&); TEST(C); TEST(C&&); TEST(std::function<void(int)>); TEST(std::function<void(int)>&); TEST(int(int)); TEST(void(void)); TEST(void(int, ...)); TEST(int(&)(int)); TEST(int(*)(int)); TEST(void(*&)(int)); TEST(int); TEST(void); TEST(int*); TEST(void*); return 0; } </code></pre></td></tr></table> </div> </div>输出结果如下： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-txt" data-lang="txt">decltype(l1): true decltype(l2): true decltype(l3): true decltype(l4): false std::decay_t<decltype(l4)>: true decltype(l5): false std::decay_t<decltype(l5)>: true decltype(l6): false decltype(l7): true decltype(l8): true A: false B: true B&: false C: true C&&: false std::function<void(int)>: true std::function<void(int)>&: false int(int): true void(void): true void(int, ...): true int(&)(int): false int(*)(int): true void(*&)(int): false int: false void: false int*: false void*: false </code></pre></td></tr></table> </div> </div>测试decay_is_callable结果如下： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">#define TEST(x) std::cout << #x << ": " << decay_is_callable<x>::value << std::endl; // 代码同上，这里省略 </code></pre></td></tr></table> </div> </div>输出： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-txt" data-lang="txt">decltype(l1): true decltype(l2): true decltype(l3): true decltype(l4): true std::decay_t<decltype(l4)>: true decltype(l5): true std::decay_t<decltype(l5)>: true decltype(l6): false decltype(l7): true decltype(l8): true A: false B: true B&: true C: true C&&: true std::function<void(int)>: true std::function<void(int)>&: true int(int): true void(void): true void(int, ...): true int(&)(int): true int(*)(int): true void(*&)(int): true int: false void: false int*: false void*: false </code></pre></td></tr></table> </div> </div><h2 id="成员指针类型">成员指针类型</h2> <h3 id="用子类取基类成员的地址得到什么类型">用子类取基类成员的地址得到什么类型？</h3> 例如： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 4 5 6 7 8 9 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">struct B { int i = 1; }; struct D: public B { }; int main() { static_assert(std::is_same<decltype(&D::i), int B::*>::value, "Never happen"); static_assert(std::is_same<decltype(&D::B::i), int B::*>::value, "Never happen"); } </code></pre></td></tr></table> </div> </div>可见，用子类取基类成员的地址得到的是基类成员指针类型。如上例中 <code>&D::i</code> 就相当于 <code>&D::B::i</code>，得到的成员指针类型是<code>int B::*</code>。 <h3 id="成员指针类型书写形式中的类类型如果是-cv-qualified-会有什么影响">成员指针类型书写形式中的类类型，如果是 cv-qualified 会有什么影响？</h3> 例如： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">struct B { int i = 1; }; using ConstB = const B; int main() { static_assert(std::is_same<int B::*, int ConstB::*>::value, "Never happen"); static_assert(std::is_same<int B::*, int std::add_const_t<B>::*>::value, "Never happen"); static_assert(std::is_same<int B::*, int std::add_volatile_t<B>::*>::value, "Never happen"); static_assert(std::is_same<int B::*, int std::add_cv_t<B>::*>::value, "Never happen"); } </code></pre></td></tr></table> </div> </div>可见，成员指针类型书写形式中的类类型如果是 cv-qualified，那么C++会自动将其remove_cv，也就是视作与相应的成员指针类型书写形式中类类型是 cv-unqualified 的类型是同一种类型。并不会像给类类型加引用那样编译报错，例如<code>int std::add_lvalue_reference_t::*</code>会编译报错 “type ‘add_lvalue_reference_t’ (aka ‘B &’) cannot be used prior to ‘::’ because it has no members”。

2023/5/15

排序融合公式 | Ranking Value Model

考虑有限候选多目标融合排序公式，目标个数$T$，候选对象个数$N$。每一个候选对象都有$T$个目标分，需要按某个融合公式把它们融合成一个最终用于排序的分数。 <h2 id="加法融合公式">加法融合公式</h2> 加法融合公式是线性的，形式简单，参数少，调参容易。其形式是： $$ Score = \sum_{i=1}^T w_i \cdot (b_i + t_i) $$ 其中，$t_i$ 为第$i$个目标的得分，$b_i$ 为第$i$个目标的Bias，一般固定为0，$w_i$ 为第$i$个目标的权重。 <h2 id="乘法融合公式">乘法融合公式</h2> 乘法融合公式是非线性的，相对加法融合公式来说形式复杂，参数多，调参稍微困难一些，但一般能比加法融合公式取得更好的效果。其基础形式是： $$ Score = \prod_{i=1}^T (\beta_i + t_i) ^ {\alpha_i} $$ 其中，$t_i$ 为第$i$个目标的得分，$\alpha_i$和$\beta_i$ 为调整第$i$个目标权重的参数。实践中为了便于调参，可以把它改写成Bias形式： $$ Score = \prod_{i=1}^T (b_i + \beta_i \cdot t_i) ^ {\alpha_i} $$ $b_i$ 为第$i$个目标的Bias，一般固定为1，然后一个简单的调参方式是：在$t_i$的平均值的倒数的基础上调节$\beta_i$，在1附近调节$\alpha_i$。 <h2 id="目标分预处理">目标分预处理</h2> 除了将目标分直接代入融合公式外，还可以先对其做一定的预处理。 <h3 id="归一化normalization">归一化(Normalization)</h3> 目标分分布不稳定或分布不便于直接用到排序融合公式中时，可以把目标分归一化线性映射到稳定的$[A, B]$的区间，一般$B$取1，$A$可取0.01或更小或0： $$ \tilde{t} = \frac{ t - \min t } { \max t - \min t} \cdot (B - A) + A $$ 其中， $\max t = \max \limits_{1 \le j \le N} t^{(j)}$ 为目标分在$N$个候选对象上的分布的最大值， $\min t = \min \limits_{1 \le j \le N} t^{(j)}$ 为目标分在$N$个候选对象上的分布的最小值， $t^{(j)}$ 表示第$j$个候选对象的目标分。 要注意，实践中要规避除零的风险。 <h3 id="相对目标分">相对目标分</h3> 在推荐系统中，不同用户对某一个动作的喜好程度或使用频率不同，则表现为某一个目标分在不同用户上的分布有大小区别，因此可以用该目标分在当前待排序的有限候选集上的相对得分取代原始得分： $$ \hat{t} = \frac {t} { w \cdot \overline{t} + c } $$ 其中， $\overline{t} = \frac { \sum_{j=1}^N t^{(j)} } {N}$ 为目标分在$N$个候选对象上的分布的平均值， $w$和$c$为待调整的参数。 例如，应用相对目标分的乘法融合公式为： $$ Score = \prod_{i=1}^T (b_i + \frac {t_i} {w_i \cdot \overline{t}_i + c_i} ) ^ {\alpha_i} $$ 此式也被称为个性化$\beta$形式，因为不同用户的目标分平均值$\overline{t}_i$不同，也就相当于Bias形式乘法融合公式中的$\beta_i$是不同的。 <h3 id="其他">其他</h3> 此外，还可以将目标分按大小阈值截断，使用Sigmoid函数映射到0~1等。 <h2 id="在融合公式中使用目标排名">在融合公式中使用目标排名</h2> 除了在融合公式中使用目标得分外，还可以使用目标排名代替目标分。 对全体候选对象按某一个目标分排序，则可得到每一个候选对象在这一个目标上的排名，记为$r_i$，表示在第$i$个目标上的排名，值为$[1, N]$之间的整数。然后可以直接在融合公式中使用目标排名，或者将其归一化到$[\frac {1} {N}, 1]$之间，也就是将$r_i$除以$N$，之后再代入融合公式。 需要注意的是，由于排序时一般是逆序排序，目标分最大的排名是1，因此使用目标排名代替目标分时改变了融合公式的单调性，需要相应地再调整一下融合公式的单调性。 例如，在乘法融合公式中使用目标排名时，可以用$-\alpha$作为指数： $$ Score = \prod_{i=1}^T (b_i + \beta_i \cdot \tilde{r}_i) ^ {- \alpha_i} $$ 其中，$\tilde{r}_i = \frac {r_i} {N}$。 或者，可以用$\tilde{r}_i = \frac {N + 1 - r_i} {N}$的映射方式对排名数值进行归一化，则不需要再调整融合公式的单调性。

2022/6/11

Resume

<h2 id="技能值">技能值</h2> <ul> <li>Basics:</li> </ul> <ul> <li> <ul> <li>C++(0.85), Python(0.75), Golang(0.6), Lua(0.6)</li> </ul> </li> <li> <ul> <li>Data Structures and Algorithms(0.8), Networks(0.6), Operating System(0.6)</li> </ul> </li> <li> <ul> <li>ML(0.4)</li> </ul> </li> </ul> <ul> <li>Applications:</li> </ul> <ul> <li> <ul> <li>Comment Ranking System(0.9), Recommendation System(0.6)</li> </ul> </li> </ul> <ul> <li>Tools and Frameworks:</li> </ul> <ul> <li> <ul> <li>Git, Redis, Nsq, Kafka, Thrift</li> </ul> </li> </ul> <hr> <h2 id="工作经历">工作经历</h2> 2017-2022，北京，字节跳动，后端开发工程师。评论排序系统架构和策略，推荐系统架构和策略。 <h3 id="字节跳动-2017720226">字节跳动 2017.7~2022.6</h3> <h4 id="1-评论排序系统架构和排序功能策略开发负责人">1. 评论排序系统架构和排序功能策略开发负责人</h4> 全权负责字节跳动评论中台评论排序服务架构开发、优化和排序业务功能以及排序策略开发。 经历评论浏览峰值从10万QPS到100万QPS量级增长期间的在线服务架构持续优化。稳定性几乎持续保持在三个九以上，数年来保持自己一个人运维无问题。 经历评论日发表量从千万到几亿量级增长期间离线评论排序索引更新服务的架构持续优化。服务性能、更新可靠性、实时性、对复杂多样业务需求的支持能力持续提高。 经历从以今日头条App为核心的简单评论排序功能到支持字节跳动全部产品线数十个App的评论排序功能需求开发。业务需求复杂多变，对评论排序功能和策略的多样性、灵活性、实时性等的要求持续提高，数年来自己一人承担开发无问题。 <ul> <li> 亮点项目：Maglev一致性哈希下的负载均衡，从无状态服务到有状态服务。 上游Proxy负责请求分发，在保持负载均衡的前提下尽量保持一致性哈希，使得后端服务节点LocalCache命中率大幅度提高，大幅提高服务器内存资源使用效率、降低服务器CPU资源使用量、降低服务响应延时、降低网络带宽占用。同时Proxy实时统计监控每一个下游节点健康状态，能应对热Key问题，支持故障节点自动下线、故障恢复后自动上线。（产出博文以及开源代码：https://lishuangquan.cn/post/2022/maglev-consistent-hash） </li> <li> 亮点项目：评论排序策略的动态配置化设计，在线服务的参数管理思想。 大幅提高评论排序策略代码的通用性和可配置性。轻松以一个服务应对上游数十个业务产品线不同的评论排序策略。简单的或已经在其他产品线开发过的功能可通过远程配置快速应用到某个有同样需求的产品线或其中某个具体应用场景，不必修改代码上线。（以此为启发，开发了一个可将Lua脚本嵌入到C++项目中的开源项目：https://github.com/peacalm/cpp-luaw） </li> <li> 长尾请求排查优化，通过异步RPC请求精准控制RPC延时提高服务可用性。 </li> <li> 高延时排查优化，通过给LocalCache分桶使评论排序服务延时从120ms降低到30ms。 </li> </ul> <h4 id="2-推荐系统架构和策略工作">2. 推荐系统架构和策略工作</h4> 参与过抖音社交推荐服务架构优化与策略开发，与推荐算法同学对接。参与过TikTok视频推荐评论目标优化工作，有过模型训练经历。对字节跳动推荐系统架构有一定了解。 除了开发具体琐碎的业务功能外，产出过通用解决方案得到推荐组内多数人使用，包括：ValueTree改进：定义变量默认值，避免未定义错误；用浏览侧实验层开作者侧实验的通用方法等。 <h2 id="个人开源项目">个人开源项目</h2> <h3 id="cpp-luaw在c项目中使用lua脚本的工具库20232024">cpp-luaw：在C++项目中使用Lua脚本的工具库。——2023~2024</h3> 地址：https://github.com/peacalm/cpp-luaw 支持在C++中读取Lua中的值、将C++中的值传递给Lua、在C++中调用Lua中的函数、将C++中定义的函数绑定给Lua调用、将C++中定义的类包括其成员变量和成员函数绑定给Lua使用、在C++中对Lua表达式进行求值等。 <h3 id="cpp-maglev基于maglev一致性哈希算法的动态负载均衡库2022">cpp-maglev：基于Maglev一致性哈希算法的动态负载均衡库。——2022</h3> 地址：https://github.com/peacalm/cpp-maglev （工作经历中已详述，另见博文：https://lishuangquan.cn/post/2022/maglev-consistent-hash） <h3 id="c基础算法代码库学生时期算法学习和c编程学习成果2016">C++基础算法代码库。（学生时期算法学习和C++编程学习成果）——2016</h3> 地址：https://github.com/peacalm/Cplusplus-Algorithms-Library 包括高精度整数类型，树状数组类，位操作算法库，数论和组合数学算法库，矩阵类，并查集类，回文树类，排序算法库，string类扩展功能库，touchable_heap容器类以及各种容器类型的ostream输出支持和实用调试工具等。 <hr> <h2 id="2025专业技能">（2025）专业技能</h2> <ul> <li>熟练掌握C++、Python，熟悉Golang、Lua。扎实的数据结构和基础算法能力。</li> <li>热爱编程，良好的代码规范和文档习惯。喜欢编写高质量、通用的、可分享复用的代码库。喜欢C++泛型编程，GitHub上有个人开源项目。</li> <li>具有高吞吐、高并发、高性能、高可用的微服务开发和优化经验。</li> <li>深入理解评论排序服务，有百万QPS级评论排序服务全链路开发优化经验，具备从0到1搭建能力。</li> <li>熟悉推荐系统架构。对机器学习和推荐算法等稍有了解。</li> <li>知识结构包括数据结构及常用算法、计算机网络、操作系统、数据库以及系统测试等。</li> </ul> <h2 id="教育经历">教育经历</h2> <table> <thead> <tr> <th>时间</th> <th>学校</th> <th>院系</th> <th>专业</th> <th>学位</th> </tr> </thead> <tbody> <tr> <td>2014/09 – 2017/06</td> <td>东南大学</td> <td>自动化学院</td> <td>模式识别与智能系统</td> <td>工学硕士</td> </tr> <tr> <td>2010/09 – 2014/06</td> <td>东南大学</td> <td>自动化学院</td> <td>自动化</td> <td>工学学士</td> </tr> </tbody> </table> <h2 id="在校时期专业技能">(在校时期)专业技能</h2> <ul> <li>熟练掌握C/C++语言，能够快速运用C/C++进行软件开发，爱好泛型编程；</li> <li>熟练掌握Python语言编程。</li> <li>熟练掌握数据结构和常用算法设计，喜欢编程比赛，在Github上创建并维护一个开源算法库。</li> <li>熟悉Linux系统操作及Bash脚本编程，熟悉Unix/Linux环境编程。</li> <li>熟悉嵌入式Linux系统开发流程，掌握MCU、DSP、ARM等处理器的硬件系统设计与软件开发；</li> <li>知识结构包括数据结构及常用算法、计算机网络、操作系统、数据库以及系统测试等。</li> </ul> <h2 id="在校时期获奖情况">(在校时期)获奖情况</h2> <table> <thead> <tr> <th>时间</th> <th>奖项</th> <th>名次</th> <th>级别</th> </tr> </thead> <tbody> <tr> <td>2016</td> <td>计蒜之道2016程序设计大赛</td> <td>复赛前400</td> <td>企业级</td> </tr> <tr> <td>2016</td> <td>思杰代码大师</td> <td>二等奖(第二名)</td> <td>企业级</td> </tr> <tr> <td>2016</td> <td>白山极客挑战赛</td> <td>铜奖(138/825)</td> <td>企业级</td> </tr> <tr> <td>2016</td> <td>华为2016软件精英挑战赛</td> <td>江山赛区二等奖</td> <td>企业级</td> </tr> <tr> <td>2016</td> <td>Calix 2016 Future Star编程大赛</td> <td>三等奖</td> <td>企业级</td> </tr> <tr> <td>2015</td> <td>全国研究生数学建模大赛</td> <td>二等奖</td> <td>国家级</td> </tr> <tr> <td>2015</td> <td>东南大学自动化学院研究生会先进个人</td> <td></td> <td>院级</td> </tr> <tr> <td>2014</td> <td>全国研究生数学建模竞赛</td> <td>三等奖</td> <td>国家级</td> </tr> <tr> <td>2014</td> <td>东南大学自动化学院本科生优秀毕业设计</td> <td></td> <td>院级</td> </tr> <tr> <td>2013</td> <td>东南大学电子设计竞赛</td> <td>一等奖</td> <td>校级</td> </tr> <tr> <td>2013</td> <td>东南大学智能车竞赛</td> <td>优秀奖</td> <td>校级</td> </tr> <tr> <td>2012</td> <td>东南大学Robcup机器人竞赛3D仿真组</td> <td>三等奖</td> <td>校级</td> </tr> </tbody> </table> <h2 id="在校时期项目经历">(在校时期)项目经历</h2> <ul> <li> Cplusplus Imporvement Library C++开源算法库(<a href="https://github.com/peacalm/Cplusplus-Improvement-Library">https://github.com/peacalm/Cplusplus-Improvement-Library</a>) 对C++标准库的扩展。包括高精度整数类型，树状数组类，位操作算法库，数论和组合数学算法库，矩阵类，并查集类，回文树类，排序算法库，string类扩展功能库， touchable_heap容器类以及各种容器类型的ostream输出支持和实用调试工具等。 </li> <li> 电梯安全检测仪系统设计 设计一款仪器通过对电梯运行过程中的震动、噪声、温湿度、开关门情况等信息的测量与分析评估电梯的安全情况。主要负责仪器的整机方案设计和双目视觉测距测速模块的研发。 </li> <li> 基于MCU的血液凝固检测仪系统设计和实现 本科毕设。 </li> </ul>

2022/6/10

Maglev一致性哈希和动态负载均衡 | Maglev Consistent Hasher and Dynamic Load Balancer

本文重点描述Maglev一致性哈希算法，并提出使Maglev一致性哈希算法支持带权重候选节点的改进方式，以及描述了一致性哈希下的动态负载均衡策略，并给出开源<a href="https://github.com/peacalm/cpp-maglev">C++实现代码库</a>。 <h2 id="一致性哈希">一致性哈希</h2> 一致性哈希是一种将属于无限集的key稳定地映射到属于有限集的候选节点上的算法，它需要满足： <ul> <li>稳定：候选节点集合不变时，一个固定的key，会稳定不变地映射到某一个候选节点上；</li> <li>最小扰动：当增加或减少候选节点时，只有少部分key需要重新映射，大部分key的映射结果不变；</li> <li>均衡：不同key应该均匀地分散到各个候选节点上，即一个key映射到每一个候选节点上的概率是相等的。</li> </ul> <h2 id="常见一致性哈希算法">常见一致性哈希算法</h2> 环形哈希，也叫割环法，经典的一致性哈希算法，作者Karger等人于1997年提出一致性哈希算法的概念，然后提出了这个一致性哈希算法。更新和查询时间复杂度都是O(log(n))，空间复杂度O(n)，但是通常均衡性不好，需要加入较多虚拟节点，也就加倍了时间和空间复杂度。 Jump Consistent Hash。极简的一致性哈希算法，不到十行代码。查询时间复杂度是O(log(n))，不需要更新操作，也不需要额外存储空间。但是不能随机增删候选节点，只能在有序候选节点队列的尾部增删节点，实用性不强。 Maglev一致性哈希算法。查询时间复杂度O(1)，更新时间复杂度O(m)，空间复杂度O(m)，m通常为至少比n大10倍以上的一个素数常量。较为实用，效果较好，下面重点介绍。 <h2 id="maglev一致性哈希算法描述">Maglev一致性哈希算法描述</h2> <ol> <li>选取哈希槽长度，素数M，生成空哈希槽数组；</li> <li>将候选节点列表排序；</li> <li>对每一个候选节点哈希得到两个随机数A、B(模M-1再加1保证非0或M的倍数)，然后得到一个从0到M-1的排列：X[k] = (A + k*B)%M, k=0,1,…,M-1；</li> <li>排列中每一个数字代表一个槽位，轮询每一个候选节点的排列，从左到右选择排列中的第一个空槽位填充进去，直到哈希槽填充完整为止；</li> <li>对一个输入key，通过 key%M 映射到哈希槽中对应的候选节点。（这里的key通常需要哈希一下得到一个大随机数）</li> </ol> 优缺点： <ul> <li>优点：分片均匀，均衡性好，查询速度快O(1)</li> <li>缺点：增删节点后更新较慢O(n)，并且没有完全实现最小扰动。</li> </ul> <h2 id="一致性哈希支持带权重候选节点">一致性哈希支持带权重候选节点</h2> <h3 id="通用做法增加虚拟节点">通用做法：增加虚拟节点</h3> 通常一致性哈希算法都是不支持带权重候选节点的，也就是一个key映射到每一个候选节点的概率是相等的。因此，想要实现带权重的一致性哈希的一个普遍思路是增加虚拟节点。将一个实际的候选节点拆成多个虚拟节点，拆成的虚拟节点的多少，即代表了这个实际候选节点的权重的大小。 <h3 id="maglev一致性哈希算法支持带权重候选节点的特殊做法按权重正比概率阈值填充哈希槽位">Maglev一致性哈希算法支持带权重候选节点的特殊做法：按权重正比概率阈值填充哈希槽位。</h3> 通常，增加虚拟节点的做法相当于增加了候选节点数n，如果时间空间复杂度与n有关，那么会相应增加复杂度。其次，如果虚拟节点数增加的少，那么实际的权重比例会比较粗糙，即精度不够。 Maglev算法的查询时间复杂度与n无关，是O(1)，所以增加虚拟节点法不会影响Maglev的查询速度，但是由于Maglev算法需要选取一个比候选节点数大很多的大素数M，且这个M关系到更新的时间复杂度和占用的空间复杂度，因此采用增加虚拟节点法也会增加一些消耗。 观察Maglev算法哈希槽的填充过程可知，该算法是轮训每一个候选节点，让每一个候选节点占有一个哈希槽后才轮到下一个候选节点。因此可以试想，只要让轮训到当前候选节点时，不一定完全占有一个候选节点，而是设定一个与该节点的权重成正比的概率阈值，达到这个阈值后才占有一个哈希槽。这个概率阈值可以是：当前节点的权重除以所有节点的权重的最大值。可以看出，无权重的情况，也就相当于每一个候选节点的权重都相等，因此对应的概率阈值也都相等，都是1。另外，为了保证一致性哈希算法的稳定性，这里的概率生成要用稳定的伪随机概率，每一个候选节点用自己的固定信息，比如节点ID，作为一个伪随机序列的种子，用这个伪随机序列称重的概率与对应的概率阈值相比较，来判断该节点在这一次轮训中要不要占有一个哈希槽位。 <h2 id="一致性哈希下的动态负载均衡">一致性哈希下的动态负载均衡</h2> 由开头对一致性哈希算法的描述中可以，输入的key是属于无限集的，是无法提前预知的，无法对其做任何分布性的要求。因此，极有可能，输入的key就是极其不均衡的，而纯粹的一致性哈希又是要求结果必须是稳定的，所以不均衡的输入集，最终会造成不均衡的映射结果。比如常见的热key问题，纯一致性哈希是无法解决的。 因此，为了在未知的不确定的任意的输入集上都保持良好的均衡性，需要动态的调整映射策略，需要统计感知每一个候选节点当前的负载情况，如果负载过高，则应该将当前key用某种算法重新映射到另外一个节点上，而这个重新映射的算法最好也是稳定的。 对于Maglev算法来说，笔者提出一个简单的重新映射算法：<code>(key + (key % C + 1) * retry_cnt) % M</code>。其中C是某一个常数，而retry_cnt是重新映射次数，可见当retry_cnt为0时，即首次映射时，该算法就退化到了Maglev算法描述第5步描述的 <code>key % M</code>的算法。 除了重新映射即重新选取候选节点外，对于动态负载均衡来说，另一个重点是，如何描述节点负载以及如何判断是否负载过高。 对于候选节点无权重的情况来说，任意一个候选节点每接收一个key，就增加这个key对应的负载值，如果所有的key对应的负载值都一样，即可记为1。对于候选节点有权重的情况来说，不同的候选节点接收同一个key后对自身的负载影响是不同，需要乘以一个以自身权重为分母的负载归一化因子，比如可以是：所有候选节点的权重的平均值除以当前节点的权重。这样，每一个候选节点接收一个key后，需要增加自身的负载归一化因子乘上这个key对应的负载值后，这么多的负载增量。 有了每一个key对每一个候选节点的负载增量定量描述后，就可以计算所有候选节点的平均负载值，然后设定一个阈值，负载大于平均负载某一个倍数的节点，即可认为是过载节点。例如，这个倍数可选1.2 ~ 1.5。 特别的，在RPC场景下，候选节点就相当于是远程服务器，每处理一个key就相当于一次远程服务请求。因此，请求量、错误量、延时等信息也可用来描述候选节点的负载。错误数较多，延时过高时，即可认为当前节点负载过高。但是为了避免全局的一致性哈希结果被大量破坏，可以对候选节点的每一项负载情况进行排名，然后限制只有该项负载排名很高的几个节点才能在这一负载项上被判定为过载。 最后，负载是动态变化的，负载的统计记录信息需要实时更新，通常需要一个滑动窗口，每隔固定几秒钟，就生成一个新的统计单元，并滑动滑动窗口，丢弃窗口中最老的统计单元的数据，加入最新的统计单元的数据。 <h2 id="开源实现">开源实现</h2> 以上所描述的Maglev一致性哈希算法，以及在此一致性哈希基础上的动态负载均衡策略，笔者已有一个完整的C++开源实现。代码详见GitHub：<a href="https://github.com/peacalm/cpp-maglev">cpp-maglev</a>

2022/5/20

在线服务的异步RPC延时控制和无锁异步任务同步组件

<h2 id="一关于延时">一、关于延时</h2> <h3 id="控制延时是保证在线服务可用性的必要手段">控制延时是保证在线服务可用性的必要手段</h3> 在线服务对延时敏感。一般对在线服务发起远程调用时，都会配有一个超时限制，一旦请求超时，则认为本次请求失败，服务不可用。因此控制延时是保证在线服务可用性的必要手段。 <h3 id="rpc远程调用耗时的复杂性">RPC远程调用耗时的复杂性</h3> 网络环境是不可靠的，数据在网络中传输的耗时是不可控的，因此为了控制延时，需要为每次socket发送和接受数据都配置一个超时限制。而一次RPC远程调用可能需要执行多次socket请求，例如数据包很大、io状态不佳、需要重试等原因，因此为单次socket请求设置的超时限制，并不能准确代表一次RPC远程调用的网络耗时。 因此，为了更准确控制超时，一些RPC框架内置了io线程池，采用异步方式进行socket网络请求，超时控制会比同步模式准确一些。 不过，虽然异步请求是比同步请求模式更先进的控制超时的方式，但更复杂，也引入了更多影响延时的因素和需要关注和调优的参数。例如，异步模式虽然可以避免多次socket请求对超时控制的影响，但又引入了 io线程池的调度耗时、控制异步io超时的定时器的准确性等因素对总体RPC延时的影响。 再退一步，从业务客户端视角看，一次RPC远程调用的耗时，除了网络耗时，还包括数据在本端（客户端）和远端（服务端）的序列化和反序列化耗时，当数据包过大时，这一部分耗时和对CPU的消耗也是不能忽视的。 <h3 id="异步rpc是必要的">异步RPC是必要的</h3> 因此，使用异步RPC远程调用总是必要的，除了能使延时控制得更准确外，还可以并行执行多个RPC请求，进一步降低延时，而并行执行一些相互独立的任务也是降低延时的非常重要的优化策略。 更进一步，除了RPC框架内置的异步网络请求模式外，还可以再退一层，站在业务的更大的视角上看，在在线服务内建立线程池，用于执行异步任务，这些异步任务不仅可以包括RPC框架涵盖的网络请求，还可以包含数据的序列化反序列化，以及业务上需要特殊处理的逻辑。例如，假如一个业务上的异步任务其实内部需要先后访问两次远程服务，然后再做一些处理，那么用一个业务上的异步任务给它一个整体上的超时，对业务上讲，控制延时将更准确。或者，业务上的异步任务可以仅仅是对使用了同步RPC框架的一次RPC任务的封装，那么这个业务上设定的超时，就包含了网络耗时、数据序列化反序列化耗时、业务特殊处理逻辑等所有步骤的耗时，比单独使用RPC框架的超时，控制延时更准确。 <h2 id="二关于同步">二、关于同步</h2> 异步执行的程序之间总是需要同步的。 <h3 id="无锁同步">无锁同步</h3> 线程间同步一般常用锁，例如互斥锁、读写锁等，而"无锁"同步，一般就要直接使用原子标记，事实上，锁的内部实现方式也是使用了原子标记。 <h3 id="异步任务同步">异步任务同步</h3> 业务上给每一个异步任务都设定一个预期的超时时间，主线程发送出一个或多个异步任务后，等待一段时间——这个时间应该是这些异步任务超时时间的最大值——让这些任务并行执行一会儿，然后需要判断异步任务执行得怎么样了，是已经成功了？或是已经失败了？或是还在执行中？如果还在执行中，那么主线程可以给这个任务标记为"已超时"，让这个超时任务不要再影响主线程，或进入超时任务的特殊处理方法。 异步任务成功或失败的标记信息，是任务线程发送给主线程的信号，而任务已超时的信息，是主线程发送给任务线程的信号。这些就涉及到线程间同步问题。 <h3 id="异步任务无锁同步组件c为例">异步任务无锁同步组件，C++为例</h3> 以下C++实现代码中 SyncKit类就是一个简单的异步任务无锁同步组件，它是主线程和异步任务线程共享的数据结构，分别为其定义了可调用成员方法。主线程调用master_开头的方法，异步任务线程调用slave_开头的方法。 主线程使用方式很简单，发出异步任务后等待一段时间，然后调用master_check_ret()检查结果即可。任务线程使用方式稍微复杂，主要要保证任务完成后将结果数据写入主线程提供的承载任务结果的数据结构时，要保证主线程尚在等待，还没有标记超时。否则，如果主线程已经标记了超时，代表主线程可能已经开始使用承载任务结果的数据结构了，如果此时任务线程还对这个数据结构进行修改，那么就会造成并发安全问题。 slave样例伪代码见下代码注释中。 <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">// 用于保存异步任务执行结果的整型状态码。 // 正数为任务成功，负数为任务失败，0代表尚未完成，可被判成超时。 class TaskResultCode { public: TaskResultCode() : ival_(0) {} int value() const { return ival_; } bool unready() const { return ival_ == 0; } bool succeeded() const { return ival_ > 0; } bool failed() const { return ival_ < 0; } template <int i = 1> void set_succeeded() { static_assert(i > 0, "success code should be positive"); ival_ = i; } template <int i = -1> void set_failed() { static_assert(i < 0, "failure code should be negative"); ival_ = i; } private: std::atomic<int> ival_; }; // 异步任务同步工具。主线程为master，任务线程为slave。 // 主线程发送异步任务时，打包一个SyncKit用作同步，同时还可以传入一个共享数据结构， // 用于让slave把任务执行结果数据保存在此。 class SyncKit { public: SyncKit() = default; // 主线程master检查异步任务执行结果，如果尚未完成则标记已经超时。 const TaskResultCode& master_check_ret() { if (task_done_) { return ret_; } is_timeout_ = true; if (slave_checking_timeout_) { while (!task_done_) {} // waiting return ret_; } return ret_; } // 主线程检master查任务结果，但不标记超时。 const TaskResultCode& master_peek_ret() { return ret_; } /** * slave code example: * * if slave_test_timeout(): * return * if invalid parameters or conditions: * slave_set_failed_unsafe<some failure code> * * slave starts to run a task。 e.g. do some RPC. * * // 异步任务已经完成，准备将任务结果写回到与master共享的数据结构中。 * // 写之前先判断master是否已经标记超时。 * if slave_check_whether_timeout(): * return * * // 尚未超时，master还在等待。此后的代码逻辑必须保证slave一定会调用 * // slave_set_failed<failure code>()或slave_set_succeeded<success code>() * // 并最终对 task_done_ 赋值为true，否则可能阻塞主线程。 * * if task failed: * slave writes failed result to shared data or does nothing. * slave_set_failed<some failure code>() * else: * slave writes succeeded result to shared data. * slave_set_succeeded<some success code>() * */ // 任务线程slave检查主线程master是否已经标记超时。如果已经标记为超时， // 则slave不能再对与master共享的数据结构做任何修改，因为此时master可能正在读取这些数据。 // 任务线程slave在修改与master共享的数据结构之前，必须调用此方法确保尚未超时。 bool slave_check_whether_timeout() { slave_checking_timeout_ = true; if (is_timeout_) { task_done_ = true; return true; } else { return false; } } bool slave_test_timeout() const { return is_timeout_; } template <int failure_code = -1> void slave_set_failed() { ret_.set_failed<failure_code>(); task_done_ = true; } template <int success_code = 1> void slave_set_succeeded() { ret_.set_succeeded<success_code>(); task_done_ = true; } // use default code 1 for succeeded and -1 for failed. void slave_set_ret(bool succeeded) { if (succeeded) { slave_set_succeeded(); } else { slave_set_failed(); } } // unsafe, could call this without calling slave_check_whether_timeout first. // 但是可能导致master观测到的TaskResultCode变化一次，从0变为负数。 template <int failure_code = -1> void slave_set_failed_unsafe() { if (!is_timeout_) { ret_.set_failed<failure_code>(); } task_done_ = true; } private: std::atomic<bool> is_timeout_{false}; std::atomic<bool> slave_checking_timeout_{false}; std::atomic<bool> task_done_{false}; TaskResultCode ret_; }; // 以下是一些配套工具代码 typedef std::shared_ptr<SyncKit> SyncKitPtr; inline SyncKitPtr new_sk() { return std::make_shared<SyncKit>(); } struct SyncKitGuard { SyncKitPtr sk; std::string name; SyncKitGuard() : sk(new_sk()) {} SyncKitGuard(std::string n) : sk(new_sk()), name(std::move(n)) {} SyncKitGuard(std::string n, SyncKitPtr orther_sk) : sk(orther_sk), name( std::move(n)) { assert(sk != nullptr); } SyncKitGuard(SyncKitGuard&& r) : sk(std::move(r.sk)), name(std::move(r.name)) { r.sk = nullptr; } SyncKitGuard(const SyncKitGuard& r) = delete; ~SyncKitGuard() { if (sk) sk->master_check_ret(); } }; struct SyncKitGuardList : public std::list<SyncKitGuard> { SyncKitGuard& new_back(std::string name = "") { push_back(SyncKitGuard(std::move(name))); return back(); } }; struct SyncKitGuardMap : public std::map<std::string, SyncKitGuard> {}; </code></pre></td></tr></table> </div> </div>留一个思考题，SyncKit类中的这些原子bool类型，最低需要使用什么MemoryOrder呢？ sec_cst? release-acquire? relaxed?

2022/4/18

什么是好的本地缓存 | What Is a Good Local Cache

缓存技术，Cache，特别是LocalCache，是软件开发中非常常用的组件，也是提高性能的最简单的方式。 Cache一般有SideCar和Wrapper两种使用模式。 <h2 id="cache的使用模式">Cache的使用模式</h2> <ol> <li>SideCar模式：需要应用程序自己主动访问数据源服务并读写缓存。</li> </ol> 这种模式可以是LocalCache，与应用程序集成部署，但是由于Cache功能与业务逻辑无耦合，非常独立，所以出现了很多优秀的独立出来的非常通用的第三方独立缓存服务，比如Redis，Memcached等。独立缓存服务一般与应用程序分开，独立部署，需要通过网络进行交互，数据量较大或对性能要求较高时，网络带宽消耗、延时、数据序列化反序列化的CPU消耗不能忽视。 <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 4 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-text" data-lang="text">Cache ↑ | App --> DataSource </code></pre></td></tr></table> </div> </div><ol start="2"> <li>Wrapper模式：应用程序只需要访问缓存，缓存具有代理能力可以帮助应用程序去访问数据源服务。</li> </ol> 这种模式需要对Cache做特殊化定制，一般是LocalCache，与应用程序集成部署，只需在内存中进行交互，性能较高。如果Cache设计的好，可以极大简化业务代码，可以提高组件可复用性。 <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-text" data-lang="text">App --> Cache --> DataSource </code></pre></td></tr></table> </div> </div>那么怎么才算是一个好的LocalCache呢？从业务应用上要灵活好用，满足多种多样的业务需求，同时也要具有基本的高性能。 <h2 id="灵活好用">灵活好用</h2> <ul> <li>具有单Key读写接口，也具有Batch读写接口。</li> <li>可以动态修改CacheSize，一般指缓存的数据条目数。</li> <li>可配置缓存策略，例如：LRU，LRU-k(lazy list adjustment)，FIFO等。</li> <li>可以设置一个数据的默认过期时间，也可以动态设置每一个Key的过期时间，特别的，在插入或读取时都可以设置和判断过期。</li> <li>可以配置读取数据源服务的CallbackOnFetching方法，以便应用Wrapper模式，当Key不存在或过期时，用来获取新数据。</li> <li>过期数据不自动删除，可配置一个CallbackOnExpiration方法来注入对过期数据的处理方式。比如可以删除数据，或把过期数据发送到某个消息队列、写入硬盘等，或不对过期数据做任何处理，只等缓存用满以后自动逐出。</li> <li>支持多种QueryFlags: <ul> <li>Uncacheable: 本次Query不读写Cache，只从数据源服务获取数据并返回，不写入Cache，相当于没有Cache，只对Query做转发。</li> <li>Refresh: 本次Query不读取Cache数据，重新从数据源服务获取最新数据，并写入Cache，相当于刷新缓存。</li> <li>Peek: 本次Query只读取Cache数据，即使Miss或Expired也不从数据源服务获取最新数据，可用于窥测Cache状态，或保护后端数据源服务。</li> <li>Stale: 本次Query读取Cache数据时，可以接受过期的数据。</li> <li>StaleFailover: 本次Query如果从远程数据源服务读取数据失败，则可以接受Cache中的过期的数据。</li> <li>Fast: 本次Query只返回Cache里的数据，如果Miss或Expired，则发送Reload任务刷新缓存，不阻塞当前Query。</li> <li>Preload: 本次Query如果在Cache中读取到合法数据，但是数据快过期了（比如已过了过期时间的80%，阈值可配置），则发送一个Reload任务来刷新缓存。</li> <li>ReturnExpired: 本次Query如果在Cache中读到了过期的数据，则把过期的数据也一起返回，供用户自主决定处理方式。</li> </ul> </li> <li>内置线程池可执行Reload任务，从数据源服务获取数据并填充Cache。</li> <li>可配置内置WatchDog线程，检查快要过期的数据并发送Reload任务，或清理过期数据等。</li> <li>可迭代操作Cache中的每一条数据，例如把Cache中的数据读出写入到其他设备。</li> </ul> <h2 id="高性能">高性能</h2> <ul> <li>并发性好。例如采用分桶机制、采用TBB的高性能并发容器库等。</li> <li>内存使用效率高。</li> </ul>

2022/3/30

在线服务参数管理 | Parameters Management for Online Service

互联网公司业务发展快，策略复杂，软件迭代变更非常频繁。因此有必要有一套良好的参数管理思想控制在线服务的表现，以支持业务的频繁变更和AB实验等。 <h2 id="参数分类">参数分类</h2> <ul> <li> 默认配置参数：分为远程配置和本地配置。远程配置可动态修改、动态加载，而不需要升级或重启服务，使用方便，但是有稳定性和可靠性风险，比如由于网络中断、提供远程配置的载体服务异常等原因而导致取不到配置信息。因此，还需要一套本地配置，随服务一起发布，理论上配置信息应该与远程配置是一模一样的，但由于本地配置发布频率低，可能会比远程配置版本低，不过问题不大，本地配置主要是对远程配置不可用时做兜底的，生效时机较少。 </li> <li> 实验参数：一般指AB实验的策略配置参数。 </li> <li> 降级参数：服务故障时，临时注入的策略参数，用于降低策略复杂度、降低服务消耗、提高服务可用性，可能会对实验指标、效果指标有损。由于AB实验指标可能对业务发展比较重要，因此降级参数还可以再细分一下优先级，分为优先级高于AB实验参数的高优降级参数和优先级低于AB实验参数的低优降级参数。发生轻微故障时，使用低优降级参数则不会对实验指标有影响。 </li> </ul> <h2 id="优先级">优先级</h2> 服务初始化时，按照一定优先级合并多种参数用于后续处理。综上描述，按优先级从高到低，这一套在线服务参数的排列顺序是： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-fallback" data-lang="fallback">高优降级参数 -> 实验参数 -> 低优降级参数 -> 默认配置参数(远程配置参数或本地配置参数) </code></pre></td></tr></table> </div> </div>

2022/3/17

C++轻量级输出库MyOStream：可打印输出所有成员可迭代的容器

<h2 id="懒汉的烦恼">懒汉的烦恼</h2> 使用C++编程时对数据打印输出比较麻烦，需要自行用for循环将vector, list, map等容器的成员一一打印输出。相比之下Python, Golang等语言就可以直接对所有数据类型打印输出，这对于debug是很友好的特性。因此，我开发了一个简单的C++库，几乎能够对所有容器直接打印输出，说几乎是因为我们只能对成员可访问可迭代的容器支持这个特性。 支持的类型如下，以及他们的组合类型： std::pair, std::tuple, std::array, std::deque, std::forward_list, std::initializer_list, std::list, std::vector, std::set, std::multiset, std::unordered_set, std::unordered_multiset, std::map, std::multimap, std::unordered_map, std::unordered_multimap. <h2 id="acmer助手">ACMer助手</h2> 特别的，我们在打ACM比赛或做类似的OJ题目的过程中，需要debug的时候，我们不仅想要打印容器里的值，而且还想要同时打印出变量名，以便我们在解题时，如果定义了多个容器变量，我们可以知道哪个变量的值使哪一个值，因此我设计了watch功能。 宏定义watch可以用一下两种方式：一，用std::cout输出MYOSTREAM_WATCH_TO_STRING生成的字符串： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">#include <myostream.h> #define watch(...) std::cout << MYOSTREAM_WATCH_TO_STRING(std::string, " = ", "\n", "\n\n", __VA_ARGS__) </code></pre></td></tr></table> </div> </div>二，直接使用MYOSTREAM_WATCH，坏处是这里定义了一个变量<code>mycout</code>，这段代码不能在头文件中被多个源文件include: <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">#include <myostream.h> myostream::ostream mycout(std::cout.rdbuf()); #define watch(...) MYOSTREAM_WATCH(mycout, " = ", "\n", "\n\n", __VA_ARGS__) </code></pre></td></tr></table> </div> </div>例如，如下debug代码： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-C++" data-lang="C++">#include <iostream> #include <vector> #ifndef ONLINE_JUDGE #include <myostream.h> myostream::ostream mycout(std::cout.rdbuf()); #define watch(...) MYOSTREAM_WATCH(mycout, " = ", "\n", "\n\n", __VA_ARGS__) #else #define watch(...) #endif int main() { std::vector<int> v{1, 2, 3}; watch(v); std::tuple<std::vector<int>, std::map<int, std::set<std::string>>, std::pair<std::string, double>> complex({1, 2, 3}, {{1, {"a", "aa"}}, {2, {"b", "bb"}}}, {"Aya", 88.5}); watch(complex); return 0; } </code></pre></td></tr></table> </div> </div>在本地编译运行，可以输出： <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code>1 2 3 </code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-text" data-lang="text">v = [1, 2, 3] complex = <[1, 2, 3], {1: {a, aa}, 2: {b, bb}}, (Aya, 88.5)> </code></pre></td></tr></table> </div> </div>而在线提交，或定义了宏ONLINE_JUDGE后，则什么都不输出。 <h2 id="附录">附录</h2> <ul> <li><a href="https://github.com/peacalm/myostream">lib MyOStream on github</a></li> </ul>

2022/3/16

字节跳动发展史 | History of Bytedance

<ul> <li> 2012年3月9日，字节跳动Bytedance成立于北京海淀锦秋家园一个四居室内。天使轮融资，500万元，顺为资本、晨兴资本投资。 </li> <li> 2012年5月，内涵段子发布。 </li> <li> 2012年7月，A轮融资，500万美元，SIG海纳亚洲独家投资。 </li> <li> 2012年8月，今日头条1.0版本上线。 </li> <li> 2012年10月，累计用户数超过1000万。 </li> <li> 2012年底，1500万激活用户数，近160万DAU。今日头条DAU超过100万？ </li> <li> 2013年3月，今日头条日活跃用户突破100万。 </li> <li> 2013年5月下旬，B轮融资，5000万美元，俄罗斯投资集团DST独家投资。公司估值千万+美元。 </li> <li> 2013年5月，第一次搬家，搬入盈都大厦10层。 </li> <li> 2013年8月，今日头条用户数突破5000万。开始尝试商业化。 </li> <li> 2013年11月，今日头条和内涵段子激活用户数超过6000万，DAU接近600万，公司人数接近一百人。 </li> <li> 2013年12月，累计用户数超过9500万。 </li> <li> 2014年4月，今日头条MAU3000万。 </li> <li> 2014年6月，今日头条激活用户数1.2亿，MAU4000万。C轮融资，1亿美元，红杉资本、新浪微博基金领投。公司估值5亿美元。 </li> <li> 2014年9月，今日头条日活跃用户突破1000万。 </li> <li> 2014年12月，累计激活用户超过2亿。 </li> <li> 2014年底，公司人数约500人？ </li> <li> 2015年1月，今日头条累计用户2.2亿，DAU2000万。 </li> <li> 2015年4月，累计激活用户超过2.5亿。 </li> <li> 2015年7月，总DAU超过5000万（WAP端+移动端），累计激活用户超过2.7亿。 </li> <li> 2015年9月，累计激活用户数超过3亿，DAU超过3000万。 </li> <li> 2015年9月8日，今日头条推出头条号“千人万元”计划，同时推出“新媒体孵化器计划”。 </li> <li> 2015年12月，举办第一次ByteDance面对面。 </li> <li> 2015年底，今日头条DAU3300万，公司人数大约1200人。 </li> <li> 2016年2月，今日头条开辟“头条寻人”平台。 </li> <li> 2016年2月28日，从盈都搬到了中航广场。 </li> <li> 2016年6月，累计激活用户数超过5亿，DAU超过4800万。 </li> <li> 2016年8月，今日头条战略投资国内知名图片库东方IC。 </li> <li> 2016年8月底，累计激活用户数超过5.5亿，DAU超过6000万。 </li> <li> 2016年9月，抖音上线。 </li> <li> 2016年9月20日，张一鸣宣布将在未来一年拿出10亿人民币扶持短视频创作者。 </li> <li> 2016年10月15日，今日头条领投印度版今日头条Dailyhunt D轮融资。 </li> <li> 2016年10月，今日头条激活用户数超过6亿，MAU超过1.4亿，DAU超过6600万，单用户日均使用时长超过76分钟。 </li> <li> 2016年12月，D轮融资，10亿美元，建银国际、红杉资本投资。公司估值110亿美元。 </li> <li> 2016年底，今日头条累计激活用户数超过7亿，DAU超过7800万。公司人数4千？ </li> <li> 2016年营收约60亿元。 </li> <li> 2017年2月，5000万美元全资收购美国移动短视频创作者社区Flipagram。 </li> <li> 2017年5月，TikTok上线。 </li> <li> 2017年9月，E轮融资，2亿美元，老虎基金、美国泛大西洋(600558)投资集团投资。公司估值220亿美元。 </li> <li> 2017年11月，5000万美元投资猎豹移动旗下Live.me，8660万美元收购猎豹移动旗下News Republic，10亿美元收购Musical.ly，系彼时最大收购。 Musical.ly MAU6000万，美国MAU2000万，49%的用户都在美国。 </li> <li> 2017年11月，公司内部开始全面使用飞书（当时名为Lark）。（飞书2014年底内部成立，2019年起对外开放） </li> <li> 2017年底，公司人数1.3万？ </li> <li> 2017年营收约160亿元。 </li> <li> 2018年1月，TikTok MAU5500万。 </li> <li> 2018年2月，3亿美元收购Faceu激萌。 </li> <li> 2018年2月，发布“字节范”(5条)和“领导力原则”。 </li> <li> 2018年4月，抖音DAU破亿。 </li> <li> 2018年4月10日下午，内涵段子被关停。损失2000万DAU，50亿年收入。 </li> <li> 2018年4月，公司品牌名从"今日头条"改为"字节跳动"。 </li> <li> 2018年10月，Pre-IPO轮融资，40亿美元，春华资本、软银中国、云锋基金投资。公司估值750亿美元。 </li> <li> 2018年12月，TikTok MAU 2.7亿。 </li> <li> 2018年底，公司人数3.5万？ </li> <li> 2018年营收约500亿元。 </li> <li> 2019年1月，发布商业化品牌巨量引擎。 </li> <li> 2019年1月，3亿人民币收购锤子科技部分专利使用权，探索教育领域相关业务。 </li> <li> 2019年5月，视频编辑工具剪映上线。 </li> <li> 2019年7月，成立教育部门ZERO，陈林为负责人。朱文佳接替陈林作为今日头条CEO。 </li> <li> 2019年11月，免费阅读产品番茄小说正式上线。 </li> <li> 2019年12月，TikTok MAU 5亿。 </li> <li> 2019年12月，公司发布使命：激发创造，丰富生活。 </li> <li> 2019年底，公司人数6万？ </li> <li> 2019年营收约1400亿元。 </li> <li> 2020年1月，抖音宣布DAU超过4亿。 </li> <li> 2020年3月30日，战略融资，Tiger Global Management(老虎环球基金)投资，未披露金额。公司估值达1000亿美元。 </li> <li> 2020年6月，推出企业技术服务平台“火山引擎”。抖音电商正式成立。 </li> <li> 2020年6月，员工数7万？ </li> <li> 2020年7月，TikTok MAU 6.9亿。 </li> <li> 2020年8月，抖音DAU超6亿。 </li> <li> 2020年9月，抖音宣布DAU突破6亿（抖音火山合并）。 </li> <li> 2020年10月，战略融资，20亿美元，红杉资本、KKR等投资。公司估值1800亿美元。 </li> <li> 2020年10月底，教育部门ZERO启用全新品牌"大力教育"，陈林出任CEO，教育部门已超过一万人，决心三年不盈利，专心做产品。 </li> <li> 2020年11月10日，抖音电商发出第10亿个包裹。 </li> <li> 2020年底，全球所有应用程序的月活用户数达19亿。员工数超过十万人，其中正式员工近9万人。 </li> <li> 2020年营收约2400亿元。营收343亿美元，毛利润增长93%至190亿美元，经营亏损21亿美元。 </li> <li> 2021年1月，抖音生活服务正式启动。 </li> <li> 2021年2月，国际电商启航，TikTok Shop上线。 </li> <li> 2021年3月，40美元收购沐瞳科技（100亿人民币现金和价值150亿人民币的股权）。 </li> <li> 2021年5月20日，张一鸣宣布卸任CEO，梁汝波继任，年底完成交接。 </li> <li> 2021年6月，字节跳动全线产品MAU超19亿。 </li> <li> 2021年8月，收购VR创业公司Pico，50亿元？15亿美元(97亿人民币)？正式组建字节XR业务线，并积极拓展全球市场。 </li> <li> 2021年9月(10月？)，TikTok 全球MAU突破10亿，DAU 6亿。 </li> <li> 2021年11月，梁汝波宣布组织调整，成立6个业务板块：抖音（包括头条、西瓜、搜索、百科等国内信息和服务业务）、大力教育、飞书、火山引擎（企业级技术服务云平台）、朝夕光年（游戏业务）、TikTok。 </li> <li> 2021年营收580亿美元，约3700亿人民币，同比增长70%。 </li> <li> 2022年4月，汽水音乐上线。 </li> <li> 2022年6月，更新字节范和领导力原则。（6条，4个板块） </li> <li> 2023年2月，抖音寻人7年帮助20000个家庭团圆。 </li> <li> 2023年3月，豆包App正式上线。 </li> <li> 2023年5月，红果短剧正式上线。 </li> <li> 2024年5月，豆包大模型正式发布。 </li> <li> 2024年7月，即梦AI正式上线。 </li> <li> 2024年8月，TikTok Shop首个200万美元直播间诞生。 </li> <li> 2024年10月，豆包发布首款AI智能体耳机Ola Friend。 </li> </ul>

2022/3/3

About

<h2 id="关于我">关于我</h2> 李双全，男，90后，天蝎座，河北唐山人，程序员，现居北京。 <h3 id="工作经历">工作经历</h3> 北京，字节跳动，评论排序系统架构和策略，推荐系统架构和策略，广告投放架构。 <h3 id="教育经历">教育经历</h3> 南京，东南大学，自动化学院，获工学学士和工学硕士学位。 <h3 id="业余爱好">业余爱好</h3> 徒步🧗，登山🏔️，骑行🚴‍♂️，跑步🏃🏻，健身💪，篮球🏀，羽毛球🏸，乒乓球🏓； 读书📖，旅行🌴，写字✍️，诗歌<a href="https://muyesq.cn">📓</a>，民谣🎧，逛书店，看展🖼，看音乐剧等等。 <h3 id="联系我">联系我</h3> 邮箱：lishq991 艾特 gmail 点 com <h2 id="关于本站">关于本站</h2> Peacalm寓意: peaceful & calm 建站工具：Hugo + GitHubPages 主题：<a href="https://github.com/xianmin/hugo-theme-jane">Jane</a> 域名：使用GitHub提供的域名<a href="https://peacalm.github.io">peacalm.github.io</a>或我的个人域名<a href="https://lishuangquan.cn">lishuangquan.cn</a>都可以访问本站

2022/3/2

Peacalm Notes

Lua C API中的迷惑行为 | Lua C API Confusions

"nullptr"是指针类型的吗？如何用C++的方式把"T*"转换成"void*" | Is "nullptr" a Pointer Type? How to Convert "T*" to "void*" by C++ Way

成为Contributor | To Be a Contributor

查验C++类型推导结果 | Check C++ Type Deduction Result

排序融合公式 | Ranking Value Model

Resume

Maglev一致性哈希和动态负载均衡 | Maglev Consistent Hasher and Dynamic Load Balancer

在线服务的异步RPC延时控制和无锁异步任务同步组件

什么是好的本地缓存 | What Is a Good Local Cache

在线服务参数管理 | Parameters Management for Online Service

C++轻量级输出库MyOStream：可打印输出所有成员可迭代的容器

字节跳动发展史 | History of Bytedance

About

"nullptr"是指针类型的吗？如何用C++的方式把"T"转换成"void" | Is "nullptr" a Pointer Type? How to Convert "T" to "void" by C++ Way